Lokaalit LLM:t. Millaisiin käyttötarkoituksiin käytätte ja millaisilla kokoonpanoilla?

[ekkilm]

Moro!

Kiinnostais kuulla kokemuksia, mihin porukka käytättää lokaaleja llm ja millaisilla setuppeilla?

Itellä Ollama läppärillä serverinä muutamalla pienemmällä mallilla.

Itse olen mm. tehnyt leikkimielisen discord botin johon implementoinut python script enginen Ace editorilla. Toin siihen mukaan lokaalin AIn (mm. kokeillut qwen2.5-coder-14b ja deepseek-coder-v2:16b), jolla on api dokkari, että se osaa generoida oikeanlaista koodia, jota botti syö.

Toki, pitäs keksiä jotain oikeaa tekemistä Ollamalle. Esim vaikka Unraidin käyttöä MCPllä

 

[Karhu III]

Töissä olen testannut miten se toimisi meidän tuotteissa erilaisissa avustavissa tehtävissä.