- Liittynyt
- 16.02.2024
- Viestejä
- 7
Moro!
Kiinnostais kuulla kokemuksia, mihin porukka käytättää lokaaleja llm ja millaisilla setuppeilla?
Itellä Ollama läppärillä serverinä muutamalla pienemmällä mallilla.
Itse olen mm. tehnyt leikkimielisen discord botin johon implementoinut python script enginen Ace editorilla. Toin siihen mukaan lokaalin AIn (mm. kokeillut qwen2.5-coder-14b ja deepseek-coder-v2:16b), jolla on api dokkari, että se osaa generoida oikeanlaista koodia, jota botti syö.
Toki, pitäs keksiä jotain oikeaa tekemistä Ollamalle. Esim vaikka Unraidin käyttöä MCPllä
Kiinnostais kuulla kokemuksia, mihin porukka käytättää lokaaleja llm ja millaisilla setuppeilla?
Itellä Ollama läppärillä serverinä muutamalla pienemmällä mallilla.
Itse olen mm. tehnyt leikkimielisen discord botin johon implementoinut python script enginen Ace editorilla. Toin siihen mukaan lokaalin AIn (mm. kokeillut qwen2.5-coder-14b ja deepseek-coder-v2:16b), jolla on api dokkari, että se osaa generoida oikeanlaista koodia, jota botti syö.
Toki, pitäs keksiä jotain oikeaa tekemistä Ollamalle. Esim vaikka Unraidin käyttöä MCPllä
Viimeksi muokattu:
