Tekoäly omalla koneella

[embedded]

En löytänyt tekoälykeskustelua täältä!?
Ajatteko tekoälyä omalla koneella ja miksi tai mitä siitä hyötyy ?
Minua kiinnostaisi sellainen tekoäly jolle voisi antaa materiaalina vaikka 400-sivuisen pdf:n / tekstitiedoston tai vaikka .epubin jonka se sitten lukisi pysyvään muistiin, ei vain nykyiseen sessioon.
Tämän jälkeen tekstiin liittyen voisi kysyä kysymyksiä.

Tiedättekö onko tällaista jo ? omalla koneella ajettavaa, ei mitään kk-maksullista pilvipalvelua. Koneesta löytyy kyllä muistia ram+gpu ja kaupastahan sitä saa lisää

 

[Tuomass]

Itsellä käytössä Ollama (Llama3) sekä Fabric AI – Copilot for all your apps, clouds and files. dokkareille. Nuo ei laskentatehoa hirveästi vaadi, joten suositten erillistä serveriä, pyörii vaikka RasPilla

 

[Tinke-80]

LM Studio - Discover and run local LLMs

Find, download, and experiment with local LLMs

lmstudio.ai

Vahva suositus.

 

[totallynotrobot]

Tämä kannattaa myös tsekata, jos löytyy sopiva kone: NVIDIA ChatRTX mitään suurempaa kokemusta ei itsellä tuosta ole, mutta vähän olen kokeillut ja on mm. juuri kuvailemaasi tarkoitukseen sopiva.