Tuskin mihinkään järkevään, mutta mm. llama.cpp toimii pelkällä muistillakin, joten kokeilu ei maksa mitään. Kokeile vaikka jollain 3B-8B-mallilla. Esim. Ryzen 7 5800X (8-core) tuottaa 7-10 token/s, mikä on hidas mutta tyhjää parempi. Ei kannata liikoja odottaa.
Kun otetaan GPU (RX9070) Ryzenin avuksi, niin 3B-malli tuottaa 100 token/s. Syötteen parsimisessa on vielä suurempi ero: CPU:lla n. 40 token/s, GPU:lla n. 4000 token/s (tuo tosin laski ->500 token/s isolla syötteellä).
Tuo käyttö "...että se hakisi minun pdf muodossa olevista ohjekirjoista tietoa." on sellainen, mistä moni olisi varmasti kiinnostunut, mutta onko tähän jotain helppoa keinoa olemassa? Se toimii, että syötteenä on yksittäinen (pienehkö) pdf ja malli prosessoi sitä mutta se, että olisi dokumenttiarkisto, josta AI osaisi etsiä oikean dokumentin ja kaivaa sieltä etsityt tiedot menee käsittääkseni melko vaikeaksi.
AI-malli itsessään ei tunne mitään muuta kuin sen mitä sille on opetettu ja syötteenä kerrottu. Jotenkin mallille pitäisi opettaa dokumenttiarkisto ja sen sisältö.
Mallin opettamiseen on toki tekniikoita mutta olen siinä käsityksessä, että ne vaatii raudalta vielä enemmän kuin mallien käyttö. Raskainta on full finetuning, jolla muutetaan koko mallia, mutta on myös kevyempiä LORA/QLORA ja juuri dokumenttihakuihin tarkoitettu RAG, mutta näistä en itse ole ollenkaan perillä. Ilmeisesti tuo yllämainittu PrivateGPT on yksi ratkaisu RAG:n toteuttamiseen.
Vanha pelikone, johon päivittäisi näytönohjaimen? Suhteellisen moderni GPU olisi tarpeen ja VRAMia pitäisi olla *vähintään* 8 GB mutta mieluummin 16 GB (tai enemmän). Jos GPU ja VRAM olisi kunnossa, niin vähän vanhempikin CPU voi riittää. Jos uutta näytönohjainta ostaa AI-käyttöön, niin pitäisin 16 GB miniminä.
Tuo on vähän pessimistinen arvio. Dokumentin lukeminen sisään on kuitenkin paljon nopeampaa kuin tekstin generointi. Vähänkään isompien tekstien kanssa tulee kyllä kontekstin koko rajoitteeksi vaikka olisi 16GB VRAMia.
Hitaus on käsittääkseni juuri RAG:n ongelma. Jos mallille kouluttaisi (LORA) dokumenttien sisällön, niin ainakin periaatteessa tiedonhaku omista dokumenteista olisi yhtä nopeaa kuin minkä tahansa muun asian kysyminen. Mielellään kuulisin itsekin, jos joku on AI-koulutusta ruvennut kotikoneilla tekemään.
