Tekoäly omalla koneella

[takomo]

Minulla on jouten Dell OptiPlex 3050 Micro. Olen suunnittelut paikallista tekoälyä siten että se hakisi minun pdf muodossa olevista ohjekirjoista tietoa.

Tuo on aika vaatimaton kone joten riittääkö teho?

Tuskin mihinkään järkevään, mutta mm. llama.cpp toimii pelkällä muistillakin, joten kokeilu ei maksa mitään. Kokeile vaikka jollain 3B-8B-mallilla. Esim. Ryzen 7 5800X (8-core) tuottaa 7-10 token/s, mikä on hidas mutta tyhjää parempi. Ei kannata liikoja odottaa.

Kun otetaan GPU (RX9070) Ryzenin avuksi, niin 3B-malli tuottaa 100 token/s. Syötteen parsimisessa on vielä suurempi ero: CPU:lla n. 40 token/s, GPU:lla n. 4000 token/s (tuo tosin laski ->500 token/s isolla syötteellä).

Tuo käyttö "...että se hakisi minun pdf muodossa olevista ohjekirjoista tietoa." on sellainen, mistä moni olisi varmasti kiinnostunut, mutta onko tähän jotain helppoa keinoa olemassa? Se toimii, että syötteenä on yksittäinen (pienehkö) pdf ja malli prosessoi sitä mutta se, että olisi dokumenttiarkisto, josta AI osaisi etsiä oikean dokumentin ja kaivaa sieltä etsityt tiedot menee käsittääkseni melko vaikeaksi.

AI-malli itsessään ei tunne mitään muuta kuin sen mitä sille on opetettu ja syötteenä kerrottu. Jotenkin mallille pitäisi opettaa dokumenttiarkisto ja sen sisältö.

Mallin opettamiseen on toki tekniikoita mutta olen siinä käsityksessä, että ne vaatii raudalta vielä enemmän kuin mallien käyttö. Raskainta on full finetuning, jolla muutetaan koko mallia, mutta on myös kevyempiä LORA/QLORA ja juuri dokumenttihakuihin tarkoitettu RAG, mutta näistä en itse ole ollenkaan perillä. Ilmeisesti tuo yllämainittu PrivateGPT on yksi ratkaisu RAG:n toteuttamiseen.

Mikä olisi järkevä valinta raudaksi tuollaiseen käyttöön? Vanha läppäri? Ilmeisesti gpu tehoa olisi hyvä olla?

Vanha pelikone, johon päivittäisi näytönohjaimen? Suhteellisen moderni GPU olisi tarpeen ja VRAMia pitäisi olla *vähintään* 8 GB mutta mieluummin 16 GB (tai enemmän). Jos GPU ja VRAM olisi kunnossa, niin vähän vanhempikin CPU voi riittää. Jos uutta näytönohjainta ostaa AI-käyttöön, niin pitäisin 16 GB miniminä.

Varmaankin mahdollisimman isomuistinen järeä APU, strix halo. Näissä hommissa nopeinkin kotikone on vielä oikeasti sairaan hidas. Miettii sitä, että jos se lähdemateriaali on 100000 tokenia ja sun kone laskee 10token/s tai vaikka 100token/s niin pelkästään materiaalin yhteen kertaan skannaaminen kestää saati sitten että malli järkeilisi, selaa dataa ees+taas ja tuottaisi hyvän lopputuloksen kysymykseen niin tokeneita palaa ja aikaa kestää.

Tuo on vähän pessimistinen arvio. Dokumentin lukeminen sisään on kuitenkin paljon nopeampaa kuin tekstin generointi. Vähänkään isompien tekstien kanssa tulee kyllä kontekstin koko rajoitteeksi vaikka olisi 16GB VRAMia.

Hitaus on käsittääkseni juuri RAG:n ongelma. Jos mallille kouluttaisi (LORA) dokumenttien sisällön, niin ainakin periaatteessa tiedonhaku omista dokumenteista olisi yhtä nopeaa kuin minkä tahansa muun asian kysyminen. Mielellään kuulisin itsekin, jos joku on AI-koulutusta ruvennut kotikoneilla tekemään.

 

[finWeazel]

Hitaus on käsittääkseni juuri RAG:n ongelma. Jos mallille kouluttaisi (LORA) dokumenttien sisällön, niin ainakin periaatteessa tiedonhaku omista dokumenteista olisi yhtä nopeaa kuin minkä tahansa muun asian kysyminen. Mielellään kuulisin itsekin, jos joku on AI-koulutusta ruvennut kotikoneilla tekemään.

Kun koulutat mallit uusiksi joka dokumentille niin tähän menevää aikaa ja vaivaa ei lasketa?

 

[latiou]

Minulla on jouten Dell OptiPlex 3050 Micro. Olen suunnittelut paikallista tekoälyä siten että se hakisi minun pdf muodossa olevista ohjekirjoista tietoa.

Tuo on aika vaatimaton kone joten riittääkö teho?

Tekoäly suositteli 1Tb ssd levyä siihen. Ollama ja Ubuntu suunnitelmissa mutta ei kokemusta näistä hommista aikaisemmin.

Jos laitteen sais toimiin niin mahdollisesti myös cloudflaren kautta käyttö netin yli...

Pdf:t pitäisi konvertoida RAGiin ja sitä kautta chunkeilla voisi saada hakuajat alas, mutta jos dataa on sanotaan vaikka muutama miljoona tokenia esimerkiksi -> mä oon ajellu omaa mallia RAGilla + 5080mobilella = mulla oli aineistona ~4.5mil materiaalia -> toimii verrattain hyvin mutta pitäisi optimoida lisää.

Sanotaan lyhyesti, kaipaisi lisää tehoa, ja paljon että saat käyttökokemuksen mukavaksi. Semaattinen haku ym käyttöön, tekee kyllä virheitä vielä jne ja chunkien luonti vain kevyellä overlapilla antaa vähän ristiriitaisia tilanteita välillä eikä aina kunnon vastausta. Semaattisella haulla jne siltikin koot paisuu esim top-5 chunkeilla heti 1000-5000 tokeniin -> jo tuon luku ja vastauksen kirjoitus jollain 10tok/s vauhilla on tuskaista.

Cloudflarea en käyttäisi turhaan, ite rakensin oman pipelinen tailscalen avulla, se toimii kyllä vallattoman hyvin luurin läpi, saa lähetettyä kuvia mallille jne ja vastausajatkin on hyvät.

Muutama miljoona tokenia aineistoa tuottaa tuhansia ellei kymmeniä tuhansia chunkeja, riipuen miten pilkot ne.

 

[takomo]

Kun koulutat mallit uusiksi joka dokumentille niin tähän menevää aikaa ja vaivaa ei lasketa?

En ollenkaan vähättele koulutukseen kuluvaa aikaa ja vaivaa. Jotta tulokset olisivat hyviä, materiaalin pitää olla hyvälaatuista mikä käsittääkseni edellyttää aika laajaa ihmisen tarkistusta vaikka syötteiden generoinnin saisikin automatisoitua. Vahva epäilys on, että mallin kouluttaminen omilla dokumenteilla menee vahvasti harrastamisen piikkiin. Yritysympäristössä, jossa koulutetulla mallilla on useita käyttäjiä, tilanne voi olla toinen.

Tästä huolimatta ajankäyttö on erilaista: koulutusaineiston tuottaminen ja kouluttaminen on kertasuoritus ja mitä suuremman osan tästä pystyy automatisoimaan, sitä vähemmän sillä on merkitystä. Käytössä malli toimii aina nopeasti. RAG sen sijaan on aina enemmän tai vähemmän hidasta - jos olen oikein ymmärtänyt. Se myös vaatii paljon raudalta mutta koulutettua mallia pystyy käyttämään koulutusrautaa kevyemmässäkin ympäristössä.

Tuon viimeisen voi lukea niinkin, että harvalla on kotikäytössä edistyneeseen kouluttamiseen riittävää rautaa...

 

[latiou]

En ollenkaan vähättele koulutukseen kuluvaa aikaa ja vaivaa. Jotta tulokset olisivat hyviä, materiaalin pitää olla hyvälaatuista mikä käsittääkseni edellyttää aika laajaa ihmisen tarkistusta vaikka syötteiden generoinnin saisikin automatisoitua. Vahva epäilys on, että mallin kouluttaminen omilla dokumenteilla menee vahvasti harrastamisen piikkiin. Yritysympäristössä, jossa koulutetulla mallilla on useita käyttäjiä, tilanne voi olla toinen.

Tästä huolimatta ajankäyttö on erilaista: koulutusaineiston tuottaminen ja kouluttaminen on kertasuoritus ja mitä suuremman osan tästä pystyy automatisoimaan, sitä vähemmän sillä on merkitystä. Käytössä malli toimii aina nopeasti. RAG sen sijaan on aina enemmän tai vähemmän hidasta - jos olen oikein ymmärtänyt. Se myös vaatii paljon raudalta mutta koulutettua mallia pystyy käyttämään koulutusrautaa kevyemmässäkin ympäristössä.

Tuon viimeisen voi lukea niinkin, että harvalla on kotikäytössä edistyneeseen kouluttamiseen riittävää rautaa...

LoRa:n voi tehdä ihan hyvin kotikoneella, sekä myös RAGeja, ei nuo mitään nasan koneita vaadi. Ajat on 30min-muutama tunti per veto kohtuu raudalla (oon tehny näitä läppärillä)

RAG ei ole hidas. Vaan kerran latautuneena super nopea, käytännössä viiveetön jos toteutettu oikein eikä aineisto ole kirjaston kokoinen. RAG toimii semaattisen haun kautta pirun fiksusti ja nopeastikkin. Enemmän aikaa kuluu vastauksen kirjoitukseen tekoälyltä kuin RAGin hakuun.

Kuratointi vie aikaa LoRaa tehdessä. Ellei käytä tosiaan nyt vaikka PDF manuaaleja mitkä konvertoitu sopivaksi. Jos taas käsin tai koneen avustamana joutuu parsimaan tavaraa yhteen, tokihan homma hidastuu älyttömästi mutta harva nyt on muuttamassa kirjahyllyllistä dataa näihin hommiin. Kaikki on toki suhteellista, mutta tosiaan kyllä kotikoneella näitä molempia voi tehdä ihan hyvin.

 

[HK_Blues]

Kysynpä tässä langassa: ajattelin kokeilla lokaalisti jotain kuvanluontitekoälyä, jolla luoda kuvitusta vetämääni D&D kampanjaa varten ja tähän varmaan paras olisi StableDiffusion 1.5 vai mitä raati on mieltä? Mulla olisi ylimääräsenä vanha HP:n pöytäkone jolla 4-ytimisellä Xeonilla, mutta siinä olisi 32GB DDR4… ja vanha Quadro M4000. Nopea tämä varmasti ei ole, mutta pienen resoluution kuvia (521x512) tällä varmasti pystyy luomaan.

Toinen vaihtoehto olisi 2700X ja GTX 1080, mutta tälle olisi vain 16GB RAMia ja emolevy puuttuu vielä. HP:n koneessa on joku epästandardi PSU ja siinä ei riitä liittimet Geforcelle, ja muistitkin on RDIMM joten niitä ei voi napata toiseen koneeseen.

Olisiko tässä nyt järkevintä kokeilla ensi alkuun HP:n koneella riittääkö siinä hönkä, kun se ei maksaisi mitään. Linux-asennuksella varmaan kannattaa lähteä liikenteeseen, tyyliin Ubuntu 22.04?