Tekoäly

[Team_Slow]

Vähän ei niin vakavaa asiaa tekoälystä.
Itsellä ihan ok pelikone tuossa nurkassa (R7 7800x3d, RTX5080) ja ajattelin laittaa sitä hyötykäyttöön kun kuitenkin istuu tyhjänpanttina suurimman osan ajasta.
Käytin Geminin Pro versiota apuna ja viikonlopun aikana laitoin seuraavat asiat pyörimään kotikoneelle niin, että kaikki pyörii myös puhelimen kautta.

Osa nyt ei vaatinut kuin asennuksen, kuten Ollama, mutta osa asioista meni aika säätämiseksi välillä että ne sai toimimaan myös etänä ilman paikallista verkkoa.

Ollama pyörittämään paikallista LLM:ää
OpenWebUI jotta saa käytettyä niitä helposti myös puhelimella.
Kokoro TTS jotta voi keskustella noiden LLM:ien kanssa puheella.
SearXNG jotta nuo LLM:ät pääsee tekemään tuoreita hakuja netistä anonyymisti.
Stirlin-PDF paikalliseksi PDF palvelimeksi joka toimii myös pyhelimella
ComfyUI paikalliseksi kuvageneraattoriksi/muokkaustyökaluksi
Immich Google Kuvien paikallinen korvaaja.
Home Assistant (pyöri jo aikaisemmin) ja HASS.agent jotta saa käynnistettyä ja suljettua Ollamaa ja ComfyUI:ta sen mukaan kumpaa käyttää, kun kumpikin ei mahdu 16GB VRAM:iin yhtäaikaa. Samalla näkee VRAM käytön jos haluaa vaikka Norjasta tarvittaessa.
Ja vielä Tailscale niin, että kaikki tosiaan toimii myös kotiverkon ulkopuolella.

Kaiken tämän säätäminen ilman Geminin apua olisi vienyt varmasti paljon pidempään kun olisi tarvinnut kahlata älyttömät määrät tavaraa ja siltikin varmaan puolet ois jäänyt tekemättä. Mutta onhan tuo aika kätevä nyt. Pitää hommata pistorasiaan älytulppa jotta näkee paljonko tämä kaikki käyttää sähköä pitkässä juoksussa. Vaikka kyllähän tuosta maksaa jo jotain kun mistään näistä ei mene tietoja kotiverkon ulkopuolelle ja LLM ja kuvanmuokkaukset on sensuroimattomia.

Lueskelin ketjua hieman ja siellä oli noista käyttörajoista jotain. Ainakaan tässä käytössä ei ole vielä ison iso ongelma ollut vaikka viestejä olen kirjoitellut monta tuntia putkeen parillakin eri ketjulla. Viestejä on varmasti 100-200 helposti. kakis kertaa on quota tullut täyteen puol tuntia ennen päivittymistä, se on ollutkin hyvä paikka pitää pieni tauko säätämisestä.
Mitkähän nuo rajat yleensä on ja kuinka usein ne nollautuu? AI crediitit jää aika usein käyttämättä kun en mitään videoita tai koodausprojekteja tee.
Olisiko niillä krediiteillä mitään järkikäyttöä tällaisessa meikäläisen setupissa?

Mielenkiintoinen projekti ja itekin tuli vähän aikaa sitten keskusteltua kaverin kanssa ja mietittyä saman tekemistä. Jos saat sähkönkulutustietoja sekä kauanko menee aikaa asioiden tekemiseen niin kiinnostaisi. Itellä tosin on 3080 ja i9 9900k kokoonpano