Tekoäly omalla koneella

[embedded]

En löytänyt tekoälykeskustelua täältä!?
Ajatteko tekoälyä omalla koneella ja miksi tai mitä siitä hyötyy ?
Minua kiinnostaisi sellainen tekoäly jolle voisi antaa materiaalina vaikka 400-sivuisen pdf:n / tekstitiedoston tai vaikka .epubin jonka se sitten lukisi pysyvään muistiin, ei vain nykyiseen sessioon.
Tämän jälkeen tekstiin liittyen voisi kysyä kysymyksiä.

Tiedättekö onko tällaista jo ? omalla koneella ajettavaa, ei mitään kk-maksullista pilvipalvelua. Koneesta löytyy kyllä muistia ram+gpu ja kaupastahan sitä saa lisää

 

[Tuomass]

Itsellä käytössä Ollama (Llama3) sekä Fabric AI – Copilot for all your apps, clouds and files. dokkareille. Nuo ei laskentatehoa hirveästi vaadi, joten suositten erillistä serveriä, pyörii vaikka RasPilla

 

[Tinke-80]

LM Studio - Discover and run local LLMs

Find, download, and experiment with local LLMs

lmstudio.ai

Vahva suositus.

 

[totallynotrobot]

Tämä kannattaa myös tsekata, jos löytyy sopiva kone: NVIDIA ChatRTX mitään suurempaa kokemusta ei itsellä tuosta ole, mutta vähän olen kokeillut ja on mm. juuri kuvailemaasi tarkoitukseen sopiva.

 

[Jumi]

Liippaa sen verta läheltä aihetta, että mainostan PC:llä paikallisesti toimivaa OpenAI Whisper neuroverkkoa. Subtitle Edit käyttää sitä ja tekee (litteroi ja kääntää) kätevästi tekstitykset leffaan ku leffaan. Isoin vika on, että japanista kääntäessä sinä ja minä on aina väärinpäin, mutta en valita. Toimii tarpeeksi hyvin. Ukraina ja Venäjä taipuu kuulemma myös hyvin.

 

[PTohtori]

Tämä kannattaa myös tsekata, jos löytyy sopiva kone: NVIDIA ChatRTX mitään suurempaa kokemusta ei itsellä tuosta ole, mutta vähän olen kokeillut ja on mm. juuri kuvailemaasi tarkoitukseen sopiva.

Itsellä myös on käytössä tämä ja asennuksen sekä käytön helppous on juuri omiin pikku testailuihin hyvä. Toki täytyy ottaa huomioon että Suomi ei oikein taivu, mutta englanninkielistä aineistoa ja prompteja tämä hallitsee mielestäni yllättävän hyvin. Jos löytyy valmiina RTX30-sarjalainen tai parempi 8gigan muistilla niin eikun kokeilemaan!