Siis pyörittäisin lokaalisti jotain kevyttää koodaamiseen tarkoitettua kielimallia VSCodessa Github Copilotin tms. kanssa, vaihtoehtona on toki joku maksullinen AI pilvipalvelu.
Jos vibe-koodaus (joka on siis vaan AI promptailua) ei ole tuttua niin liittyen esim. AMD rautaan lokaalissa käytössä tuossa blogikirjoituksessa avataan asiaa siltä osin mitä softaa esim. käytetään ja mitä AI-malleja milläkin muistikonffilla ja asetuksilla voisi käyttää. Tuossa ei mainita kylläkään 9000-sarjan dGPU:ita (paitsi Pro 9700) mutta noiden iGPU yhteydessä puhutaan 16GB VRAM käytöstä, joten varmaan tiukimmilla asetuksilla pitää mennä:
Sitten tietty herää kysymys osaako nuo LLM:t generoida koodia joka käyttää AMD:n kirjastoja eikä esim. CUDA:aa.
Mutta varmaan haluaisin siirtää kaiken mahdollisen kuvankäsittelyn minkä käytettävissä oleva ohjelmisto pystyy hyödyntämään mukaan luettuna generatiivisen AI:n käytön lokaalille GPU:lle ennenmin kuin maksaa pilvipalvelun käytöstä.
Olisi varmaan paras tällä hetkellä. AMD:ltä on tulossa ROCm 7:aan näiden RDNA4 GPU:iden tuki lähiaikoina, siinä mielessä myös RX 9060 XT ja RX 9070 (jos löytyy tarjoushintaan jostain) olisivat hyviä vaihtoehtoja, ja käsittääkseni jälkimmäinen pelikäytössäkin 5060 Ti 16GB mallia tehokkaampi. Lisäksi Suomalainen LUMI-G on rakennettu AMD:n laitteistolla, ja AMD osti joku aika sitten Silon ja näyttää että olisi vakavasti kilpailemassa Nvidian kanssa AI-markkinoilla. Nykyinen pelikoneen näytönohjain on muuten RTX 2060 (6GB), mutta siinä vaan LGA1151 emolevy (PCIe 4.0).
Voi kyllä olla että kohta ei kannata ostaa dedikoituja (d)GPU:ita AI-käyttöön kun uusilla iGPU:illa voi käyttää yhtenäistä muistia helposti kymmeniä gigatavuja (varsinkin sitten joskus parin vuoden kuluttua kun DDR6 muistit tulevat emolevyille) ja tehoa riittää muutenkin jo mobiilikäyttöön tarkoitetuilla APU:illakin (esim. Ryzen AI MAX+ 395 jonka hinta miniPC-koneessa 128GB muistin kanssa jotain 2000 EUR, esim. https://www.gmktec.com/products/amd-ryzen™-ai-max-395-evo-x2-ai-mini-pc). Toki Applen M4 Max 128GB RAM-muistilla olisi vielä parempi mutta hinta menee muutamaan tuhanteen.
Viimeksi muokattu:
itse tosiaan kaikki pätkät mitä oon ottanut, oon nimenomaan korottomana ja kuluttomana ottanut ja jokaisen pennosen maksanut pois sovitussa ajassa. Sen takia tuli vaan mieleen kysyä, kun en mistään samanlaisia pätkiä tietokonekomponenteista löytänyt. Ei kiinnosta yhtään maksaa 100-200e ylimääräistä ihan vaan koska osamaksu. Tuota toista viestiketjua lukiessa tuli kyllä paska fiilis, kun tajusi että jotkut ostelee yli 1000e:n leluja, vaikka maksettavana on jo miljoona muuta pätkää. Itsellä ei kävisi mielessäkään ottaa samaan aikaan yhtä pätkää enempää...
