Paikallisesti pyörivät LLM koodausavustimet

[mailbag]

SOTA:lla meinasin noita just mitä itse olen käyttänyt 5.3/5.4 gpt, kimi k2.5, sonnet ja opus 4.6 ennen uusimpia päivityksiä yms tommosia perus harrastelin realistisesti halvalla käytettäviä malleja, toki sisäisiä malleja ja kaikenlaisia ultra-thinking moodeja tietenkin löytyy mitä nyt en ihan laske.

Jos tätä tahtia 5.4 tasoisen mallin saa omalla 5090 rullaamaan ens tammikuussa niin maistuu.

 

[finWeazel]

En tiedä miten relevantteja Mythokset yms. nyt sitten on, kun niitä kyetään tarjoamaan hyvin harvoille, todennäköisesti NDA:n alla niin että mitään testejä ei saa julkaista, ja niitä ei tosiaan käytännössä saa käyttöön jos ei ole harvalukuisessa joukossa firmoja töissä. Kun sitten Anthropicilta ja Open AI:lta saa kuun asennosta riippuen vähän mitä sattuu, nousee näiden lokaalien mallien pisteet vertailussa aina vaan korkeammalle.

Argumentti oli miten kaukana state of the art lokaali on state of the art pilvestä.

--

Lokaalin puolesta imho. hyvä argumentti on se, että riittää käyttöön x,y,z. Joskus riittävän hyvä on tarpeeksi, ei tarvi parasta. Sama juttu projektien koon, muistimäärien, kauanko jaksaa odotella vastausta yms. kanssa. Pilvessä on näkyvissä, että rauta nopeutuu ja muistinmäärät kasvavat vuosittain, vera-rubin nvl72 10x loikka versus blackwell. Lokaalissa järkevällä hinnalla vaikea nähdä että nvidia/amd seuraava peligpu olisi muuta kuin sama muistimäärä kuin 5090:ssa ja 30% nopeampi kuin 5090:en. APU puolella voi jotain tapahtua muistimäärien kanssa, mutta laskentateho tuskin kasvaa samalla vauhdilla kuin pilvessä.

 

[mailbag]

Tällaisen RSS feed combinerin teki 3.6 27b Q6_K_XL. 1 yritys, kaikki toimii ei tarvinnut korjailla mitään tätä testiä varten.

Pyöri noin 50-60 tok/sec 5090 näyttiksellä ja oli valmis nopeammin kuin isot pilvimallit.

 

[finWeazel]

Pyöri noin 50-60 tok/sec 5090 näyttiksellä ja oli valmis nopeammin kuin isot pilvimallit.

Tuo nyt on tavallaan yhdenlainen minimaalinen hello world best case. Miten käy reaalimaailman miljoona riviä c/c++ koodipohjan kanssa. Tarpeita on monenlaisia, yhdelle riittää, toiselle ei. Just semmoset pienet webbisivut, pikkuskriptit yms. ensimmäiset mitkä saa lokaalilla tehtyä versus isommat projektit.

 

[mailbag]

Omat projektit on ollut max 30k riviä, yleensä kuitenkin alle 10k niin en osaa sanoa siitä.

 

[finWeazel]

Jäi mietityttää, että minkä kokoisia nuo reaalimaailman projektit nykyään on. Unreal Enginessä googlen mukaan 30-40miljoonaa koodiriviä + dokumentaatiot päälle.

Omassa projektissa mitä viime viikot tunkannut allaolevat statsit. c:lla tehty serveri amigalle + yksikkötestihärveli niin, että saadaan x86:lla yksikkötestattua c-koodit. Kaksi python ui:ta eri käyttötarkoituksiin. Päälle repossa muutama eri sdk(verkko, näyttökortti, amigan käyttiksen rajapinnat) jotka eivät mukana numeroissa mutta joita AI joutuu käyttämään että saa koodia integroitua koneeseen. Python koodissa pakko olla joku tajuton käpy AI:lla kun ei sitä pitäisi NOIN paljoa olla kun katsoo toiminnallisuutta mikä appseissa on. Laskisin tän ihan pikkuprojektiksi ja puuhailuksi versus mitä työelämässä koodipohjat olivat.

 

[edup]

Jäi mietityttää, että minkä kokoisia nuo reaalimaailman projektit nykyään on. Unreal Enginessä googlen mukaan 30-40miljoonaa koodiriviä + dokumentaatiot päälle.

Omassa projektissa mitä viime viikot tunkannut allaolevat statsit. c:lla tehty serveri amigalle + yksikkötestihärveli niin, että saadaan x86:lla yksikkötestattua c-koodit. Kaksi python ui:ta eri käyttötarkoituksiin. Päälle repossa muutama eri sdk(verkko, näyttökortti, amigan käyttiksen rajapinnat) jotka eivät mukana mutta joita AI joutuu käyttämään että saa koodia integroitua koneeseen. Python koodissa pakko olla joku tajuton käpy AI:lla kun ei sitä pitäisi NOIN paljoa olla kun katsoo toiminnallisuutta mikä appsissa on. Laskisin tän ihan pikkuprojektiksi ja puuhailuksi versus mitä työelämässä koodipohjat olivat.

Mä en ole ihan täysin vakuuttunut siitä, että koodirivien kokonaismäärä on relevantti asia. Jo nyt käytännössä aliagentit lukee koodipohjaa läpi ja filtteröi sieltä läpi ne osat koodista ja dokumentaatiosta mitkä on relevantteja käsillä olevan tehtävän suorittamiseen. Tehtävästä ja projektista riippuen väitän että relevanttia koodia harvoin on edes kovin montaa prosenttia, ellei ole joku ihan pikkuprojekti kyseessä.

 

[mailbag]

Joo eikai nuo enää lue koko codebasea läpi, eka joillain grepeillä ja findeilla ettii relevantit tiedostot ja funktiot ja sitten yleensä näkyy jotain luettu R60-120, R450-500, R1800-R1860 kun agentti jahtaa jonkun toiminnon läpi ja sitten ok minulla on tarpeeksi tietoa asiasta ja sitten kirjoitetaan insertti tai lisätään jokaiseen joku lisäys.

 

[finWeazel]

Mä en ole ihan täysin vakuuttunut siitä, että koodirivien kokonaismäärä on relevantti asia. Jo nyt käytännössä aliagentit lukee koodipohjaa läpi ja filtteröi sieltä läpi ne osat koodista ja dokumentaatiosta mitkä on relevantteja käsillä olevan tehtävän suorittamiseen. Tehtävästä ja projektista riippuen väitän että relevanttia koodia harvoin on edes kovin montaa prosenttia, ellei ole joku ihan pikkuprojekti kyseessä.

Jos ei ei ymmärrä kokonaisuutta ja ei näe kokonaisuutta niin lopputulos ei välttämättä integroidu järkevästi. Usein parhaat taskit AI:lle on isompia refaktorointeja/migraatioita mitä ihmisvoimin ei kannata enää nykypäivänä tehdä. Mutta jätän tähän, ei ollut tarkoitus aloittaa mitään sotaa lokaali vs. pilvi. Jokainen käyttänee sitä mikä riittää omaan tarpeeseen. Tarpeita vain on kovin monenlaisia.

Yksi juttu mistä viime aikoina tykännyt kun voi heittää AI:lle 4k ruudulta screenshotin ja sanoa että pieleen meni. Hyvin tajuaa logitekstit lukea screenshotista tai python appsin kohdalla korjaa leiska ja teemajuttuja screenshoteista. Myös se, että näiden pureskelu tapahtuu about heti eikä vartin päästä.

 

[edup]

Tuo Qwen3.6 27B vaikuttaa todella hyvälle ensikokeilujen perusteella. Ajattelutokeneita tulee paljon järjellisempi määrä kuin 35B-A3B:llä, ja tuntuu olevan hyvin pitkälti no-bullshit-linjalla niin että asiat edistyy. Kauheasti ei ole tarvinnut tuon tekemisiä korjailla vielä.

 

[I'maRobot]

Mutta jätän tähän, ei ollut tarkoitus aloittaa mitään sotaa lokaali vs. pilvi. Jokainen käyttänee sitä mikä riittää omaan tarpeeseen. Tarpeita vain on kovin monenlaisia.

Mutta täähän on koko tämän jutun ja forumin suola. Väittely. Siinä oppii sivullisetkin kaikkein parhaiten kun kaksi asiantuntijaa vänkää 'paremmuudesta' joka on kuitenkin loppukädessä aina subjetiivinen eli oikeaa vastausta ei ole. Kannustan väittelyyn. Se ei todellakaan ole sotaa. Se on oppimista ja tiedon jakamista.

Vain suomalainen sanoo väittelyä riitelyksi (aka sodaksi). Vain suomalainen ottaa kaiken totuutena vastaan mitä kirjoitetaan ja 'ylhäältä' annetaan jota ei saa kiistää tai jumala rankaisee.

Myös se, että näiden pureskelu tapahtuu about heti eikä vartin päästä.

Siis tässä tulee se ammattikäyttö ja ajan hinta mukaan kuvioon vs. paikallinen asennus.

Toisaalta, paikallista voi kiihdyttää rahalla melkein rajattomasti. Kun kuitenkin infra on olemassa, eli tietokone jolla työtä nytkin tehdään, niin kyse on oikeastaan siitä kuinka paljon kotelon sisäiseen rautaan eli prossuun, muistiin ja GPU:n haluaa investoida suhteessa siihen että ostaa pilvestä nopeutta. Väitän että jos investoi -lisää- 24x200e=4800e omaan rautaan (CPU+GPU+muisti) saa jo aikamoisen paikallisen tykin pureskelemaan ongelmia/koodia. (/ 24x200e = 200e/kk x 2v takaisinmaksu). Ja tuo rauta on käytettävissä myös seuraavan koneinvestoinnin jälkeenkin vaikka toisena toisena myllynä jakamassa kuormaa mutta tuo 4800e on mennyt ilman että jää mitään jäljelle. Vain pilvipalvelun ylläpito kiittää ja kuittaa.

 

[Matt Damon]

Mutta täähän on koko tämän jutun ja forumin suola. Väittely. Siinä oppii sivullisetkin kaikkein parhaiten kun kaksi asiantuntijaa vänkää 'paremmuudesta'

Jätän lainauksen tohon. Parhaiten kaikki oppii esimerkeistä ja onnistumisista. Ei todellakaan netin täyttävästä vänkäämisestä.

 

[I'maRobot]

Jätän lainauksen tohon. Parhaiten kaikki oppii esimerkeistä ja onnistumisista. Ei todellakaan netin täyttävästä vänkäämisestä.

Asiantuntijoiden hyvin perusteltu väittely on nopea ja tehokas tapa oppia ja saada näkökulmia joita sitten itse jalostaa.

Pitkälle jalostettuja hyviä esimerkkejä ei vain ole (yleensä ne on yrityssalaisuuksia tai niillä on ns. kaupallista arvoa) ja yritys/erehdys/onnistuminen prosessina ei yleensä johda optimaaliseen tulokseen ja on ajallisesti pitkä tie. Pään seinään hakkaaminen ei tuota lisäarvoa, se vain tuottaa harmia, vitutusta, kyllästymistä eikä nauti lopputuloksesta.

Kun väittely on perusteltua eikä alakoululaisen juupas/eipäs -tasoista niin sitä on mielenkiintoista kuunnella. Kun on riittävän monta kertaa istunut esim. jenkkiyliopistojen postgradu ja postdoctor tyyppien väittelyissä niin tietää mitä on kun oikeasti väitellään eikä vängätään. Suomalaisilla on paljon oppimista väittelemisestä joka on taito itsellään.

Optimaalista paikallista mallia tässä koodaamiseen olen suunnittelemassa. Parasta sellaista kun ei aika eikä viitseliäisyys oikein anna periksi mennä perse edellä puuhun ja lopulta oppia 'onnistumisista'. Ehdotuksia? Siis oikeasti tuotannossa olevia ratkaisuja eikä vain harrastelijoiden yritys/erehdys onnistumisia.

 

[edup]

Optimaalista paikallista mallia tässä koodaamiseen olen suunnittelemassa. Parasta sellaista kun ei aika eikä viitseliäisyys oikein anna periksi mennä perse edellä puuhun ja lopulta oppia 'onnistumisista'. Ehdotuksia? Siis oikeasti tuotannossa olevia ratkaisuja eikä vain harrastelijoiden yritys/erehdys onnistumisia.

Lokaalien mallien ketjussa kun ollaan, niin tällä hetkellä tuo Qwen3.6 27B vaikuttaa todella pätevälle. Vaatii silti järeän GPU:n jotta toimii järkevällä nopeudella. Pikkuveli 35B A3B taas on nopea, mutta ainakaan itseäni ei sen ajatusprosessin pituus ja usein kehään päätyminen oikein lopulta vakuuttaneet.

Myös molemmat Gemma 4:t on varsin hyviä, mutta itse tämänhetkisellä kokeilulla suosittelisin tuota Qwen3.6 27B. Se tuli ulos alle 2 päivää sitten, joten ei ole ihan vielä ehtinyt tuotantoon saakka ainakaan allekirjoittaneen toimesta.

Näissä kannattaa myös heti asennoitua siihen että muutaman kuukauden päästä joltain on taas vielä parempaa ulkona saman kokoluokan malleissa.