Paikallisesti pyörivät LLM koodausavustimet

[mailbag]

SOTA:lla meinasin noita just mitä itse olen käyttänyt 5.3/5.4 gpt, kimi k2.5, sonnet ja opus 4.6 ennen uusimpia päivityksiä yms tommosia perus harrastelin realistisesti halvalla käytettäviä malleja, toki sisäisiä malleja ja kaikenlaisia ultra-thinking moodeja tietenkin löytyy mitä nyt en ihan laske.

Jos tätä tahtia 5.4 tasoisen mallin saa omalla 5090 rullaamaan ens tammikuussa niin maistuu.

 

[finWeazel]

En tiedä miten relevantteja Mythokset yms. nyt sitten on, kun niitä kyetään tarjoamaan hyvin harvoille, todennäköisesti NDA:n alla niin että mitään testejä ei saa julkaista, ja niitä ei tosiaan käytännössä saa käyttöön jos ei ole harvalukuisessa joukossa firmoja töissä. Kun sitten Anthropicilta ja Open AI:lta saa kuun asennosta riippuen vähän mitä sattuu, nousee näiden lokaalien mallien pisteet vertailussa aina vaan korkeammalle.

Argumentti oli miten kaukana state of the art lokaali on state of the art pilvestä.

--

Lokaalin puolesta imho. hyvä argumentti on se, että riittää käyttöön x,y,z. Joskus riittävän hyvä on tarpeeksi, ei tarvi parasta. Sama juttu projektien koon, muistimäärien, kauanko jaksaa odotella vastausta yms. kanssa. Pilvessä on näkyvissä, että rauta nopeutuu ja muistinmäärät kasvavat vuosittain, vera-rubin nvl72 10x loikka versus blackwell. Lokaalissa järkevällä hinnalla vaikea nähdä että nvidia/amd seuraava peligpu olisi muuta kuin sama muistimäärä kuin 5090:ssa ja 30% nopeampi kuin 5090:en. APU puolella voi jotain tapahtua muistimäärien kanssa, mutta laskentateho tuskin kasvaa samalla vauhdilla kuin pilvessä.

 

[mailbag]

Tällaisen RSS feed combinerin teki 3.6 27b Q6_K_XL. 1 yritys, kaikki toimii ei tarvinnut korjailla mitään tätä testiä varten.

Pyöri noin 50-60 tok/sec 5090 näyttiksellä ja oli valmis nopeammin kuin isot pilvimallit.

 

[finWeazel]

Pyöri noin 50-60 tok/sec 5090 näyttiksellä ja oli valmis nopeammin kuin isot pilvimallit.

Tuo nyt on tavallaan yhdenlainen minimaalinen hello world best case. Miten käy reaalimaailman miljoona riviä c/c++ koodipohjan kanssa. Tarpeita on monenlaisia, yhdelle riittää, toiselle ei. Just semmoset pienet webbisivut, pikkuskriptit yms. ensimmäiset mitkä saa lokaalilla tehtyä versus isommat projektit.

 

[mailbag]

Omat projektit on ollut max 30k riviä, yleensä kuitenkin alle 10k niin en osaa sanoa siitä.

 

[finWeazel]

Jäi mietityttää, että minkä kokoisia nuo reaalimaailman projektit nykyään on. Unreal Enginessä googlen mukaan 30-40miljoonaa koodiriviä + dokumentaatiot päälle.

Omassa projektissa mitä viime viikot tunkannut allaolevat statsit. c:lla tehty serveri amigalle + yksikkötestihärveli niin, että saadaan x86:lla yksikkötestattua c-koodit. Kaksi python ui:ta eri käyttötarkoituksiin. Päälle repossa muutama eri sdk(verkko, näyttökortti, amigan käyttiksen rajapinnat) jotka eivät mukana numeroissa mutta joita AI joutuu käyttämään että saa koodia integroitua koneeseen. Python koodissa pakko olla joku tajuton käpy AI:lla kun ei sitä pitäisi NOIN paljoa olla kun katsoo toiminnallisuutta mikä appseissa on. Laskisin tän ihan pikkuprojektiksi ja puuhailuksi versus mitä työelämässä koodipohjat olivat.

 

[edup]

Jäi mietityttää, että minkä kokoisia nuo reaalimaailman projektit nykyään on. Unreal Enginessä googlen mukaan 30-40miljoonaa koodiriviä + dokumentaatiot päälle.

Omassa projektissa mitä viime viikot tunkannut allaolevat statsit. c:lla tehty serveri amigalle + yksikkötestihärveli niin, että saadaan x86:lla yksikkötestattua c-koodit. Kaksi python ui:ta eri käyttötarkoituksiin. Päälle repossa muutama eri sdk(verkko, näyttökortti, amigan käyttiksen rajapinnat) jotka eivät mukana mutta joita AI joutuu käyttämään että saa koodia integroitua koneeseen. Python koodissa pakko olla joku tajuton käpy AI:lla kun ei sitä pitäisi NOIN paljoa olla kun katsoo toiminnallisuutta mikä appsissa on. Laskisin tän ihan pikkuprojektiksi ja puuhailuksi versus mitä työelämässä koodipohjat olivat.

Mä en ole ihan täysin vakuuttunut siitä, että koodirivien kokonaismäärä on relevantti asia. Jo nyt käytännössä aliagentit lukee koodipohjaa läpi ja filtteröi sieltä läpi ne osat koodista ja dokumentaatiosta mitkä on relevantteja käsillä olevan tehtävän suorittamiseen. Tehtävästä ja projektista riippuen väitän että relevanttia koodia harvoin on edes kovin montaa prosenttia, ellei ole joku ihan pikkuprojekti kyseessä.

 

[mailbag]

Joo eikai nuo enää lue koko codebasea läpi, eka joillain grepeillä ja findeilla ettii relevantit tiedostot ja funktiot ja sitten yleensä näkyy jotain luettu R60-120, R450-500, R1800-R1860 kun agentti jahtaa jonkun toiminnon läpi ja sitten ok minulla on tarpeeksi tietoa asiasta ja sitten kirjoitetaan insertti tai lisätään jokaiseen joku lisäys.

 

[finWeazel]

Mä en ole ihan täysin vakuuttunut siitä, että koodirivien kokonaismäärä on relevantti asia. Jo nyt käytännössä aliagentit lukee koodipohjaa läpi ja filtteröi sieltä läpi ne osat koodista ja dokumentaatiosta mitkä on relevantteja käsillä olevan tehtävän suorittamiseen. Tehtävästä ja projektista riippuen väitän että relevanttia koodia harvoin on edes kovin montaa prosenttia, ellei ole joku ihan pikkuprojekti kyseessä.

Jos ei ei ymmärrä kokonaisuutta ja ei näe kokonaisuutta niin lopputulos ei välttämättä integroidu järkevästi. Usein parhaat taskit AI:lle on isompia refaktorointeja/migraatioita mitä ihmisvoimin ei kannata enää nykypäivänä tehdä. Mutta jätän tähän, ei ollut tarkoitus aloittaa mitään sotaa lokaali vs. pilvi. Jokainen käyttänee sitä mikä riittää omaan tarpeeseen. Tarpeita vain on kovin monenlaisia.

Yksi juttu mistä viime aikoina tykännyt kun voi heittää AI:lle 4k ruudulta screenshotin ja sanoa että pieleen meni. Hyvin tajuaa logitekstit lukea screenshotista tai python appsin kohdalla korjaa leiska ja teemajuttuja screenshoteista. Myös se, että näiden pureskelu tapahtuu about heti eikä vartin päästä.