Kuka näitä nimeää. ”Koulutettiin tää iha uudesti, siispä nimettiin se minor-päivitykseksi vanhasta!”Tuo uusi malli tyhjistä pitää paikkansa, tästä on openai:n työntekijät kertoneet. Tuskin saavat kaikkea irti julkaisussa uudesta mallista. Pitä tie missä viilaavat ja parantelevat uuden päälle.
Se, että on koulutettu uusiksi ei välttämättä tarkoita että olis isoin paras versio jaossa kuluttajille tai että toimii nyt superpaljon paremmin. Mun käsitys, että uudelleenkoulutus on pohja minkä päälle on hyvä rakentaa tulevaisuutta, kehitys jatkuu ja jatkuu. Voi olla myös jotain toimii nopeammin/pienemmillä token määrillä antaen saman laadun kuin entinen hitaampi malli tms.Kuka näitä nimeää. ”Koulutettiin tää iha uudesti, siispä nimettiin se minor-päivitykseksi vanhasta!”
Samaa sanovat 20e/kk tilauksesta. Voipi olla yks pyyntö ja meni 5h tokenit. Testailevat anthropic:lla koodausavustimen poistamista 20e/kk tilauksesta
Ei kannata liikaa miettiä vain noita numeroita kun totuus on siinä miten malli oikeasti toimii. Numerot ei kerro koko tarinaa. Claude 4.7 numerot paremmat kuin 4.6. 4.7 ja 4.6 toimivat tänään huonommin kuin iänwanha 4.5. 4.6 muuttui kesken kaiken lobotomiapotilaaksi. Asiat on monimutkaisempia kuin x > y ja ero a-prosenttiyksikköä.
Ehkä benchmarkit osoittavat, että malli osaa tehdä jotakin verrattuna muihin, kun ajetaan sama testi saman julkaisupäivän puitteissa
Joku arc agi3 ja muut sellaiset testit joissa testidata on salaista, on iso ero opetus ja testidatassa ja mallit ajetaan salaista testidataa vastaan hyvin harvoin(tietoa salaisesta testidatasta vuotaa joka ajokerralla). Tällaisiin voi jollain tapaa luottaa mutta näitä on todella vähän.Ehkä benchmarkit osoittavat, että malli osaa tehdä jotakin verrattuna muihin, kun ajetaan sama testi saman julkaisupäivän puitteissa
Siinä välissä on myös se applikaatiolayeri, eli palastellaan mitäs tässä kysytään ja miten ohjataan eteenpäin. Eli vaikka kielimalli pysyy samana, oma prompti pysyy samana, niin lopputulos voi muuttua jos applikaatiolayeri muuttuu.Ehkä benchmarkit osoittavat, että malli osaa tehdä jotakin verrattuna muihin, kun ajetaan sama testi saman julkaisupäivän puitteissa
Nykyään valitsen mallin ja effortin (ja agentin) pitkälti sen mukaan, mikä tuntuu omasta fiiliksestä sopivimmalta kyseiseen tehtävään. Sekään ei kuitenkaan auta kun tulee noita “4.7 ja 4.6 toimivat tänään huonommin kuin ikivanha 4.5”, tai kun 4.6 muuttuu kesken kaiken täydeksi lobotomiapotilaaksi."
Tästä syystä olen jättänyt laajat promptit sikseen, vaikka kuinka olisivat hyvin laadittu prompti/TDD-pohjaisia jne ja tarkoitettu satojen rivien koodin tuottamiseen. Pienemmillä iteraatioilla olen päässyt parempaan lopputulokseen työpäivän jälkeen.
Tän lisäksi myös ajetaan erilaisilla parametreilla(kvantisointi, parametrien määrä, high voi olla x parametriä tänään, y parametria huomenna) mallin ajattelua, montako rinnakkaista ajatteluflow:ta, miten paras vastaus valitaan, ajatellaanko uusiksi valitun vastauksen pohjalta jne. Näiden tunkkaukseen lienee opus4.6/opus4.7 tyhmentyi. Alkoi päättämään että tietää vastauksen eikä ajatellut ollenkaan("pattern matching, monistaa olemassaolevaa" ja vaikka ajattelisi niin ajatteli vähemmän kuin ennen. Molempiin näistä oli amd:lta erittäin hyvät datat näyttää että mallia huononnettu. Vaikka käyttäjä tuunaa clienttipään parametrit maksimiin niin silti ei 4.6, 4.7 useinkaan pääse samaan suorituskykyyn kuin 4.6 oli helmikuussa, osa porukasta siirtynyt käyttämään 4.5 kun se toimii luotettavammin.
5.4 kanssa yritin eilen korjailla kasaa bugeja ja siitä ei tullut oikein mitään, pistin juuri 5.5 testiin, promptiksi pelkkä "fix" ja korjasi ongelmat
Ihan vaikuttava päivitys tämän kokemuksen perusteella.Osa tästä reflektiosta tuli promptissa olevien "Zen of Python" viisauksien perusteella, toisen puolen ihan itse hallusinoiden
Eikös näiden muutos jälkeen voi sanoa kyseessä on ns opus 4.7.1 eikä enää alkup julkaisu
Mutta näistä kai ei sitten pahemmin tiedoteta.
Näinhän se menis ideaalisessa maailmassa. Nyt ei tiedetä mikä mallin versio, montako parametriä, mitkä asetukset ja heuristiikat ajatteluprosessissa, mikä system promptin sisältö jne. 4.6:en muuttuminen kylän idiootiksi hyvä esimerkki miten nimi sama mutta toimivuus täysin eri.Eikös näiden muutos jälkeen voi sanoa kyseessä on ns opus 4.7.1 eikä enää alkup julkaisu
Kannattaa säätää repeat penaltya ja muita asetuksia paikallisten mallien kanssa. Muuten saattaa tosiaan pelkkä "how are you" kysymys polttaa 200k tokenia ja viedä tekoälyn psykedeeliselle matkalle kohti Nirvanaa.Nyt on tullut testailtua Qwen3.6-35B-A3B Q4 mallia paikallisena, ja tämähän on ensipuraisulla aika vaikuttava.
RTX 4090:llä puskee 150 output tokenia sekunnissa, mikä taitaa olla jo useimpia frontier malleja nopeampaa. Ohjattu koodailu ja työkalujen käyttö näyttää onnistuvan suht mallikkaasti. Pitää testailla vielä lisää, josko olisi ensimmäinen oikeasti hyödyllinen lokaalimalli.
Välillä meinaa hymyilyttää tämän reasoning osiot, meinaa mopo karata pahasti käsistä:
Osa tästä reflektiosta tuli promptissa olevien "Zen of Python" viisauksien perusteella, toisen puolen ihan itse hallusinoiden
Repeat penalty ja presense penalty on suositeltu kytkettäväks pois päältä noiden qwen mallien kanssa, kannattaa sen sijaan laittaa katto reasoning budgetille ettei lähde käsistä.
Ennemmin näin kuin että myytäisiin lobotomiapotilasta. Voi sitten käyttää tietoisesti vanhempaa/halvempaa mallia, jos sen laatu riittää ja välttää claude tyyliset idiotismit.
Alkaa deepseekissäkin oleen kokoa. Isoin deepseek 1.6biljoonaa parametria. Flash:ikin sen kokoinen ettei edes 5090:en pro versioilla saa ajoon järkevällä nopeudella.
developer.nvidia.com
Ehkä tuollaisessa voi antaa vapauksia lisää mallille tutkia ongelmatilaa laajemmin. Mieti asiaa X, valitse 5 parasta algoritmia ja aja niitä eri asetuksilla. Lopuksi luo raportti. Tee ajot toistettavien skriptien avulla joita sekä ai agentti että ihminen pystyvät käyttämään jne. Sivusta tietty helppo tällaisia huudella kun ei ole reaalimaailman asiat vaikeuttamassa asiaa. Noissa demokoodeissa kun on luonut benchmarkit niin AI on melko hyvä tutkimaan ongelmatilaa erilaisista kulmista, benchmarkit kertovat totuuden.
Se päivä kun mallit on riittävän hyviä niin laitetaan kooderia kortistoon. Ollaan kyllä hyvinkin siinä pisteessä, että pikkujuttuja voi kuka vaan tehdä pelkillä prompteilla. Vielä ostettiin kelalle sadoilla miljoonilla softaa piilaaksosta, ei ole näkynyt softareiden massairtisanomisia, eikä konesalikapasiteetti riitä(porukka ei ole siirtynyt lokaalikoneisiin) että ei ehkä AI avustimet ole oikeasti maalissa.
Pohdin tässä kun kapasiteetistä on välillä huutava pula ja kysyntä kasvaa tarjontaa nopeammin niin onko vastaus sitten dynaaminen hinnoittelu, klo 10-17 saat maksaa 10x hinnan ja öisin pääset halvalla.
Tämä on oikeasti hyvä vinkki. Liikaa tottunut vanhaan.
Rahasta se ei ole kiinni, mutta muualla firmassa vasta "tutkitaan" ja "mietitään".
Pohdin tässä kun kapasiteetistä on välillä huutava pula ja kysyntä kasvaa tarjontaa nopeammin niin onko vastaus sitten dynaaminen hinnoittelu, klo 10-17 saat maksaa 10x hinnan ja öisin pääset halvalla.
Sitten alkaa koodaritkin olee yövuorossa
Tuntuu jotenkin ihan absurdilta ajatella että joku subscription maksu voisi edes olla kolminumeroinen luku ja vieläpä sellainen jonka voi käytöllä polttaa loppuu mutta tässä sitä vain nyt ollaan. 3 vuotta tuollaista kk maksua olisi ökymacbookin verran 128GB muistilla ja jos miettii esim. ohjelmistokehittäjää jolla kuitenkin on joku 2-4k macbookkia käytössä niin local AI omalla macbookilla kustannus saataisiin kuolletettu 1.5-2v aikana.Tämä on oikeasti hyvä vinkki. Liikaa tottunut vanhaan.
Mutta täytyy ensin ruinata pomolta lupa tilata $200 paketti vaikka edes kertaluontoisesti. Tiedän jo että pomo joutuu ruinaamaan sitä sitten omalta pomolta
Otetaan vaikka 1.6biljoonan parametrin deepseek v4. Käys katsoon minkähintaisen raudan tarvit että saat sen ajoon. Tuntuu vaikka 1000e/kk tilaus 3v ajalle ilmaiselta versus se rauta. Varsinkin kun pilvessä saat uuden raudan vuosittain, kotio ostetun koneen muisti ja laskentakapasiteetti ei kasva vuosittain. Tuollainen järeä rauta alkaa myös syömään sähköä ja jäähdytystä, ei ole ilmainen käyttää.
Kyllähän Anthropicilla oli tälläinen hinnoittelu maaliskuussa. Olisko ollut tuplamäärä tokeneita käytettävissä toimistoajan ulkopuolella, eli limitit kuluivat puolet hitaammin.Pohdin tässä kun kapasiteetistä on välillä huutava pula ja kysyntä kasvaa tarjontaa nopeammin niin onko vastaus sitten dynaaminen hinnoittelu, klo 10-17 saat maksaa 10x hinnan ja öisin pääset halvalla.
Sitten alkaa koodaritkin olee yövuorossa
