AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

[kvjanhun]

Tuo uusi malli tyhjistä pitää paikkansa, tästä on openai:n työntekijät kertoneet. Tuskin saavat kaikkea irti julkaisussa uudesta mallista. Pitä tie missä viilaavat ja parantelevat uuden päälle.

Kuka näitä nimeää. ”Koulutettiin tää iha uudesti, siispä nimettiin se minor-päivitykseksi vanhasta!”

 

[finWeazel]

Kuka näitä nimeää. ”Koulutettiin tää iha uudesti, siispä nimettiin se minor-päivitykseksi vanhasta!”

Se, että on koulutettu uusiksi ei välttämättä tarkoita että olis isoin paras versio jaossa kuluttajille tai että toimii nyt superpaljon paremmin. Mun käsitys, että uudelleenkoulutus on pohja minkä päälle on hyvä rakentaa tulevaisuutta, kehitys jatkuu ja jatkuu. Voi olla myös jotain toimii nopeammin/pienemmillä token määrillä antaen saman laadun kuin entinen hitaampi malli tms.

Mielenkiinnolla odottelen mitä sieltä tulee.

--

Vähän sivusta muistuu mieleen kun tehtiin tuotetalossa järjettömän kovasti duunia tuotteiden arkkitehtuurin parantamiseen, että voitaisiin myöhemmin tehdä uusia toiminnallisuuksia. Release nooteissa "new improved architecture". Tuli aika paljon kyselyitä asiakkailta mitä tällä uudella arkkitehtuurilla voi tehdä(ei mitään). Siinä valkeni heti uran alkupuolella miten vähän asiakasta kiinnostaa miten makkara on tehty ja mitä asiakkaille kannattaisi mainostaa ja mitä ei. Oli niin pieni tuotetalo, että valui tekijöille asti asiakaspalaute.

 

[mlackke]

Ainahan sitä uutta mallia pitää rummuttaa.."our new model trained data with NASA and hallucinates less than Trump...tjsp"

Sieltä tulee se 1-10% parannuksia oleva malli, kysymys kuuluu mikä on hinta ja nopeus.

 

[finWeazel]

En tiedä miten mallien paremmuuksia/parannuksia voisi edes realistisesti mitata. Vähän sama kuin mittais hakeeko litran maitoa kaupasta parhaiten skootterilla, skodalla vai ferrarilla. Yks voi käytellä pientä mallia ja toimii täydellisesti ja nopeasti. Toisen käyttötapaus ja koodipohja niin monimutkainen ettei state of the art isokaan malli toimi. Suurin osa siellä välissä, että toimii melko hyvin mutta toisinaan törmäilee reunoihin.

Benchmarkit ei kerro oikein mitään. Jos on viekas mallintekijä niin overfit:lla saa benchmarkit näyttämän hyvältä mutta tulos ei yleistä normaalikäyttöön. Salainenkaan datasetti millä mallit testataan ei oikein toimi kun mallintekijä saa jokaisesta testikierroksesta palautetta ja voi tuunata sen avulla mallia benchmark-optimoiduksi(arg agi). Vähän samaa hello world tyylisissä appseissa, tulee sikahieno nopeasti ... opetusdatasta kopioimalla. Totuus selviää vasta kun yrittää tehdä kompleksisempaa, selviää osaako malli vai ei.

OpenAI toiminut eilen ja tänään surkean hitaasti fast moodissakin.

 

[tarmo2011]

Just ilmaista Claudia käytin, kerroin sille mitä muutoksia olin itse tehnyt ja pyysin tarkistamaan ja korjaa yhden pienen jutun. Se avasi ekan filun (100 riviä) ja tuumaa et nyt loppu taas limitti, jatkappa 6h päästä uusiksi. Aika epätoivosta yrittää yhtään mitään.

 

[finWeazel]

Just ilmaista Claudia käytin, kerroin sille mitä muutoksia olin itse tehnyt ja pyysin tarkistamaan ja korjaa yhden pienen jutun. Se avasi ekan filun (100 riviä) ja tuumaa et nyt loppu taas limitti, jatkappa 6h päästä uusiksi. Aika epätoivosta yrittää yhtään mitään.

Samaa sanovat 20e/kk tilauksesta. Voipi olla yks pyyntö ja meni 5h tokenit. Testailevat anthropic:lla koodausavustimen poistamista 20e/kk tilauksesta

OpenAI imho. parempi vaihtoehto tällä hetkellä kun eivät ole tyhmentäneet agenttia, tokeneita saa enempi samalla rahalla.

 

[JeanS]

Clauden Sonnet 4.6:n avulla sain pystyyn oman CI/CD putken (VS-Code - Python - lokaali Jenkins serveri ja GitHub. Meni pari päivää että sain pelittämään. Ns tuotanto softaa olen tehnyt viimeksi n. 20v sitten.
Lisäyksenä: Pro tilaus, eikä weekly limit ole kuin 4%. Lisäksi saanut viriteltyä pfSense palomuuria, kotiverkkoa yms. Clauden ohjeilla

 

[mailbag]

gpt 5.5 julkaistu, näyttää olevan suht mieto bump-up edelliseen, itse odotin vähän enemmän kaiken hehkutuksen jälkeen.

 

[finWeazel]

gpt 5.5 julkaistu, näyttää olevan suht mieto bump-up edelliseen, itse odotin vähän enemmän kaiken hehkutuksen jälkeen.

Ei kannata liikaa miettiä vain noita numeroita kun totuus on siinä miten malli oikeasti toimii. Numerot ei kerro koko tarinaa. Claude 4.7 numerot paremmat kuin 4.6. 4.7 ja 4.6 toimivat tänään huonommin kuin iänwanha 4.5. 4.6 muuttui kesken kaiken lobotomiapotilaaksi. Asiat on monimutkaisempia kuin x > y ja ero a-prosenttiyksikköä.

Iso pihvi oikeassa toimivuudessa ja siinä miten paljon konesalia malli syö.

GPT‑5.5 matches GPT‑5.4 per-token latency in real-world serving, while performing at a much higher level of intelligence. It also uses significantly fewer tokens to complete the same Codex tasks, making it more efficient as well as more capable.

Across these domains, GPT‑5.5 is not just more intelligent; it is more efficient in how it works through problems, often reaching higher-quality outputs with fewer tokens and fewer retries. On Artificial Analysis's Coding Index, GPT‑5.5 delivers state-of-the-art intelligence at half the cost of competitive frontier coding models.