AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

[kvjanhun]

Tuo uusi malli tyhjistä pitää paikkansa, tästä on openai:n työntekijät kertoneet. Tuskin saavat kaikkea irti julkaisussa uudesta mallista. Pitä tie missä viilaavat ja parantelevat uuden päälle.

Kuka näitä nimeää. ”Koulutettiin tää iha uudesti, siispä nimettiin se minor-päivitykseksi vanhasta!”

 

[finWeazel]

Kuka näitä nimeää. ”Koulutettiin tää iha uudesti, siispä nimettiin se minor-päivitykseksi vanhasta!”

Se, että on koulutettu uusiksi ei välttämättä tarkoita että olis isoin paras versio jaossa kuluttajille tai että toimii nyt superpaljon paremmin. Mun käsitys, että uudelleenkoulutus on pohja minkä päälle on hyvä rakentaa tulevaisuutta, kehitys jatkuu ja jatkuu. Voi olla myös jotain toimii nopeammin/pienemmillä token määrillä antaen saman laadun kuin entinen hitaampi malli tms.

Mielenkiinnolla odottelen mitä sieltä tulee.

--

Vähän sivusta muistuu mieleen kun tehtiin tuotetalossa järjettömän kovasti duunia tuotteiden arkkitehtuurin parantamiseen, että voitaisiin myöhemmin tehdä uusia toiminnallisuuksia. Release nooteissa "new improved architecture". Tuli aika paljon kyselyitä asiakkailta mitä tällä uudella arkkitehtuurilla voi tehdä(ei mitään). Siinä valkeni heti uran alkupuolella miten vähän asiakasta kiinnostaa miten makkara on tehty ja mitä asiakkaille kannattaisi mainostaa ja mitä ei. Oli niin pieni tuotetalo, että valui tekijöille asti asiakaspalaute.

 

[mlackke]

Ainahan sitä uutta mallia pitää rummuttaa.."our new model trained data with NASA and hallucinates less than Trump...tjsp"

Sieltä tulee se 1-10% parannuksia oleva malli, kysymys kuuluu mikä on hinta ja nopeus.

 

[finWeazel]

En tiedä miten mallien paremmuuksia/parannuksia voisi edes realistisesti mitata. Vähän sama kuin mittais hakeeko litran maitoa kaupasta parhaiten skootterilla, skodalla vai ferrarilla. Yks voi käytellä pientä mallia ja toimii täydellisesti ja nopeasti. Toisen käyttötapaus ja koodipohja niin monimutkainen ettei state of the art isokaan malli toimi. Suurin osa siellä välissä, että toimii melko hyvin mutta toisinaan törmäilee reunoihin.

Benchmarkit ei kerro oikein mitään. Jos on viekas mallintekijä niin overfit:lla saa benchmarkit näyttämän hyvältä mutta tulos ei yleistä normaalikäyttöön. Salainenkaan datasetti millä mallit testataan ei oikein toimi kun mallintekijä saa jokaisesta testikierroksesta palautetta ja voi tuunata sen avulla mallia benchmark-optimoiduksi(arg agi). Vähän samaa hello world tyylisissä appseissa, tulee sikahieno nopeasti ... opetusdatasta kopioimalla. Totuus selviää vasta kun yrittää tehdä kompleksisempaa, selviää osaako malli vai ei.

OpenAI toiminut eilen ja tänään surkean hitaasti fast moodissakin.

 

[tarmo2011]

Just ilmaista Claudia käytin, kerroin sille mitä muutoksia olin itse tehnyt ja pyysin tarkistamaan ja korjaa yhden pienen jutun. Se avasi ekan filun (100 riviä) ja tuumaa et nyt loppu taas limitti, jatkappa 6h päästä uusiksi. Aika epätoivosta yrittää yhtään mitään.

 

[finWeazel]

Just ilmaista Claudia käytin, kerroin sille mitä muutoksia olin itse tehnyt ja pyysin tarkistamaan ja korjaa yhden pienen jutun. Se avasi ekan filun (100 riviä) ja tuumaa et nyt loppu taas limitti, jatkappa 6h päästä uusiksi. Aika epätoivosta yrittää yhtään mitään.

Samaa sanovat 20e/kk tilauksesta. Voipi olla yks pyyntö ja meni 5h tokenit. Testailevat anthropic:lla koodausavustimen poistamista 20e/kk tilauksesta

OpenAI imho. parempi vaihtoehto tällä hetkellä kun eivät ole tyhmentäneet agenttia, tokeneita saa enempi samalla rahalla.

 

[JeanS]

Clauden Sonnet 4.6:n avulla sain pystyyn oman CI/CD putken (VS-Code - Python - lokaali Jenkins serveri ja GitHub. Meni pari päivää että sain pelittämään. Ns tuotanto softaa olen tehnyt viimeksi n. 20v sitten.
Lisäyksenä: Pro tilaus, eikä weekly limit ole kuin 4%. Lisäksi saanut viriteltyä pfSense palomuuria, kotiverkkoa yms. Clauden ohjeilla

 

[mailbag]

gpt 5.5 julkaistu, näyttää olevan suht mieto bump-up edelliseen, itse odotin vähän enemmän kaiken hehkutuksen jälkeen.