AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

Tuo on oikeasti hyvä tilanne. Voipi tehdä vaikka kaikenlaista mahdollisesti hyödyttävää työtä siivoamisesta tulevaisuusjuttuihin. Yksi mikä vois olla kiinnostava niin kokeilla tehdä Mojo:lla kiihdytykset cudan sijaan. Aika mielenkiintoinen häkkyrä ja pääsee nvidian ikeestä pois. Toki toimii hyvin nvidiallakin. Mulla ollut mielenpäällä että vois mojolla olla kiva kokeilla jotain demoefektityylisiä kerneleitä jotka kiihdyttyis ... valtavasti ...

Mojon taustalla chris lattner joka ei liene tarvi esittelyjä(llvm, clang, swift,...) :) Mojossa ideana tehdä pythonin näköisellä erittäin hyvin rinnakkaistuvaa koodia mitä voi ajella cpu(simd,avx,...)/gpu/... kiihdyttimillä

No siis mulla on ihan sama tarkoitus, mutta Mojon sijasta käytössä on ILGPU. Eli C#:llä kirjoitetaan kernelit ja ILGPU sitten kääntää ne ajon aikana natiiviksi koodiksi. Ihan vain siksi että olisi helpompi ylläpitää ja optimoida eikä tarvitsisi liimailla C++:lla kirjoitettuja C-kirjastoja C#-ohjelmaan.

Tosin voisi se nyt olla Mojokin kun ollaan AI-aikakaudella. Ne syyt miksi halusin pois natiivista CUDA- ja C-koodista eivät enää päde :D
 
Koodaus alkaa olla ratkaistu ongelma. Tämänhetkiset tulokset ennen kuin laitan yöksi jauhamaan:

ScenarioPortable encode-onlynvJPEG encode-onlyDifference
Mono rst16 parallel0.566 ms0.335 ms 1.69x slower
4:4:4 rst16 parallel1.250 ms0.441 ms2.83x slower
4:2:0 rst16 parallel0.777 ms0.462 ms1.68x slower
Planar 4:2:0 rst16 parallel0.757 ms0.462 ms1.64x slower
 
Olen nyt koodannut samaan aikaan omaa peliprojektia.
Jokin aika sitten kaivoin vanhan peliprojektini esiin, olin viikkoja optimoinut sitä ja FPS oli ~300, pari promptia ja oltiin tuhannessa hienompien efektien kera. Tuli jotenkin masentunut fiilis siitä, osaanko enää mitää paremmin kuin nämä mallit? Voisikin nyt laittaa 5.5 jauhamaan sitä, kun tässä ei muutakaan käyttöä keksi.
 
Viimeöinen JPEG-optimointi oli sitten kosahtanut blue screeniin. Grayscale menee jo 1,1x vauhtia, värikuvat vielä 1,5x nopeudessa.
CUDA:han kääntyy ptx-assembleriin. Osa taloistahan optimoi nvidialle suoraan assylla kun sen kautta voi tehdä kikkoja mitä varsinainen cuda kääntäjä korkeamman tason kielestä ei tee. AI vois kokeilla analysoida assyt(jos et tee jo näin) ja antaa AI:n kirjoittaa parempaa koodia hot looppeihin. Voi olla hauska harjoitus jos on tokeneita mitä poltella pois.
 
CUDA:han kääntyy ptx-assembleriin. Osa taloistahan optimoi nvidialle suoraan assylla kun sen kautta voi tehdä kikkoja mitä varsinainen cuda kääntäjä korkeamman tason kielestä ei tee. AI vois kokeilla analysoida assyt(jos et tee jo näin) ja antaa AI:n kirjoittaa parempaa koodia hot looppeihin. Voi olla hauska harjoitus jos on tokeneita mitä poltella pois.
Hyvä idea tämäkin. ILGPU kääntää koodin, ja annoin AI:lle tehtäväksi auditoida sen lähdekoodit ja sitä kautta etsiä voisiko koodi olla tehokkaampaa tai voisiko tuottaa tehokkaampaa koodia. Mitään kriittistä ei löytynyt, mutta ILGPU:n auditoinut AI antoi vinkkejä JPEG-koodin optimointiin ja sitä kautta löytyi tuloksia. Nyt joissain tapauksissa ollaan nopeampi kuin NVidian kirjasto.

Koodi:
Yes, faster cases from this run:

1920x240 mono:

nvJPEG: 0.183 ms
portable mono-rst16-current: 0.107 ms
ratio 0.58x, so portable is about 1.7x faster.


1920x240 planar 4:4:4:

nvJPEG: 0.281 ms
portable best/current rows around 0.225-0.239 ms
ratio around 0.80x-0.85x, so portable is faster.


1280x720 mono:

nvJPEG: 0.207 ms
portable best current row: 0.169 ms
ratio 0.82x, so portable is faster.


Where nvJPEG still wins:

1920x1080 mono:

nvJPEG: 0.278 ms
portable rst16-current: 0.316 ms
ratio 1.14x, close but still slower.


1920x1080 planar 4:4:4:

nvJPEG: 0.445 ms
portable current best around 0.703 ms
ratio 1.58x, still meaningfully slower.
 
Hyvä idea tämäkin. ILGPU kääntää koodin, ja annoin AI:lle tehtäväksi auditoida sen lähdekoodit ja sitä kautta etsiä voisiko koodi olla tehokkaampaa tai voisiko tuottaa tehokkaampaa koodia.
Ehkä agentin vois saada mcp-serverin avulla suht järkevällä vaivalla profiloimaan koodia ja sitäkautta lisää paikkoja mitä voisi optimoida. Yksi vaihtoehto:
MCP server for GPU profiling with NVIDIA Nsight Systems (nsys). Requires NVIDIA Nsight Systems installed and available in PATH. Python 3.10+ is also required.

Amigakoodeissa oli tosi hyödyllistä teettää assemblerilla microbenchmarkkeja. AI paljon ennemmin uskoi/oppi miten optimoida benchmarkkien kuin esim. käskykannan manuskan+kellojaksojen pohjalta.
 
Ehkä agentin vois saada mcp-serverin avulla suht järkevällä vaivalla profiloimaan koodia ja sitäkautta lisää paikkoja mitä voisi optimoida. Yksi vaihtoehto:


Amigakoodeissa oli tosi hyödyllistä teettää assemblerilla microbenchmarkkeja. AI paljon ennemmin uskoi/oppi miten optimoida benchmarkkien kuin esim. käskykannan manuskan+kellojaksojen pohjalta.
Koitin asentaa mutta tuli 404. Mutta mitäpä tuolla tekisi.

Koodi:
Size        Mode                nvJPEG    Portable    Ratio
1920x240    mono auto            0.244    0.149        0.61x
1280x720    mono auto            0.912    0.233        0.26x
1920x1080    mono auto            0.396    0.402        1.02x
1920x240    planar 4:4:4 auto    0.842    0.245        0.29x
1280x720    planar 4:4:4 auto    0.440    0.717        1.63x
1920x1080    planar 4:4:4 auto    1.004    0.971        0.97x

Jostain syystä 1280x720 värikuva on hidas. Ehkä joku potikka mennyt väärään asentoon. AI saa tutkia.

Pari juttua tulee mieleen. Ensinnäkin, valmiskoodin markkina-arvo on täysin romahtanut. Ja toisekseen, myös lähdekoodin arvo on romahtanut. Sillä on edelleen käyttöarvo, mutta aion kirjoituttaa toteutuksesta jonkinlaisen planin tai vastaavan, jonka perusteella AI voi myöhempinä vuosina rekonstruktoida koodin uudelleen.
 
Koitin asentaa mutta tuli 404. Mutta mitäpä tuolla tekisi.
Löytää missä pullonkaula ja onko utilisaatio oikeasti lähellä 100%. GPU:t aika monimutkaisia härpättimiä jos haluaa maksimitehot ulos. AI jos saa loopattua konkreettinen mittaus mihin aika menee, katsoo koodit mukaanlukien assyn ja korjaa pullonkaulan arkkitehtuuri/koodioptimoinnilla niin toimii paremmin kuin jos on vähemmän tietoa käytössä.

Toki jpeg kuormana ei haastavammasta päästä, konesalitasolla allaolevassa lainauksessa. Aika paljon suorituskyky lisääntyy pelkillä softaoptimoinneilla vuodesta toiseen. Toisessa ääripäässä kiinalaiset optimoi deepseekkiä varten ptx-assyllle ison osan koodeistansa. Kuulemma piilaaksossa tekevät samaa vaikka eivät asiaa mainosta.

xAI’s GPU fleet is running at about 11% utilization, exposing how hard it is for AI labs to fully use expensive Nvidia hardware.
Certain companies go all-in on their software stack and are able to get utilization rates exceeding 40%, beyond the typical 35-45% rate. Meta and Google are such examples where the utilization rate is up to 43% and 46%, respectively.

Pari juttua tulee mieleen. Ensinnäkin, valmiskoodin markkina-arvo on täysin romahtanut. Ja toisekseen, myös lähdekoodin arvo on romahtanut. Sillä on edelleen käyttöarvo, mutta aion kirjoituttaa toteutuksesta jonkinlaisen planin tai vastaavan, jonka perusteella AI voi myöhempinä vuosina rekonstruktoida koodin uudelleen.
Joutuu aika moni firma menemään samaan malliin kuin miten open sourcella tehdään rahaa. Siinä kohtaa kun AI korvaa devops/tuki/security/... porukan ja ylläpito liki ilmaista agenttuen avulla niin palvelumallillakin rahastaminen alkaa muuttumaan haastavaksi.

Oracle, Sap yms. varmaan ekana ongelmissa. Kukaan osta niiden kötöstyksiä kun halvemmalla voi tehdä paremman firmakohtaisen ja kustomoidun. Todnak. palasetkin open sourcessa kun miksipä niitä koodeja piilottelemaan enää nykymaailmassa: https://www.forbes.com/sites/donmuir/2026/02/04/300-billion-evaporated-the-saaspocalypse-has-begun/
 
Taidan olla ainoa. OpenAI 5.5xhigh codex app:ssa oli eilisen claude tyylisessä idioottimoodissa ja jatkuu tänään. Ei onnistu yksinkertaisetkaan asiat, väittää että hyvä on vaikka täysin selviä virheitä. Ei löydä virheitä yksikkötesteillä joiden pitäisi olla triviaaleja kirjoittaa. Vaikka promptaisi kuinka tarkasti tai pienissä palasissa niin silti tulee sekundaa ulos minkä korjauttamiseen menee enempi aikaa kuin käsin koodaamiseen.

Noh, kauanhan tätä iloa kestikin että codex oli hyvä. Pikkuhiljaa alkaa pää hajoamaan pilveen mikä voi toimia ihan miten vain. Ei voi lokaalit ottaa (toimivaa) pilveä kiinni tarpeeksi nopeasti, että saisi järjestelmän mikä toimii päivästä toiseen samalla tavalla.

Ehkä väliajan ratkaisu olisi vuokrata gpu:ta pilvestä ja ajaa siellä "itse" isompaa open source mallia. Maksaa kyllä, mutta olis ainakin sama palvelutaso päivästä toiseen.

--

Olisko openai:llakin loppunut konesalikapasiteetti. Codex app lataukset katosta läpi. 6 miljoonan pinnasta hetkessä 160 miljoonaan.
1777979667781.png
 
Viimeksi muokattu:
Taidan olla ainoa. OpenAI 5.5xhigh codex app:ssa oli eilisen claude tyylisessä idioottimoodissa ja jatkuu tänään. Ei onnistu yksinkertaisetkaan asiat, väittää että hyvä on vaikka täysin selviä virheitä.
Siis näinkö tekoäly toimii, kun datakeskusresurssit loppuvat ? Eli vastausten laatu romahtaa ? Luulin, että vain vastausaika hidastuisi.
 
Siis näinkö tekoäly toimii, kun datakeskusresurssit loppuvat ? Eli vastausten laatu romahtaa ? Luulin, että vain vastausaika hidastuisi.
Riippuu. Voivat hidastaa niin että asiakkaan x pyynnöt menevät harvemmin laskentaan. Voivat myös kerätä isompia könttiä ja ajaa könttiä kerralla jolloin vastaus tulee hitaammin mutta samassa konesaliajassa enemmän tokeneita. Ihan selkeästi on ruuhka-aikoja missä vastaukset tulevat todella hitaasti versus amerikanaikaa viikonloppuisin aamuyöstä tuntuu että vastaukset tulevat todella nopeasti. Amerikanaikaa perjantaina iltapäivästä matelee,...

Normikäyttäjälle ei ole luvattu mitään tiettyä konfiguraatiota mallista niin voivat taustalla vähentää ajattelun määrää, kvantisoida mallia pienemmäksi tai ajaa jopa ihan eri mallia. Asiakkaalle luvattu koodinimi mutta ei tarkkoja parametreja. Koodaus llm:t eivät aja vain dataa kerran läpi ja vastaus ulos vaan monia rinnakkaisia ajattelupolkuja joista valitaan paras. Ajattelua edellisen parhaan pohjalta iteroidaan uusiksi kunnes on hyvä vastaus olemassa. Ajattelunmäärää pudottamalla menee koneaikaa vähemmän mutta vastaus vähemmän pureskeltu tai claude coden tapauksessa usein nopalla heitetty. Nopalla heittäessä koko ajatteluprosessi jätetään välistä kun malli kuvittelee tietävänsä suoraan vastauksen.

Kai perusongelma on, että on kyky tuottaa laadun X tokeneita A kappaletta. Kun asiakasmäärä joka käyttää palvelua menee katosta läpi niin tokeneita laadulla X tarvittaisiin paljon enemmän kuin A. Tässä kohtaa helppo lipsahtaa siihen, että tuotetaan huonompilaatuisia halvempia tokeneita kun ei pokka kestänyt kertoa ettei voida ottaa uusia asiakkaita sisään tai nostaa tokenien hintaa kysynnän tasolle tai hidastaa palvelua niin paljon että käyttäjät menevät takajaloilleen kun vastauksessa menee tunteja minuuttien sijaan.
 
Viimeksi muokattu:
Onko noissa malleissa vaihtoehtoa, että dataa ei käytetä jatkokoulutukseen vai onko lokaalit mallit ainoa vaihtoehto?

E. Olihan tuolla asetuksissa ruksi, jolla ilmeisesti tuon voi kieltää.
 
Onko noissa malleissa vaihtoehtoa, että dataa ei käytetä jatkokoulutukseen vai onko lokaalit mallit ainoa vaihtoehto?

E. Olihan tuolla asetuksissa ruksi, jolla ilmeisesti tuon voi kieltää.
Pääperiaate on että jos maksat niin voi kieltää datan käytön koulutuksessa eikä sun koodit jää pilveen jemmaan. Ilmaisessa asiakas ja asiakkaan data on maksuväline. Random kiinaserverit ja pikkuputiikit voipi tehdä mitä huvittaa kun panokset erilaiset kuin google, microsoft jne.

Huvittaa "en halua mun dataa käytettävän jatko-opetuksessa" ajatus ylipäänsä kun viimeisestä mun itse tekemästä koodirivistä kuukausia aikaa. Ollaan jo siinä pisteessä, että tarvii olla melko spesifi juttu että koodisalaisuus on oikeasti salaisuus eikä joko triviaalisti tai vähän yrittämällä generoitavissa promptilla. Vois kuvitella, että kaikki huvikseen tai open sourceen tai microsoft/apple/google sdk:ta jne. tekevät haluaisivat koodejansa käytettävän opetuksessa, että mallit tekisivät entistä paremmin open sourcea/harrasteprojekteja/sdk:ta. Suljetun koodin päivät on luetut.

Datat toki salaisuuksia jo ihan gdpr:n pohjalta mutta eipä tällaisia datoja muutenkaan pitäisi devaajien koneilla olla. Testidata != asiakasdata.
 
Siihen voi olla monta syytä. Teet vaikka asiakkaalle, joka ei halua että koodit leviää mihinkään. Se on ihan sama onko se tarpeen vai ei, voit valita tehdä projektin ja tehdä kuten asiakas sanoo tai keksiä muuta hommaa. Ja kyllä noita erinäisiä algoritmeja on tullut tehtyä, joita voi pitää liikesalaisuutena. Jos meinaa käyttää näitä työkaluja mihinkään niin nuo algoritmithan lipsahtaa helposti koulutusdataan.

Se että tekee jotain diibadaabaa ja sitten huvittaa kun joku ei voi levittää koodeja julkisesti ei kyllä lakkaa hämmästyttämästä.
 
Siihen voi olla monta syytä. Teet vaikka asiakkaalle, joka ei halua että koodit leviää mihinkään. Se on ihan sama onko se tarpeen vai ei, voit valita tehdä projektin ja tehdä kuten asiakas sanoo tai keksiä muuta hommaa. Ja kyllä noita erinäisiä algoritmeja on tullut tehtyä, joita voi pitää liikesalaisuutena. Jos meinaa käyttää näitä työkaluja mihinkään niin nuo algoritmithan lipsahtaa helposti koulutusdataan.

Se että tekee jotain diibadaabaa ja sitten huvittaa kun joku ei voi levittää koodeja julkisesti ei kyllä lakkaa hämmästyttämästä.
Ymmärrän tuon toki, mutta mun pointti oli se, että hitainkin aika pian tajuaa että koodin hinta lähenee nollaa kun saa kyhättyä viikoissa projekteja joiden tekemiseen meni ennen kuukausia/vuosia. Väitän että tämä johtaa myös siihen, että open sourcesta tulee löytymään entistä parempia ratkaisuja esim. projektinhallinta, tukibotit, tuntikirjaus, toiminnanohjausjärjestelmät jne. Kyllähän noita maksavien asiakkaidenkin himmeleitä rakennetaan paljon open sourcen päälle tai vaikka kuinka iso osa android puhelimesta on open sourcea.

Algoritmi jos löytyy esim. tieteellisestä paperista niin ei koneella mene kauaa kirjoitella toteutusta. Viime vuonna jo tylytti llm:t suurimman osan ihmisisä matematiikassa ja algoritmityylisissä koodauskisoissa, suurin osa koodereista ei edes pääsis noihin kisoihin mukaan saati sitten pärjäisi niissä. Vähän rapsuttelee niin kaikki keksitty viimeistään 60-luvulla.

Suljettua koodia tulee olemaan aina, jos ei muualla niin jossain sotateollisuuden niche kontekstissa. Mainstream koodaus mitä suurin osa porukasta tekee,... toinen tarina
 
Sillä ei ole niin mitään väliä mihin ollaan menossa. Isot ei-softafirmat ei tule muuttumaan nopeasti. Meillä pitää vaihtaa edelleen 3kk välein salasana, vaikka siinä ei ole mitään järkeä, koska jotkut asiakkaat vaativat että noudatamme tiettyä standardia, jossa tuo on määritelty. Mikähän on helpointa, noudattaa tuota, saada asiakas vaihtamaan mieltään vai muuttaa standardia?

Tässä on ihan sama homma. Et ole tainnut teollisuusasiakkaiden kanssa ikinä työskennellä jos kuvittelet että joku iso teollisuusfirma muuttaa tällaisia periaatteita nopeasti. Hyvä jos viidessä vuodessa tapahtuu mitään muutosta. Miksi muuttaisivat? Ei siitä ole heille mitään hyötyä että koodit leviää kaikille.

"Kyllähän noita asiakkaidenkin himmeleitä rakennetaan open sourcen päälle" -> entä sitten? Ei se edelleen tarkoita että niitä muutoksia pitäisi kaikille jaella.

Mitä algoritmeihin tulee, niin esimerkiksi biosignaaleja uusille laitteille tulkitsevia algoritmeja tuskin noin vain tulee AI:sta jos ei ensin selitä aika tarkkaan miten se toimii - ja jälkimmäinen on se juttu, jota ei haluta levittää. Vai osaatko selittää tarkasti miten vaikka Ouran sormuksen algoritmit toimii? Saatko AI:n kirjoittamaan ne?
 
Ajatuksessa että koodin leviämisellä ei olisi väliä, koska koodin arvo lähestyy nollaa, on perustavanlaatuinen ongelma.

Suurimmassa osassa tapauksista yhtälailla se mitä backendissa tehdään, kuin miten, on suojattavaa. Vuotanut koodi paljastaa molemmat. Siihen sitten päälle se, että nykymaailmassa siellä kontekstissa on usein kaikenlaista muutakin kuin vain se koodi tai sen speksit. Siellä voi olla kokonaisia Jira-boardeja, isojakin datasettejä, firman sisäistä viestinvaihtoa, tai ihan mitä tahansa muuta.
 
Sillä ei ole niin mitään väliä mihin ollaan menossa. Isot ei-softafirmat ei tule muuttumaan nopeasti.
Suomi only things,... Isossa maailmassa eri tavalla. Yksi syy siihen miksi piilaakso vei alustatalouden(meta, microsoft, facebook, uber, lyft, apple, google, openai, anthropic jne jne). Ei tarvi kovin iso ennustaja olla, että arvaa suomen laahaavan perässä. En siis suomea käyttäisi benchmarkkina sen suhteen miten nopeasti maailma liikkuu ja mihin maailma tulee menemään.

Piilaaksossa isoissa firmoissa AI avustimet ... kaikilla ... käytössä. All In. Nopeet syö hitaat. Myös pankeissa, esim. goldman sachs mistä on ollut juttua.

--

Oura on hyvä esimerkki kun oura nimenomaan on signaalinkäsittelyn osalta all in AI:ssa eikä ihmisen käsinkirjoittamaa heuristiikkaa. Ouran etu ja tämä suoraan ouran perustajien suusta on iso laadukas datamäärä jolla voidaan ruokkia AI:ta. Ouran MOAT on data eikä koodi. Ouran innovaatiot tulevat AI:n avulla seulomalla datasta signaalia. Oura on myös ollut agressiivinen patenttien kanssa, esim. samsungin sormusta ei saa amerikassa myydä kun oura puolusti patenttejaan.
 
Viimeksi muokattu:
No, jos soitan Ouralle niin antavatko ne AI-algoritmit, joilla seulovat sitä dataa? Yksi tuttu jonka kanssa välillä käydään lounaalla (kun satutaan samaan aikaan ruokalaan) on tuolla projektipäällikkönä joten ihan outo firma tuo ei ole.

Se mitä Piilaakson jätit tekevät on aivan yhdentekevää meidän kannalta. Koko bisnesmalli on alusta asti ollut erilainen. Tällä hetkellä teollisuusfirmoissa AI:n sallivuus riippuu aika pitkälle yksittäisistä henkilöistä. Keskijohto varsinkin on riskejä välttelevää tyyppiä. Kun et anna tehdä mitään uutta niin et tee sellaisia virheitä, joista tulee potkut. Ja en muuten puhu suomalaisista firmoista. Useimmat asiakkaat on ulkomailta.

Joku Google tai Amazon jos ilmoittaa ehtoja, niin siinä isotkin firmat joutuu joko suostumaan tai käyttämään jotain muuta. Noille firmoille ne omat säännöt on tärkeämmät kuin joku yksittäinen asiakas.
 
Se mitä Piilaakson jätit tekevät on aivan yhdentekevää meidän kannalta.
maailma on erilainen paikka kun miettii kokonaisuutta eikä omaa napaa. Jos luet ajatuksella mun postauksen niin puhun koodauksesta yleensä ja koodauksen tulevaisuudesta. Pienet nichet erikseen,...

Oura olisi ilman patentteja paahdettu leipä, patentit ja niiden puolustaminen pitävät samsungin ja kiinalaiset poissa amerikan sormusmarkkinoilta. Oura ei kaikilla markkinoilla puolusta patentteja. Oura ilman ai:ta ei olisi mahdollinen nykyisen tuotteen toimivuudella. Oura ilman patentteja hukkuisi kilpailijoihin, nyt saa koko amerikan markkinan itselleen.
 
Viimeksi muokattu:
Löytää missä pullonkaula ja onko utilisaatio oikeasti lähellä 100%. GPU:t aika monimutkaisia härpättimiä jos haluaa maksimitehot ulos. AI jos saa loopattua konkreettinen mittaus mihin aika menee, katsoo koodit mukaanlukien assyn ja korjaa pullonkaulan arkkitehtuuri/koodioptimoinnilla niin toimii paremmin kuin jos on vähemmän tietoa käytössä.
No siis ilmankin tuntuu optimoivan hyvin. Mutta olisin laittanut tuon MCP:n jos se toimisi.

Taidan olla ainoa. OpenAI 5.5xhigh codex app:ssa oli eilisen claude tyylisessä idioottimoodissa ja jatkuu tänään. Ei onnistu yksinkertaisetkaan asiat, väittää että hyvä on vaikka täysin selviä virheitä. Ei löydä virheitä yksikkötesteillä joiden pitäisi olla triviaaleja kirjoittaa. Vaikka promptaisi kuinka tarkasti tai pienissä palasissa niin silti tulee sekundaa ulos minkä korjauttamiseen menee enempi aikaa kuin käsin koodaamiseen.
Tämä näyttää olevan joillakin toistuva ongelma. Olen ainakin vielä toistaiseksi välttänyt, mutta teen välillä myös auditteja ja refaktorointeja joissa putsataan vanhaa koodia, viedään erilliseen kirjastoon osa, siivotaan luokkarakenteet.
Mitä algoritmeihin tulee, niin esimerkiksi biosignaaleja uusille laitteille tulkitsevia algoritmeja tuskin noin vain tulee AI:sta jos ei ensin selitä aika tarkkaan miten se toimii - ja jälkimmäinen on se juttu, jota ei haluta levittää. Vai osaatko selittää tarkasti miten vaikka Ouran sormuksen algoritmit toimii? Saatko AI:n kirjoittamaan ne?
Sehän riippuu siitä löytyykö niistä tutkimuksia tai muuta julkista matskua, vaikka edes patentit. Noista älysormuksista ei ole kokemuksia, mutta ei liene vaikea selvittää millaisia sensoreita siitä löytyy. Jos pystyy hankkimaan vastaavaa dataa (vaikka oma proto) niin voi antaa AI:lle pureskeltavaksi.
 
No siis ilmankin tuntuu optimoivan hyvin. Mutta olisin laittanut tuon MCP:n jos se toimisi.
Tuo mcp oli eka mikä tuli vastaan, noita on muitakin. Voipi olla, että osaa AI suoraan tehdä skriptit ja käyttää nvidian profilointityökalua ettei tarvi edes mcp serveriä. OBS:in kanssa tuli tällainen mukava yllätys että osasi käytellä sen skriptattavia apeja suoraan.


Nvidian oma jpeg-dekooderi optimoitu niin että kun heität ison kasan jpeg:ja kerralla niin se rinnakkaisesti osaa purkaa todella nopeasti, yksi kerrallaan ei niin hyvä. Saturoi riittävällä määrällä purkukuormaa hyvin koko gpu:n. Yhteen väliin klustereissa tekivät niin että joku yksittäinen gpu toimitti purkuserverin virkaa kun opettivat neuroverkkoja kuvilla.

Joutuu miettimään onko pullonkaula muistiväylä, cache(missit), laskenta, laskennan jakaminen useammille yksiköille, synkronointi. Profiler kertoo ja koodi ei ole enää musta laatikko. Viimeisen tason cache on käsin manageroitava, käyttääkö preload käskyjä tuplapuskurointiin(tarvii explisiittisesti koodata), miten keskusmuisti ja ehkä pcie-väylä. Profiloimalla löytyy ne oikeet kuplat ja pullonkaulat mistä joku kesti x/ms ei kerro oikein mitään. Amigahommissakin missä paljon yksinkertaisempi suoritin niin AI osasi jonnekin asti itsekseen mutta microbenchmarkit ja profilointi oli se viimonen silaus millä sai agenttiloopin ottamaan loputkin löysät pois.

jpeg:it kuites niin pieniä että ehkä ne muisti/cache miss yms. pullonkaulat on ainakin pienillä kuvamäärillä no problem. Enempi tuosta on iloa jos lähtee jotain isompaa optimoimaan, mutta jos on niitä tokeneita niin hyvähän se olis opettaa agentille profiloijan käyttö.
 
Viimeksi muokattu:
Taidan olla ainoa. OpenAI 5.5xhigh codex app:ssa oli eilisen claude tyylisessä idioottimoodissa ja jatkuu tänään.
Et ole ainoa, minä tässä alkuillassa jatkoin juttuja mitä koko viikonlopun erittäin onnistuneesti 5.5 high mallin kanssa tehnyt.
Tänään se sitten epäonnistui aivan perus jutuissa useaan kertaan.
 
Profilointi lähti pelittämään ja tokenit hupenemaan. Poltin 12 tunnissa neljäsosan viikkobudjetista niin pitää himmailla nyt.

Ehkä täytyy antaa @Makis myös tunnustusta: Ei kannata antaa mitään ilmaiseksi eikä liian helpolla. JPEG enkooderi on vielä peruskauraa, mutta aloin myös optimoimaan FFT-laskentaa. Kyllä siinä vielä palaa tokeneita ennen kuin ollaan NVidian kanssa samalla tasolla.
 
Sehän riippuu siitä löytyykö niistä tutkimuksia tai muuta julkista matskua, vaikka edes patentit. Noista älysormuksista ei ole kokemuksia, mutta ei liene vaikea selvittää millaisia sensoreita siitä löytyy. Jos pystyy hankkimaan vastaavaa dataa (vaikka oma proto) niin voi antaa AI:lle pureskeltavaksi.
Ei se nyt noin toimi kun nyt puhutaan ihmisen fysiologiaan liittyvästä uudesta tutkimuksesta niin ei se pelkästään dataa tuijottamalla selviä, tai muutenhan me voitaisiin selvittää kaikki maailman jäljellä olevat tieteelliset ongelmat, johon vain on dataa, AI:lla. Syötetään vaan kaikki data sille ja odotetaan hetki ja esimerkiksi kaikki fysiikan ongelmat ratkesivat, dadaa! Miten on mahdollisa, että JWST löysi galaksin joka on niin varhaisesta maailmankaikkeuden vaiheesta, että sen ei pitäisi olla olemassa? Kysytään AI:lta!

Otetaan konkreettinen esimerkki: oletetaan että sormus näyttää n eri tulosta ja siinä on m anturia. Ensin pitäisi keksiä että mikä anturi mittaa mitäkin. Sen jälkeen pitäisi jotenkin päätellä että mitä siitä datasta etsitään. Sanotaan nyt vaikka, että mittaa veren happipitoisuutta. Sitä tietoa voi käyttää monella tavalla ja siinä voi olla sellaisia käyttöjä, joita ei ole edes kerrottu. Miten se AI nyt kertoo sinulle miten sitä dataa käytetään?

Ja siis jos se on niin helppoa kuin sanot, niin varmaan saat ne koodit kun lähetät sähköpostia?
 
maailma on erilainen paikka kun miettii kokonaisuutta eikä omaa napaa. Jos luet ajatuksella mun postauksen niin puhun koodauksesta yleensä ja koodauksen tulevaisuudesta. Pienet nichet erikseen,...
Mitä ihmeen merkitystä sillä, mitä joskus tulevaisuudessa tapahtuu on tämän hetkisten asiakkaiden kanssa? Sinä tässä sotkit nyt tulevaisuuden tähän mukaan. Ja olen sanonut tämän jo useampaan kertaan, että tämä ei muutu nopeasti. Meinaatko mennä heiluttelemaan jonkun vaikka ison autovalmistajan luo käsiäsi ja selittämään että heidän autojensa softat voi laittaa open sourceksi kun ei sillä ole väliä (enkä puhu nyt infotainmentista)?

Haluaisitko muuten että myös esimerkiksi meidän viestintälaitteiden algoritmit leviää vaikka venäläisille? Vai kaivaako ne AI: jotenkin esille miten esimerkiksi taajuushyppelyt toimii ja miten data on koodattu?
 
Mitä ihmeen merkitystä sillä, mitä joskus tulevaisuudessa tapahtuu on tämän hetkisten asiakkaiden kanssa? Sinä tässä sotkit nyt tulevaisuuden tähän mukaan. Ja olen sanonut tämän jo useampaan kertaan, että tämä ei muutu nopeasti. Meinaatko mennä heiluttelemaan jonkun vaikka ison autovalmistajan luo käsiäsi ja selittämään että heidän autojensa softat voi laittaa open sourceksi kun ei sillä ole väliä (enkä puhu nyt infotainmentista)?

Haluaisitko muuten että myös esimerkiksi meidän viestintälaitteiden algoritmit leviää vaikka venäläisille? Vai kaivaako ne AI: jotenkin esille miten esimerkiksi taajuushyppelyt toimii ja miten data on koodattu?
On varmasti yrityksiä, joissa pelätään tietovuotoja AI:n avulla. Itsekin olen ollut ja olen edelleen peloissani että jotain tärkeää karkaa joltain AI:n tahallisen tai tahattoman toiminnan vuoksi.

Mutta yhä useampi yritys on havainnut että tekoälyavusteinen koodaus yleistyy vauhdilla ja jos yritys jää siitä jälkeen, uusia työntekijöitä ei enää saa (kukaan ei halua firmaan joka jäänyt teknologisesti jälkeen) ja eteenpäin katsovat työntekijöt lähtevöt muualle kun eivät näe kehittyvänsä.

Lisäksi kilpailijat saattavat kehittää parempia ratkaisuja ja ovat kohta haastamassa tämän jälkeenjääneen yrityksen. Teollisuuden järjestelmiin kehitykseen tekoäly toisi takuulla isoja hyötyjä jo ihan logiikkaohjelmointiin (voidaan vaikka mitata ja pyytää mittausdatan perusteella parantamaan ohjelmaa)

Työntekijän pitää itse juuri nyt miettiä, jääkö yritykseen tekemään samaa vanhaa vai muuttuuko maailma juuri nyt niin pysyvästi että kannattaa hypätä matkaan ja olla aallonharjalla mukana.
 
Kun monilla tuntuu kuluvan tokeneita huimasti, seuraatteko mitä agentit puuhailee? Copilot muuttaa kohta hinnoittelunsa token-pohjaiseksi ja monilla muillakin vapaa kuukausipohjainen hinnoittelu alkaa loppua.

Kum itse seuraan AI:n koodausta niin sen "kyvykkyys" tuntuu usein olevan perkuleenmoista kokeilua ja väsymättömän iteroinnin jälkeen se löytää vihdoin toimivan. Moni ihmettelee miten taitava koodaaja tekoäly on, mutta taustalla saattaa olla vimmainen iterointi ja kokeilu.

Itse pyrkinyt speksaamaan mahdollisimman tarkasti (ai:n avulla tietenkin) ja ylläpitämään dokumentaatiota jotta AI ei rikkoisi olemassaolevaa ja ymmärtäisi paremmin kokonaisuutta. Käytännössä oikein isossa solutionissa tuntuu että ensin tehdäön innolla koodimuutokset ja eka kerralla ei käännykään, korjataan, käännetään, korjatään, käännetäään ja lopulta ajetaan testit, korjataan, käännetään jne...

Kyllä siinä tokeneita kuluu jos jättää yöksi tekemään tällaista luuppia.
 
On varmasti yrityksiä, joissa pelätään tietovuotoja AI:n avulla. Itsekin olen ollut ja olen edelleen peloissani että jotain tärkeää karkaa joltain AI:n tahallisen tai tahattoman toiminnan vuoksi.

Mutta yhä useampi yritys on havainnut että tekoälyavusteinen koodaus yleistyy vauhdilla ja jos yritys jää siitä jälkeen, uusia työntekijöitä ei enää saa (kukaan ei halua firmaan joka jäänyt teknologisesti jälkeen) ja eteenpäin katsovat työntekijöt lähtevöt muualle kun eivät näe kehittyvänsä.

Lisäksi kilpailijat saattavat kehittää parempia ratkaisuja ja ovat kohta haastamassa tämän jälkeenjääneen yrityksen. Teollisuuden järjestelmiin kehitykseen tekoäly toisi takuulla isoja hyötyjä jo ihan logiikkaohjelmointiin (voidaan vaikka mitata ja pyytää mittausdatan perusteella parantamaan ohjelmaa)

Työntekijän pitää itse juuri nyt miettiä, jääkö yritykseen tekemään samaa vanhaa vai muuttuuko maailma juuri nyt niin pysyvästi että kannattaa hypätä matkaan ja olla aallonharjalla mukana.
Just eilen luin tietovuodosta, jossa AA-kerhon jäsenten tietoja oli levinnyt kun oli vähän AI:lla koodailtu.

Aika paljon tuokin, että riittäkö työntekijöitä riippuu alasta. Paine jatkossa kasvaa, mutta nyt tuntuu taas siltä, että vauhti on joillakin kovempi kuin mitä kitka on. Väittelin jo yli 10 vuotta sitten tyypin kanssa, joka intoili, että Suomessa on viiden vuoden päästä itseajavat autot. Piti toppuutella, että vaikka teknologia pääsisikin siihen mennessä siihen pisteeseen, niin yhteiskunnassa on paljon muita jarruja ja tuo ei tule tapahtumaan kuin joskus 2030-luvulla. Mikä ei lie kovin kaukana todellisuudesta.

Itse eläköidyn ensi vuosikymmenen loppupuolella ja uskon, että jos on niin luddiitti, että ei halua käyttää AI:ta, niin sellaisia hommia löytyisi jostain vielä silloinkin. Kaikki koodaaminen kun ei ole sitä, että tuotetaan mahdollisimman paljon koodia mahdollisimman lyhyessä ajassa. Ja AI ei tiedä kaikkea mitä panssariovien takana tehdään.

Teollisuudessa ja monella muulla alalla ongelma AI:n käyttöönoton kannalta on se, että niin iso osa ajasta kuluu oikeellisuuden tarkistamiseen että ei se AI kovin paljoa auta. Itse olen tehnyt aika paljon medikaalisoftaa. Haluaisitteko te, että vaikka hengityskoneen koodit on vibe-koodattu? Miten paljon tuollaisen koodin tapauksessa olisitte valmiita jättämään AI:n harteille? Pitäisikö ihmisten ihan oikeasti ymmärtää se koodi? Uskaltaisitteko luottaa, että AI tekee vedenpitävät speksit kun kyse on ihmishengistä? Tai riittääkö varmasti AI:n kirjoittamat testit?

Ja kun vastaus on "ei" niin paljonko noihin pitäisi joka tapauksessa käyttää ihmisten aikaa? Se sama ymmärrys joka syntyy tekemällä pitää nyt saada käymällä AI:n tekemisiä läpi samalla tarkkuudella, niin paljonko se oikea säästö tuollaisessa tapauksessa on?

Entäpä vaikka auton kontrollisoftat? Siis ne, jotka ohjaavat esimerkiksi ABS-jarruja ja kaistavahtia? Sitten kun mennään teollisuuteen niin siellä on jossain paperikoneessa ihan omat vaatimukset. Tai vaikkapa valtameriristeilijän dieselkoneen kontrolloinnissa.
 
Se sama ymmärrys joka syntyy tekemällä pitää nyt saada käymällä AI:n tekemisiä läpi samalla tarkkuudella, niin paljonko se oikea säästö tuollaisessa tapauksessa on?

Tämä asioiden syvällinen ymmärtäminen on se, minkä takia pidän itseni tiukasti ruorissa AI:n kanssa koodatessa. Kun kehitetään uutta, ymmärrys kasvaa koko ajan projektin edetessä, ja ohjaa tulevaa tekemistä. Jos kehittäjällä katoaa kosketus toteutukseen, on koko projekti kohta tuuliajolla.

Varmasti on myös triviaaleja ongelmia, esim optimointi, jonka tulos voidaan helposti tarkistaa ja vaikka brute force iteroida AI:n kannssa kohti parempaa tulosta. Tai jopa käyttää gradient descend tai geneettisiä algoritmejä. Mutta nämä ovat kuitenkin pieni osa koko softakehitystä.
 
Jaahas, just tuli Linkkariin jonkun CTO:n juttu, jossa laski, että AI-kulut tulee hänellä 40-kertaistumaan. Kyllä tuossa varmasti monessa firmassa aletaan miettiä, että vaikka ne avoimet mallit onkin vähän huonompia, niin onko ne niin paljon huonompia, että pienehkössäkin softatalossa kannattaa maksaa satoja tonneja vuodessa jollekin Anthropicille.

Eilen illalla tuli sitten vastaan kaksi bugia omassa harrasteprojektissa, joita kumpaakaan ei Claude osannut korjata. Kovasti värkkäsi ja lopulta loppui tokenit ja oli varma että sai korjattua mutta samat bugit siellä edelleen oli.
 
Onko vielä tullut vastaan ettei ai osais jotain korjata? Mulla ei oo kertookaan. Ainakin omasta mielestään tietävät ratkaisun kaikkeen. Vaikkeivat tiedäkään. Ite vaihtanut mallia tai aloittanut uuden chatin tai miettinyt ongelmaa uudemman kerran siinä kohtaa.
 
Viimeksi muokattu:
Kyllä tuossa varmasti monessa firmassa aletaan miettiä, että vaikka ne avoimet mallit onkin vähän huonompia, niin onko ne niin paljon huonompia, että pienehkössäkin softatalossa kannattaa maksaa satoja tonneja vuodessa jollekin Anthropicille.
Nyt olen viikon kokeillut koodata käyttäen yksinomaan lokaalia mallia avustajana, ja olen kyllä erittäin tyytyväinen. Toimin ehkä "matalammalla" tasolla kuin monet vibettäjät, eli toteutan pienempiä kokonaisuuksia (commit size) kerrallaan aluksi yhdessä AIn kanss plänäten. Näin pysyn hyvin kärryillä ja kontrollissa lisäksi välttäen koodipohjan tarpeettoman paisumisen.

Super hyvä puolihan tässä myös on, että kun dataa ei lähde oman koneen ulkopuolelle, niin on aika helppo perustella työnantajalle / asiakkaalle käytön turvallisuus.
 
Onko vielä tullut vastaan ettei ai osais jotain korjata? Mulla ei oo kertookaan. Ainakin omasta mielestään tietävät ratkaisun kaikkeen. Vaikkeivat tiedäkään.
Minulla tullut useamman kerran. Yleensä johtuu siitä, että se yrittää korjata väärin niin monta kertaa, että konteksti täyttyy. Sitten se alkaa korjaamaan sillä ekalla väärällä tavalla uudestaan ja se jää tuohon luuppiin ikuisesti jos ei keskeytä. Eilisessä tapauksessa kun ei korjaaminen tuntunut onnistuvan, niin luulen että debuggaan vian nopeammin kuin yritän saada AI:n tajuamaan mikä on vikana niin, että se osaa korjata sen.

Lokaalimalleissa muuten on sekin hyvä puoli, että sen suorituskyky ei paskoonnu itsestään, kuten Clauden kohdalla tuntuu aina välillä käyvän. Hintalappukin on ennustettava.
 
Onko vielä tullut vastaan ettei ai osais jotain korjata? Mulla ei oo kertookaan.
Helposti, kysy miten korjata jotain naisihmisistä, siinä jää Mythoskin suu auki.

Ei mutta välillä tulee vastaan esim jotain scripti juttuja ja ei saa ratkaistua vaikka paperilla näyttääkin hyvältä.
 

Statistiikka

Viestiketjuista
306 578
Viestejä
5 187 992
Jäsenet
82 923
Uusin jäsen
LuotoM

Hinta.fi

Back
Ylös Bottom