AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

[finWeazel]

Vaikka en oikein haluaisi Kiinaa tukea, niin toivon että nuo laittaisi API hinta painetta hyvlile länsimalleille, että sais niiden hintaa alaspäin.
Tässä tainnut olla suunta vimeisen vuoden aikana vain ylöspäin?

Edit: nuo kiinamalit halpoja tuollaiseen höpöilyyn, mutta kaikki totisemmat koodaukset menee 5.3-codex.

Kiinalla on oma lehmä ojassa, mutta ne on toisten ketjujen aiheita. En kiinaservereitä käyttäisi,... Länkkäriservereillä taas sitten on ihan sama hintadynamiikka kun ei ole valtion subventointia syystä x,y,z takana.

Länkkäreistä nvidia voi tulla pelastajaksi avoimissa malleissa. Avoimien mallien määrällä laskettuna nvidia taitaa olla isoin avoimien mallien tekijä. Nvidiassa sekin hyvä puoli, että tukevat omien rautojensa uusimpia ominaisuuksia kuten nvfp4:sta

Ei tokenien hinnoista kannata alkaa säikähtämään. Per token hinta kun pidetään laatu samana tulee niin kovaa alaspäin että jos ei tarvi kuin gpt5.4 tasoisen palvelun niin se säilyy halpana. Eri asia sitten jos haluaa käyttää uusinta, isointa ja kalleinta mallia. Näiden käyttö menee kategoriaan, firmat maksaa JOS saavat mallista enemmän hyötyä kuin mikä mallin kustannus on. Ihan sama argumentti että tarviiko kooderille ostaa nopein cpu vai riittääkö läppäri ja 4 corea(mennävuosina). Joillekin aika on rahaa, jotku yrittävät säästää itseänsä menestykseen.

 

[Tuomi0]

Vaikka en oikein haluaisi Kinaa tukea, niin toivon että nuo laittaisi API hinta painetta hyvlile länsimalleille, että sais niiden hintaa alaspäin.
Tässä tainnut olla suunta vimeisen vuoden aikana vain ylöspäin?

Edit: nuo kiinamalit halpoja tuollaiseen höpöilyyn, mutta kaikki totisemmat koodaukset menee 5.3-codex.

Nämä tulevat rajatuksi alueittain aika pian ja sitä myötä kilpailu jonkinlaisen sääntelyn piiriin. Kallistuu siis.

 

[GPGPU]

Jos kuitenkin pidetään tän ketjun puitteissa ajatus niissä palveluissa mitä on tarjolla ja oletetaan asiakkaaksi yritys jonka työntekijöillä ei ennestään ole pelikonetta työpaikalla Semmonen ajatus, että pienempää deep seek flash mallia nopeasti ajava rauta maksaa noin 100ke, nvidian gb300 dgx station missä on 288GB hbm muistia ja syö 2kW, tällä saanee sen vajaa 300miljardia parametria mallin ajoon hyvällä suorituskyvyllä. 8ke pintaan saa 96GB muistilla olevaa gpu:ta. Tällä hetkellä ei kannata kuvitella kooderin työkäytössä korvaavansa pilveä 5090:lla ja 30miljardia parametria mallilla. Alkaa avokonttori lämpeneen ja sähkölaskut kattoon kun gb300 dgx stationeita nurkissa ns. riittävä määrä. Per token hinnalla gb300 dgx stationit tulee kalliimmaksi kuin nvl72 gb300:en, toisaalta nvl72:en olis 120-140kW, hintaa useampi miljoona ja vaatii paljon infralta asennuksen suhteen.

Pilvissä tulee 10x tokenihinta alaspäin per vuosi kun pidetään laatu vakiona. Palvelunhinta ja laatu voi hyvinkin olla saman vuoden päästä kuin tänään. Nykyisen päälle tulee kalliimpaa parempaa mallia. Subventoinnin voi siis ajankanssa poistaa pitämällä laadun&hinnan ennallaan kun tokenikustannus tulee alaspäin. Esim. nvidian vera-rubin loppuvuodesta pudottaa merkittävästi per token hintaa.

Voi toki ajatella raudan ilmaiseksi, samalla ajatusleikillä myös pilvitokenit ovat ilmaisia. Siinä on firman CFO ihmeissään kun "me tarvittas huomiseksi 100 kappaletta 5ke pc:ta että saadaan joka kooderille oma 5090 pönttö", versus käyt sanoon, että tarvittas 200e/kk pilvitilaus*100 huomenna. Ja se pilvi vielä tekee oleellisesti paremmin kuin 5090:en. Jo oikein CFO-maisesti ajattelee niin pilvipalvelun avulla lyhyentähtäimen säästetyt rahat voi sijoittaa jolloin saa korkoa korolle tai yrityksen bisneksiin versus iso pääoma vanhentuvassa raudassa.

No nyt meni vähän maalitolppien siirtelyksi, mutta skenaarioita on monia. Oma laskelma oli tehty nimenomaan vertailemaan pientä lokaalimallia vs premium pilvimalli, ja sovelluksena oli 100t/s utilisaatiolla agenttisovellus (autonomiset jatkuvasti puuhaavat). Tämä ei ota ollenkaan huomioon mallien laatua, jossa on epäilematta hurja ero. Ainoastaan piirtää kuvaa claw-tyyppisten sovellusten hinnasta extreme utilisaatiolla. Koodaus-chatit on asia erikseen. Ehkä suurin yllätys oli, kuinka isoksi hinta voisi mennä, jos premium apilla pistetään autominen agentti all-in

Toivottavasti oletus API-hintojen laskusta toteutuu. Aika paljon on myös vastakkaista näkemystä perustuen kysynnän kasvuun ja resurssien rajallisuuteen.

 

[finWeazel]

No nyt meni vähän maalitolppien siirtelyksi, mutta skenaarioita on monia. Oma laskelma oli tehty nimenomaan vertailemaan pientä lokaalimallia vs premium pilvimalli, ja sovelluksena oli 100t/s utilisaatiolla agenttisovellus (autonomiset jatkuvasti puuhaavat). Tämä ei ota ollenkaan huomioon mallien laatua, jossa on epäilematta hurja ero. Ainoastaan piirtää kuvaa claw-tyyppisten sovellusten hinnasta extreme utilisaatiolla. Koodaus-chatit on asia erikseen. Ehkä suurin yllätys oli, kuinka isoksi hinta voisi mennä, jos premium apilla pistetään autominen agentti all-in

Toivottavasti oletus API-hintojen laskusta toteutuu. Aika paljon on myös vastakkaista näkemystä perustuen kysynnän kasvuun ja resurssien rajallisuuteen.

Mä nyt mietin tän ketjun puitteissa niitä yrityksiä enkä pumpum koneiden omistajia. Ei primaarinen asiakas openai/anthropic/google/xai/google/meta AI-avustimille ole jaakko peräkammarissa vaan yritykset. Näillä yrityksillä juoksee palkkakustannukset mitkä esim. piilaaksossa on jo ihan perustason tekijöillä 200ke/vuosi+. Kun sulla on noin kallis ihminen töissä niin olisi tyhmää säästää työvälineessä jonka hinta on ihan murto-osa firman kokonaiskustannuksesta. Paremmat tekijät menee 500ke++ hintaan, mun liksa viimeiseksi jääneenä työvuotena olis mennyt miljoonan yli jos olisin tehnyt koko vuoden enkä 9kk.

 

[user_timo]

Tuota Chatgpt tarjousta kun on vielä toukokuun lopppuun saakka niin ajattelimpa säästää API rahoja ja otin tuon max x5 tilauksen 100€.
Tuolla teetin parit isot hommat 5.5 max tilassa ja 5h usage on 85% jäljellä. Taisi olla nyt toukokuun nuo rajat tuplana, eli olisi käyttänyt nyt tavallisesti rajaa siten, että 70% 5h rajaa jäljellä. Ei huono, jos siis tätä ei aleta tyhmentämään.
Viikkorajaa on jäljellä 98%.

 

[finWeazel]

Tuota Chatgpt tarjousta kun on vielä toukokuun lopppuun saakka niin ajattelimpa säästää API rahoja ja otin tuon max x5 tilauksen 100€.
Tuolla teetin parit isot hommat 5.5 max tilassa ja 5h usage on 85% jäljellä. Taisi olla nyt toukokuun nuo rajat tuplana, eli olisi käyttänyt nyt tavallisesti rajaa siten, että 70% 5h rajaa jäljellä. Ei huono, jos siis tätä ei aleta tyhmentämään.
Viikkorajaa on jäljellä 98%.

OpenAI tuntuu hidastavan malleja jos on puutetta konesalikapasiteetista. Tämä imho. ihan ok. kun aina voi napsauttaa fast moden päälle ja tokenit palaa nopeammin. Ehkä noita tulee myöhemmin joku normal, fast, ultra-fast. OpenAI:n iso etu kyllä että he ovat olleet all in konesalikapasiteetin suhteen toisin kuin anthropic. Puol vuotta sitten vielä lööpeissä, että openai menee konkkaan kun tuhlaavat liikaa konesaleihin, nyt tilanne näyttää toisenlaiselta.

 

[user_timo]

Tuo konesaleihin sijoittaminen tosiaan taitaa nyt OpenAi:lla maksaa takaisin ja Anthropic samaanaikaan tiukentaa vaan token kulutuksia.

 

[finWeazel]

Rajoittimeen iski 100$/kk openai tilaus. Tän pohjalta vois olla aika toivotonta mulle yrittää käyttää satasen tilausta sen jälkeen kun tuplatokenit kampanja loppuu.

You've hit your usage limit. Visit https://chatgpt.com/codex/settings/usage to purchase more credits or try again at Apr 28th, 2026 11:36 AM.

gpt5.5 osasi tehdä chunky-ruudun horisontaalisen keskityksen a500:lle mikä ei onnistunut claude code:lta. Ei osannut päätellä suoraan miten tuo tehdään vaan pyöritti iteraatiolooppia kunnes sai onnistumaan. Hyvin kuitenkin listasi lähestymistavat ja yksi kerrallaan etiäpäin + dokumentoi mikä ei toiminut. Erittäin järjestelmällinen lähestymistapa.

Samalla selvisi, että minunkannalta paras tapa integroida ruudunkaappaus ai:lle on OBS:in läpi. OBS:ia agentti komentelee websocketin läpi. AI osaa helposti kytkeä eri lähteet(ikkuna, kuvankaappauskortti jne) sceneen ja valita mitä kaapataan. Etäkoneiden kanssa toimii nätisti kun OBS voi olla minimoituna ja silti kaappauskortin kuvan saa otettua talteen. Samaisen OBS lähestymistavan avulla laitoin agentin optimoimaan rasteroijan kuvanlaatu/suorituskykyä. Saattoi olla että paloi tokeneita kuvientarkasteluun aika huolella tänään

 

[jugih]

Yritin saada Anthropicin Pro-vuositilausta hyvitykseen reilu kuukauden jälkeen, koska limitit ja suorituskyky.

Ei ainakaan suorilta onnistunut. Tarttee koittaa saada joku ihminen linjoille ja yrittää uudelleen.

Annan OpenAI:lle uuden mahdollisuuden, koska tää Clauden Pro on periaatteessa hyödytön. Vaikea kuvitella mikä taho hyötyisi tästä siten että ilmaistilauksella ei pärjäisi.

Toki Claude codeen pääsyn, mut eipä sielläkään oikein mitään voi esim Opuksella tehdä kun 5 h jäähy tulee minuuteissa vastaan.

Hauskaa kun ennen työpäivää aamuistunnolla kotona pitää lähettää yksi "hello" viesti claudelle että saa 5 h laskurin käynnistymään, jotta se resetoituis mahdollisimman nopeaan sitten ku pääsee röi

 

[tarmo2011]

Itse näkisin tämän niin, että nykyiset LLM on geneerisiä know-it-all malleja, joiden ajo koodauksessa toki toimii, mutta on tehotonta. Kun saadaan pelkästään koodaukseen, tai jopa tiettyyn koodi-kieleen koulutetut mallit riittävällä ymmärryksellä yhdistettynä AI-rautaan (tässä on tapahtumassa valtavia harppauksia pelkässä AI ajossa), jossa vielä viilataan throughputtia niin lokaalit mallit on täysin varteenotettavia ja kustannustehokkaita malleja, ilman, että sitä rautaa tarvisi joka vuosi uusia, korkeintaan se ajettava LLM malli vaihdetaan aina uudempaan ja paremmin optimoituun.

Itse huomannut, että spesifiset, juuri tiettyyn käyttötarkoitukseen optimoidut mallit on pelkässä throughputissa ihan ylivertaisia. Esim omassa projektissa käännetään tekstitykset halutusta kielestä toiseen.
40min videon tekstitykset Ryzen 5 3600 (AMD GPU joten ajetaan pelkällä CPU:lla) menee NLLB-200 (600M) 20 minuuttiin. Mistral-7B-v0.1 kautta ajettuna vähän yli 3 tuntia. Toki mallit ei ole edes koon puolesta vertailukelpoisia. Pointti lähinnä se, että tulevaisuudessa omat erikoistuneet mallit moneen käyttöön parempia kuin yleismallit.

 

[Makis]

Nyt on niin älytön laskelma että älä pliis jatka tekoälyavusteisesti. Täysin järjetöntä jättää lokaalista ajosta laitteiden hankintakustannus pois. Sähköä et tuohon hintaan siirtoineen ja veroineen saa. 24/7 käyttö tuolla tokenikulutuksella ei ole myöskään realismia.

Miten niin et saa? Meillä maksaa 11c/kWh siirtoineen ja veroineen.

Millä muuten ajat niitä pilvipalveluita? Eikö sekin kulu sitten pitäisi ottaa huomioon? Mitä laitteiden vanhenemiseen tulee, niin firmat tyypillisesti lisaavat koneet, eli kone kyllä vaihtuu säännöllisen epäsäännöllisesti.

 

[Makis]

Kun sulla on noin kallis ihminen töissä niin olisi tyhmää säästää työvälineessä jonka hinta on ihan murto-osa firman kokonaiskustannuksesta.

Firmat säästää vaikka pari kymppiä jos et voi vedenpitävästi perustella miksi joku kannattaa hankkia.