AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

[finWeazel]

Vaikka en oikein haluaisi Kiinaa tukea, niin toivon että nuo laittaisi API hinta painetta hyvlile länsimalleille, että sais niiden hintaa alaspäin.
Tässä tainnut olla suunta vimeisen vuoden aikana vain ylöspäin?

Edit: nuo kiinamalit halpoja tuollaiseen höpöilyyn, mutta kaikki totisemmat koodaukset menee 5.3-codex.

Kiinalla on oma lehmä ojassa, mutta ne on toisten ketjujen aiheita. En kiinaservereitä käyttäisi,... Länkkäriservereillä taas sitten on ihan sama hintadynamiikka kun ei ole valtion subventointia syystä x,y,z takana.

Länkkäreistä nvidia voi tulla pelastajaksi avoimissa malleissa. Avoimien mallien määrällä laskettuna nvidia taitaa olla isoin avoimien mallien tekijä. Nvidiassa sekin hyvä puoli, että tukevat omien rautojensa uusimpia ominaisuuksia kuten nvfp4:sta

Ei tokenien hinnoista kannata alkaa säikähtämään. Per token hinta kun pidetään laatu samana tulee niin kovaa alaspäin että jos ei tarvi kuin gpt5.4 tasoisen palvelun niin se säilyy halpana. Eri asia sitten jos haluaa käyttää uusinta, isointa ja kalleinta mallia. Näiden käyttö menee kategoriaan, firmat maksaa JOS saavat mallista enemmän hyötyä kuin mikä mallin kustannus on. Ihan sama argumentti että tarviiko kooderille ostaa nopein cpu vai riittääkö läppäri ja 4 corea(mennävuosina). Joillekin aika on rahaa, jotku yrittävät säästää itseänsä menestykseen.

 

[Tuomi0]

Vaikka en oikein haluaisi Kinaa tukea, niin toivon että nuo laittaisi API hinta painetta hyvlile länsimalleille, että sais niiden hintaa alaspäin.
Tässä tainnut olla suunta vimeisen vuoden aikana vain ylöspäin?

Edit: nuo kiinamalit halpoja tuollaiseen höpöilyyn, mutta kaikki totisemmat koodaukset menee 5.3-codex.

Nämä tulevat rajatuksi alueittain aika pian ja sitä myötä kilpailu jonkinlaisen sääntelyn piiriin. Kallistuu siis.

 

[GPGPU]

Jos kuitenkin pidetään tän ketjun puitteissa ajatus niissä palveluissa mitä on tarjolla ja oletetaan asiakkaaksi yritys jonka työntekijöillä ei ennestään ole pelikonetta työpaikalla Semmonen ajatus, että pienempää deep seek flash mallia nopeasti ajava rauta maksaa noin 100ke, nvidian gb300 dgx station missä on 288GB hbm muistia ja syö 2kW, tällä saanee sen vajaa 300miljardia parametria mallin ajoon hyvällä suorituskyvyllä. 8ke pintaan saa 96GB muistilla olevaa gpu:ta. Tällä hetkellä ei kannata kuvitella kooderin työkäytössä korvaavansa pilveä 5090:lla ja 30miljardia parametria mallilla. Alkaa avokonttori lämpeneen ja sähkölaskut kattoon kun gb300 dgx stationeita nurkissa ns. riittävä määrä. Per token hinnalla gb300 dgx stationit tulee kalliimmaksi kuin nvl72 gb300:en, toisaalta nvl72:en olis 120-140kW, hintaa useampi miljoona ja vaatii paljon infralta asennuksen suhteen.

Pilvissä tulee 10x tokenihinta alaspäin per vuosi kun pidetään laatu vakiona. Palvelunhinta ja laatu voi hyvinkin olla saman vuoden päästä kuin tänään. Nykyisen päälle tulee kalliimpaa parempaa mallia. Subventoinnin voi siis ajankanssa poistaa pitämällä laadun&hinnan ennallaan kun tokenikustannus tulee alaspäin. Esim. nvidian vera-rubin loppuvuodesta pudottaa merkittävästi per token hintaa.

Voi toki ajatella raudan ilmaiseksi, samalla ajatusleikillä myös pilvitokenit ovat ilmaisia. Siinä on firman CFO ihmeissään kun "me tarvittas huomiseksi 100 kappaletta 5ke pc:ta että saadaan joka kooderille oma 5090 pönttö", versus käyt sanoon, että tarvittas 200e/kk pilvitilaus*100 huomenna. Ja se pilvi vielä tekee oleellisesti paremmin kuin 5090:en. Jo oikein CFO-maisesti ajattelee niin pilvipalvelun avulla lyhyentähtäimen säästetyt rahat voi sijoittaa jolloin saa korkoa korolle tai yrityksen bisneksiin versus iso pääoma vanhentuvassa raudassa.

No nyt meni vähän maalitolppien siirtelyksi, mutta skenaarioita on monia. Oma laskelma oli tehty nimenomaan vertailemaan pientä lokaalimallia vs premium pilvimalli, ja sovelluksena oli 100t/s utilisaatiolla agenttisovellus (autonomiset jatkuvasti puuhaavat). Tämä ei ota ollenkaan huomioon mallien laatua, jossa on epäilematta hurja ero. Ainoastaan piirtää kuvaa claw-tyyppisten sovellusten hinnasta extreme utilisaatiolla. Koodaus-chatit on asia erikseen. Ehkä suurin yllätys oli, kuinka isoksi hinta voisi mennä, jos premium apilla pistetään autominen agentti all-in

Toivottavasti oletus API-hintojen laskusta toteutuu. Aika paljon on myös vastakkaista näkemystä perustuen kysynnän kasvuun ja resurssien rajallisuuteen.

 

[finWeazel]

No nyt meni vähän maalitolppien siirtelyksi, mutta skenaarioita on monia. Oma laskelma oli tehty nimenomaan vertailemaan pientä lokaalimallia vs premium pilvimalli, ja sovelluksena oli 100t/s utilisaatiolla agenttisovellus (autonomiset jatkuvasti puuhaavat). Tämä ei ota ollenkaan huomioon mallien laatua, jossa on epäilematta hurja ero. Ainoastaan piirtää kuvaa claw-tyyppisten sovellusten hinnasta extreme utilisaatiolla. Koodaus-chatit on asia erikseen. Ehkä suurin yllätys oli, kuinka isoksi hinta voisi mennä, jos premium apilla pistetään autominen agentti all-in

Toivottavasti oletus API-hintojen laskusta toteutuu. Aika paljon on myös vastakkaista näkemystä perustuen kysynnän kasvuun ja resurssien rajallisuuteen.

Mä nyt mietin tän ketjun puitteissa niitä yrityksiä enkä pumpum koneiden omistajia. Ei primaarinen asiakas openai/anthropic/google/xai/google/meta AI-avustimille ole jaakko peräkammarissa vaan yritykset. Näillä yrityksillä juoksee palkkakustannukset mitkä esim. piilaaksossa on jo ihan perustason tekijöillä 200ke/vuosi+. Kun sulla on noin kallis ihminen töissä niin olisi tyhmää säästää työvälineessä jonka hinta on ihan murto-osa firman kokonaiskustannuksesta. Paremmat tekijät menee 500ke++ hintaan, mun liksa viimeiseksi jääneenä työvuotena olis mennyt miljoonan yli jos olisin tehnyt koko vuoden enkä 9kk.

 

[user_timo]

Tuota Chatgpt tarjousta kun on vielä toukokuun lopppuun saakka niin ajattelimpa säästää API rahoja ja otin tuon max x5 tilauksen 100€.
Tuolla teetin parit isot hommat 5.5 max tilassa ja 5h usage on 85% jäljellä. Taisi olla nyt toukokuun nuo rajat tuplana, eli olisi käyttänyt nyt tavallisesti rajaa siten, että 70% 5h rajaa jäljellä. Ei huono, jos siis tätä ei aleta tyhmentämään.
Viikkorajaa on jäljellä 98%.

 

[finWeazel]

Tuota Chatgpt tarjousta kun on vielä toukokuun lopppuun saakka niin ajattelimpa säästää API rahoja ja otin tuon max x5 tilauksen 100€.
Tuolla teetin parit isot hommat 5.5 max tilassa ja 5h usage on 85% jäljellä. Taisi olla nyt toukokuun nuo rajat tuplana, eli olisi käyttänyt nyt tavallisesti rajaa siten, että 70% 5h rajaa jäljellä. Ei huono, jos siis tätä ei aleta tyhmentämään.
Viikkorajaa on jäljellä 98%.

OpenAI tuntuu hidastavan malleja jos on puutetta konesalikapasiteetista. Tämä imho. ihan ok. kun aina voi napsauttaa fast moden päälle ja tokenit palaa nopeammin. Ehkä noita tulee myöhemmin joku normal, fast, ultra-fast. OpenAI:n iso etu kyllä että he ovat olleet all in konesalikapasiteetin suhteen toisin kuin anthropic. Puol vuotta sitten vielä lööpeissä, että openai menee konkkaan kun tuhlaavat liikaa konesaleihin, nyt tilanne näyttää toisenlaiselta.

 

[user_timo]

Tuo konesaleihin sijoittaminen tosiaan taitaa nyt OpenAi:lla maksaa takaisin ja Anthropic samaanaikaan tiukentaa vaan token kulutuksia.