NVIDIA-spekulaatioketju (Lovelace ja tulevat sukupolvet)

[finWeazel]

Beyond3d:sta xpean mukaan 600W huhut paskaa. Herää kysymys, että onko testatut biossit 5090:een flashattuja ts. 5090 on piirinä ja korttina olemassa vai joku testialusta tyyliin 4090:sta viritettynä. 4090 testialustaa voisi käyttää jäähyjen ja piirilevyn testaamiseen. Jos 5090 on korttimuodossa ollut olemassa kuukausia niin olen yllättynyt vuotojen vähäisyydestä.

Huhuavat 5090 designin valmistuvan syyskuulla ja lisävahvistusta siihen että 600W olisi jäähyn teoreettinen maksimi.

Korjaus alempana olevaan benchlife tekstiin. Jos/kun design valmis syyskuussa niin olettaisi tulevan melko pian vuotoja virallisista jäähyistä yms. Aasiassa ei jäähynosat, piirilevyt yms. pysy salaisuutena.

NVIDIA GeForce RTX 5090 & RTX 5080 Rumored For Completion This Month, 550W & 350W TGP

The latest information on NVIDIA's GeForce RTX 5090 & RTX 5080 GPUs suggests that the designs will be finalized this month.

wccftech.com

 

[mlackke]

Mitä arvaat paljon hinnat tulee olemaan? Itse lyön vetoa, että 5090 on n. 2100€ ja 5080 Ti n. 1400€. (Suomen hinnoissa)

Varmaan kohta ollaan siinä pisteessä että ostat näyttiksen niin tietokone tulee kaupan päälle.

 

[finWeazel]

Varmaan kohta ollaan siinä pisteessä että ostat näyttiksen niin tietokone tulee kaupan päälle.

Ollaan päästy pisteeseen missä mooren laki transistoreiden kannalta toimii, mutta kun katsotaan mitä transistorien valmistaminen ja yhä monimutkaisempien piirien suunnitteleminen, verifiointi ja valmistaminen maksaa niin enää ei saada 2v välein parempaa suorituskykyä halvemmalla. Toisaalta on myös syntynyt uusia tuotekategorioita, kun on ihmisiä jotka ovat valmiita ostamaan kalliimpaa piiriä. Voi verrata etteivät kaikki aja halvimmalla toyotalla, ferrarillekin on ostajansa.

Toinen puoli 50x0 sarjan kanssa ettei valmistusteknologia varsinaisesti edes paljoa parane. 40x0 sarja tsmc 4, 50x0 sarja tsmc 4np. 3nm ei realistinen vaihtoehto nvidian monoliitille kun sram ja io eivät skaalaannu. Tarvinevat chiplet ratkaisun tsmc 3nm piirejä varten. Isot cachet ja io:ta erilliselle vanhemman prosessin piirille ja logiikka 3nm piirille. Tämänkaltainen ratkaisu nähtäneen nvidian tuotteissa ensin rubin konesalipiirissä ja sen jälkeen kuluttajapiireissä 60x0 sarjassa.

 

[swttii]

Ollaan päästy pisteeseen missä mooren laki transistoreiden kannalta toimii, mutta kun katsotaan mitä transistorien valmistaminen ja yhä monimutkaisempien piirien suunnitteleminen, verifiointi ja valmistaminen maksaa niin enää ei saada 2v välein parempaa suorituskykyä halvemmalla. Toisaalta on myös syntynyt uusia tuotekategorioita, kun on ihmisiä jotka ovat valmiita ostamaan kalliimpaa piiriä. Voi verrata etteivät kaikki aja halvimmalla toyotalla ja ferrarillekin on ostajansa.

Toinen puoli 50x0 sarjan kanssa ettei valmistusteknologia varsinaisesti edes paljoa parane. 40x0 sarja tsmc 4, 50x0 sarja 4np. 3nm ei realistinen vaihtoehto nvidian monoliitille kun sram ja io eivät skaalaannu. Tarvinevat chiplet ratkaisun tsmc 3nm piirejä varten. Isot cachet ja io:ta erilliselle vanhemman prosessin piirille ja logiikka 3nm piirille. Tämänkaltainen ratkaisu nähtäneen nvidian tuotteissa ensin rubin konesalipiirissä ja sen jälkeen kuluttajapiireissä 60x0 sarjassa.

On nuo kaikki tekijät siellä taustalla, mutta AI kiima maksaa kaiken tuotekehityksen vähäksi aikaa. Pelipuolella Nvidialla on melkein monopoli, joten hinnoittelu ei perustu valmistuskustannuksiin vaan lähinnä kysyntään.

 

[finWeazel]

On nuo kaikki tekijät siellä taustalla, mutta AI kiima maksaa kaiken tuotekehityksen vähäksi aikaa. Pelipuolella Nvidialla on melkein monopoli, joten hinnoittelu ei perustu valmistuskustannuksiin vaan lähinnä kysyntään.

Valmistuskustannus unohtaa kaiken r&d kulun, tapeoutit, markkinoinnin, devaajatuen, ajurikehityksen, aib:n kate, myyjän kate jne. Ei noissa tuotteissa superkatteita ole. Katsoo vaikka amd:n tulosta ja miettii oliko pelipuolen tuotteissa(gpu+cpu) vara pudottaa hintaa vai ei. Ilman ai konesalia amd olisi tappiolla, konesalin ansiosta niukasti voitolla.

 

[swttii]

Valmistuskustannus unohtaa kaiken r&d kulun, tapeoutit jne. Ei noissa tuotteissa superkatteita ole. Katsoo vaikka amd:n tulosta ja miettii oliko pelipuolen tuotteissa(gpu+cpu) vara pudottaa hintaa vai ei. Ilman ai konesalia amd olisi tappiolla, konesalin ansiosta niukasti voitolla.

Voit olla oikeassa, mutta jotenkin kuvittelisin että Nvidia myy ihan hyvällä kattella myös peli GPUt. Volyymi on myös suurempi kuin AMD:lla joten per yksi kortti tehdään tehokkaammin kun AMD?

Jos AI hommat vähän rauhottuu parin vuoden sisään eikä tule uutta ryntäystä Nvidian tuotteisiin niin voidaan sitten nähdä tippuuko hinnat vai jatkuuko tasainen nousu.

 

[finWeazel]

Voit olla oikeassa, mutta jotenkin kuvittelisin että Nvidia myy ihan hyvällä kattella myös peli GPUt. Volyymi on myös suurempi kuin AMD:lla joten per yksi kortti tehdään tehokkaammin kun AMD?

Jos AI hommat vähän rauhottuu parin vuoden sisään eikä tule uutta ryntäystä Nvidian tuotteisiin niin voidaan sitten nähdä tippuuko hinnat vai jatkuuko tasainen nousu.

On niissä varmasti katetta, mutta kautta linjan vaikka 30% pysyvä ale ja voi olla kuluttajabisnes tappiolla ja lopetusuhan alla. Pitää ne aib, myyjäliike, palautukset/rma, tuki jne. kustannukset myös muistaa. Aib ja myyjä katteet varmaan yksi syy nvidian omalle(alihankkitulle) fe-mallille ja kaupalle.

 

[Rane]

Huhuja alkaa tulemaan nyt siihen malliin, että onkohan kuitenkin julkaisu loppuvuonna mahdollinen?

Design valmistumassa tässä kuussa. Myös virrankulutuksen huhuun lisää huomioita:

https://videocardz.com/newz/nvidia-expected-to-finalize-geforce-rtx-5090-and-rtx-5080-design-this-month-5080d-for-china-also-expected?fbclid=IwZXh0bgNhZW0CMTEAAR1Tem5RU_IlbG1VAPY0i6SwQ_mab1mvBmM3wDZ3FONkCQJbb_Ebg2HWo90_aem_d8cSj-qvyIZ3ETc0AhN8Gw

 

[Womba]

Huhuja alkaa tulemaan nyt siihen malliin, että onkohan kuitenkin julkaisu loppuvuonna mahdollinen?


Design valmistumassa tässä kuussa. Myös virrankulutuksen huhuun lisää huomioita:

https://videocardz.com/newz/nvidia-expected-to-finalize-geforce-rtx-5090-and-rtx-5080-design-this-month-5080d-for-china-also-expected?fbclid=IwZXh0bgNhZW0CMTEAAR1Tem5RU_IlbG1VAPY0i6SwQ_mab1mvBmM3wDZ3FONkCQJbb_Ebg2HWo90_aem_d8cSj-qvyIZ3ETc0AhN8Gw

Itehän en näistä maallikkona ymmärrä mutta tuossa pisti silmään se että 5080:sestä olis tulossa kiinaa varten kuristettu D-versio ettei vaan ois liikaa poppista... eli ois sen 10% nopsempi kuin 4090 ?.

No siitä päästäänkin 5090:seen; kuinka helvetin paljon sitä pitää rajoittaa että siitä saadaan kiinaan D-malli ?

Itsehän nyt en ole 9-sarjalaista ostamassa mutta 8-sarjalainen kiinnostaa joten ootan kyllä että mitä sieltä pukkaa. Tuleeko kuinka paljon rasterointiin tehoa lisää vai meneekö suurin osa raytracingiin ? Pukkaako uus dlss -versio joka toimii vain 5-sarjalaisissa tai joku muu uus hieno temppu ?

Jollakin tapaa näitä uutuuksia on aina mukava ootella; sitten kun julkaisu on ohi ja alkuhype tai pettymys on ohi niin on aika tylsää pari vuotta ennenkuin rumba lähtee taas käyntiin

 

[finWeazel]

Jollakin tapaa näitä uutuuksia on aina mukava ootella; sitten kun julkaisu on ohi ja alkuhype tai pettymys on ohi niin on aika tylsää pari vuotta ennenkuin rumba lähtee taas käyntiin

Tällä kertaa taitaa pysyä "peli" mielenkiintoisena kun rdna5 tulee vuosi +- jotain 5090:en jälkeen. AMD:lla voi olla mahdollisuus päästä tekemään rdna5 konfiggeihin muutoksia sen pohjalta mitä nvidia julkaisee 50x0 piireihin. Toki aikaikkuna amd:n muutoksille on aika pieni, mutta jos siellä on muutamaa eri konfiggia valmiiksi suunniteltu niin helpompi valita niistä optimaalinen nvidian kanssa kilpailemiseen. RDNA5 voi pakottaa nvidian kättä super malleissa. Ehkä nähtäisiin leikkaamattomalla piirillä oleva 5090super/ti/titan mitä ei 40x0 sarjassa saatu pelaajille(ada työasemiin tuli täysi ad102 piiri)

 

[finWeazel]

Nvidia tyhjentää 4090 varastoja 5090 julkaisun tieltä vai joku muu ongelma kuten pula gddr6x muistipiireistä?

NVIDIA's Ada lineup is mostly abundant in most parts of the world, particularly the mid-range and upper-mid-range offerings. The flagship GPU, RTX 4090, on the other hand, doesn't seem to enjoy the same abundance as other GPUs, at least in some parts of the world. As per the latest report, it looks like most vendors want to get rid of the GPU.[/quote]

NVIDIA GeForce RTX 4090 GPUs Getting Pricier In Europe While Inventory Mostly Run Out

Retailers are struggling to maintain the prices of NVIDIA GeForce RTX 4090 GPUs in various retail stores in Germany.

wccftech.com

 

[Wolf@Heart]

Taitaa Nvidia tehdä monopolihinnoitteluun sopeutumisen helpommaksi kun 5090 julkaistaan, pääsee nopeammin kieltämisen, vihan, neuvottelun, masennuksen ja hyväksymisen-ketjussa eteenpäin kun jää pois vaihe missä mietitään 4090:n ostamista.

 

[P c L A Y E R]

Taitaa Nvidia tehdä monopolihinnoitteluun sopeutumisen helpommaksi kun 5090 julkaistaan, pääsee nopeammin kieltämisen, vihan, neuvottelun, masennuksen ja hyväksymisen-ketjussa eteenpäin kun jää pois vaihe missä mietitään 4090:n ostamista.

Toisaalta eiköhän suurin 5090:n kohderyhmä ole juurikin nykyiset 4090:n omistajat, joten siinä mielessä vähän turhaa.

 

[bumbasaur]

Oiskohan 2025 jo päästy coilwhinestä eroon vai saako sitä taas harrastaa vaihtorumbaa kunnes hyvä yksilö sattuu käsiin ?

 

[Halpuuttaja]

Aika laihaa on 4090:n tarjonta suomalaisillakin jälleenmyyjillä. Jimmsillä ei yhtään kappaletta varastossa, Proshopilla ainoastaan Gigabyten vesivehjettä 3kpl. Verkkiksellä sentään näkyis olevan vielä 10-15kpl yhteensä jos oikein selasin. Datatronic näyttää jotain tukkurisaldoja ja eipä juuri mitään ole heidän tukkurillakaan.

Eipä sillä, onhan tää about huonoin hetki ostaa 4090 täyteen hintaan kun seuraava sukupolvi vain kuukausien päässä.

 

[finWeazel]

Taitaa Nvidia tehdä monopolihinnoitteluun sopeutumisen helpommaksi kun 5090 julkaistaan, pääsee nopeammin kieltämisen, vihan, neuvottelun, masennuksen ja hyväksymisen-ketjussa eteenpäin kun jää pois vaihe missä mietitään 4090:n ostamista.

Jos AMD:ta uskoo siitä miten huono bisnes halo-tuotteet on niin ei ehkä jää muuta vaihtoehtoa kuin olla tyytyväinen että edes joku tekee 4090/5090 kaltaisia piirejä. Vaihtoehtona olisi, että nvidia olisi samaa mieltä kuin amd ja järein piiri jäisi tekemättä.

 

[Joku_242]

Jos AMD:ta uskoo siitä miten huono bisnes halo-tuotteet on niin ei ehkä jää muuta vaihtoehtoa kuin olla tyytyväinen että edes joku tekee 4090/5090 kaltaisia piirejä. Vaihtoehtona olisi, että nvidia olisi samaa mieltä kuin amd ja järein piiri jäisi tekemättä.

Eikö RTX 4090 ole hieman leikattu versio ammattipiiristä? Voi olla ettei ilman sitä kannattaisikaan tehdä sitä.

 

[finWeazel]

Eikö RTX 4090 ole hieman leikattu versio ammattipiiristä? Voi olla ettei ilman sitä kannattaisikaan tehdä sitä.

Aika monesta muustakin nvidian pelipiiristä on ammattikortti olemassa. Esim rtx 3000 ada. Kai amd:llakin on pro kortteja.

Enivei mun pointti oli, että ei kannata 4090 tyylisten pelipiirien olemassaoloa ottaa itsestäänselvyytenä.

 

[Wolf@Heart]

Toisaalta eiköhän suurin 5090:n kohderyhmä ole juurikin nykyiset 4090:n omistajat, joten siinä mielessä vähän turhaa.

Totta tuokin mutta on niitä uusiakin ostajia niin kuin allekirjoittanut kun piti PCVR:ään höyrähtää ja tässä vaiheessa ei kai kannata kun odotella uusia kortteja, kauhulla odottelen hintoja.

Jos AMD:ta uskoo siitä miten huono bisnes halo-tuotteet on niin ei ehkä jää muuta vaihtoehtoa kuin olla tyytyväinen että edes joku tekee 4090/5090 kaltaisia piirejä. Vaihtoehtona olisi, että nvidia olisi samaa mieltä kuin amd ja järein piiri jäisi tekemättä.

Joo eihän se Nvidialle paras bisnes ole mutta King Of The Hill-statuksella mennään pitkälle edelleen markkinoinnissa/mindsharessa PC-markkinoilla ja siitä on varmasti vaikea luopua vaikkei enää ydinbisnestä olekaan. Harmi kun AMD jättäytynee pois high end-leikeistä niin Nvidialla varmasti kortit vaan kallistuu.

 

[finWeazel]

Joo eihän se Nvidialle paras bisnes ole mutta King Of The Hill-statuksella mennään pitkälle edelleen markkinoinnissa/state of mindissa PC-markkinoilla ja siitä on varmasti vaikea luopua vaikkei enää ydinbisnestä olekaan. Harmi kun AMD jättäytynee pois high end-leikeistä niin Nvidialla varmasti kortit vaan kallistuu.

Uskoisin että etenkin jos huhut 512bit väylästä toteutuvat niin halo 50x0 sarjan piirillä olis kysyntää ai-työasemissa, virtuaaliset tuotannot(ue5) ja omniverse. Jos nvidia laittaisi vaikka c2c nvlinkin ja 2 piiriä kortille 3GB muistipiireillä niin tuollainen 192GB muistilla oleva kortti olisi erinomainen ihan konesaliinkin inferenssiratkaisuksi. Ei 192GB muistilla tallo oikean konesalipiirin varpaille mutta olisi kuitenkin piiri mikä täyttää yhden nichen mihin iskee startupit/kilpailijat/asiakkaiden omat piirit jos nvidia ei jotain tarjoa. Tuollainen dual-ratkaisu vois olla myös aika oiva renderfarmeihin ja virtuaalisiin tiloihin mitä allelinkatut videot esittelevät. Omniverse myös hyötyisi.

 

[edup]

Uskoisin että etenkin jos huhut 512bit väylästä toteutuvat niin halo 50x0 sarjan piirillä olis kysyntää ai-työasemissa, virtuaaliset tuotannot(ue5) ja omniverse. Jos nvidia laittaisi vaikka c2c nvlinkin ja 2 piiriä kortille 3GB muistipiireillä niin tuollainen 192GB muistilla oleva kortti olisi erinomainen ihan konesaliinkin inferenssiratkaisuksi. Ei 192GB muistilla tallo oikean konesalipiirin varpaille mutta olisi kuitenkin piiri mikä täyttää yhden nichen mihin iskee startupit/kilpailijat/asiakkaiden omat piirit jos nvidia ei jotain tarjoa. Tuollainen dual-ratkaisu vois olla myös aika oiva renderfarmeihin ja virtuaalisiin tiloihin mitä allelinkatut videot esittelevät. Omniverse myös hyötyisi.

192 GB olisi aikamoinen loikka nykyisistä 48 GB korteista. Ja 192 GB kyllä todellakin hyppisi konesalipiirien varpaille. Kannattaa muistaa että valtava osa konesalipiireistä kulkee paljon esim. H100:aa (80 GB) pienemmällä muistilla. Vaikka LLM:t ja muut suuremmat mallit on nyt olleet tovin kovassa huudossa hetken aikaa, niin pienempiä malleja pyöritellään yhä moneen eri tarkoitukseen, eikä ne ole minnekään katoamassa.

Nvidia on huomattavan pitkään nitkuttanut 48 GB rajalla työasemakorteissa, vaikka kysyntää aivan varmasti olisi ollut suuremmalla muistilla varustetuille korteille. En keksi tälle juuri muuta syytä, kuin se että Nvidia on hyvin varovainen tuon kanssa että konesalikorttien reviiriä ei aleta nakertamaan.

 

[finWeazel]

Nvidia on huomattavan pitkään nitkuttanut 48 GB rajalla työasemakorteissa, vaikka kysyntää aivan varmasti olisi ollut suuremmalla muistilla varustetuille korteille. En keksi tälle juuri muuta syytä, kuin se että Nvidia on hyvin varovainen tuon kanssa että konesalikorttien reviiriä ei aleta nakertamaan.

48GB on sen mitä gddr6x:lla saa irti 384bit väylästä. Huhut on, että alkuvaiheessa ei nähdä 3GB gddr7x piirejä. Ehkä täysi blackwell 512bit lippulaiva 64GB muistilla mitä aluksi menee pro/konesalikortteihin ja vuoden päästä julkaisusta midlife refresh pro kortteihin 96GB(3GB piirit). Nvlinkkiä tuskin tulee, mutta toivossa saa elää. Pelikorteissa vähemmän kuin 32GB kun ei nähdä clamshellia eikä täyttä piiriä pelikorteissa.

Siinä kohtaa kun 3GB piirit on tuotteissa niin nvidia luukuttaa konesaliin 288GB muistilla olevaa blackwell ultraa. Mallit mitä konesaleissa käytetään niin isoja että eivät mahdu yhden gpu:n muistiin. Tarvii olla joku 8,32,72GPU pömpeli ja nvlinkillä(tai vastaava) kiinni toisiinsa jos meinaa saada isoista malleista maksimit irti. Peligpu ei blackwellin tai blackwell ultran varpaille astu vaikka miten virittäisi. Konesali blackwellin alapuolella tosin olisi pelikortista väännetylle inferenssiratkaisulle kysyntää kun käytetään pienempiä malleja. Jos nvidia ei täytä tuota rakoa hinta/laatu ratkaisulla kilpailijat sen tekee.

Pahimmassakin tilanteessa nvidian on parempi kannibalisoida omia tuotteita kuin antaa rako kilpailijoille.

 

[edup]

Ne mallit mitä konesaleissa käytetään niin isoja että eivät mahdu yhden gpu:n muistiin. Tarvii olla joku 8,32,72GPU pömpeli ja nvlinkillä(tai vastaava) kiinni toisiinsa jos meinaa saada isoista malleista maksimit irti. Peligpu ei blackwellin tai blackwell ultran varpaille astu vaikka miten virittäisi. Konesali blackwellin alapuolella tosin olisi pelikortista väännetylle inferenssiratkaisulle kysyntää kun käytetään pienempiä malleja. Jos nvidia ei täytä tuota rakoa hinta/laatu ratkaisulla kilpailijat sen tekee.

Mielestäni sulla on kovin suppea ajatus siitä, mitä konesali-GPUilla tehdään. Maailma on täynnä sovelluksia, jotka ei vaadi reaaliaikaista inferenssiä, tai teratavukaupalla muistia. Ja on valtava määrä organisaatioita, jotka vuokraa AWS:n, Azuren, GCP:n, jne. konesalien kortteja _paljon_ maltillisemman kokoisten mallien opetukseen ja inferenssiin. Niihin voi nykyisellään helposti riittää 1-4 kpl A100/H100 tasoisia kortteja. Ja moniin sovellukseen vielä pienempiäkin.

Tällä hetkellä homma skaalautuu siihen 48 GB asti helposti ja kivasti, sitten tulee vähän väkisin loikka 80 GB tasoon, ja sen jälkeen mennäänkin sen monikertoina. Tuollainen 192 GB kortti ja siitä oletettavasti tulevat pienemmät versiot söisivät ison loven konesalikorttien kysyntään. Toki, on silti toimijoita jotka tulevat ostamaan valtaisan määrän HGX-järjestelmiä valtavien mallien pyörittämiseen, mutta ei ne pienemmät mallit ja tarve maltillisemmille konfiguraatioille ole minnekään häviämässä. Itse ennemmin ennustaisin niidenkin kysynnän ennemmin kasvavan kuin vähenevän.

 

[finWeazel]

Mielestäni sulla on kovin suppea ajatus siitä, mitä konesali-GPUilla tehdään. Maailma on täynnä sovelluksia, jotka ei vaadi reaaliaikaista inferenssiä, tai teratavukaupalla muistia. Ja on valtava määrä organisaatioita, jotka vuokraa AWS:n, Azuren, GCP:n, jne. konesalien kortteja _paljon_ maltillisemman kokoisten mallien opetukseen ja inferenssiin. Niihin voi nykyisellään helposti riittää 1-4 kpl A100/H100 tasoisia kortteja. Ja moniin sovellukseen vielä pienempiäkin.

Iso markkina mihin hopper ja q4:lla ja siitä eteenpäin blackwell myyvät ovat erittäin isojen frontier AI mallien opettaminen ja erittäin isojen mallien inferenssi. Tyyliin 100k gpu klusterit jossa kaikki gpu:t samassa muistiavaruudessa + nopeat muistikoherentit linkit. Noiden varpaille pelikortti ei hypi. Noiden alla olis pelikortista tehdylle kysyntää ja sinne markkinaan imho kannattaa nvidian iskeä. Kortteja ei kuitenkaan tarvi myydä pelikortin hinnalla konesaliin/työasemiin jne. Tyyliin rtx ada 6000 maksaa jotain 3x sen mitä 4090.

Suppeaa on se miksi nvidia myy nyt ihan tajuttoman määrän gpu:ta konesaliin mitä nvidia ei tehnyt 1.5v takaperin.

Tyyliin tämä: xAI Colossus supercomputer with 100K H100 GPUs comes online — Musk lays out plans to double GPU count to 200K with 50K H100 and 50K H200 tai metan vastaava tai microsoftin vastaava mitä openai käyttää.

 

[Halpuuttaja]

Tuollainen 192 GB kortti ja siitä oletettavasti tulevat pienemmät versiot söisivät ison loven konesalikorttien kysyntään.

Samaa mieltä siitä, että 192 Gt on epärealistinen, mutta H100 vs AD102 väillä on myös helvetin iso suorituskykyloikka tekoälykäytössä ja sitä ei pelkällä muistikapasiteetilla oteta kiinni. Olettaisin että sama trendi jatkuu Blackwell sukupolven kohdalla. Jotenkin en usko, että Nvidian on syytä pelätä B100:n kannibalisoimista tolla alemman tierin sirulla, tai jos olisikin niin ainahan sen voisi sitten heijastaa 64 tai 96 gigaisen L40/RTX 6000 Ada seuraajan hintaan.

Ja tosiaan 48 Gt muistit ollut jo kolme sukupolvea putkeen työasemakorteissa niin eiköhän se 64 giganen sieltä tule.

 

[Griffin]

Eikö RTX 4090 ole hieman leikattu versio ammattipiiristä? Voi olla ettei ilman sitä kannattaisikaan tehdä sitä.

Ei ole.
4090 tehtiin, jotta saatiin sinne se paras kortti, johon kilpailijoilla ei ole sanomista.
Ja jos olisi ollut uhkaa, niin siitä olisi voitu julkaista saitten esim leikkaamaton versio. Nyt ei ollut tarvis.

Toki mitä tarkoitetaan "ammatti" kortilla? Paljon pienemmistäkin GPUista on tehty "ammatti" versioita, joissa ero on käytännössä ohjelmallinen+mahdollinen HW lukitus, jotta rajoituksia ei voi tai on ainankin hankalampi kiertää..

Sensijaan 4090:lla on nyt pieni menekki (Ne, jotka ovat sen puutteessa ovat sen etupäässä ostaneet). Lisäksi sen seuraaja on tulossa pian, niin kun ne 4090:t myydään loppuun, niin ne eivät ole siellä häiritsemässä, eikä loppuvarastoa tarvitse myydä pois halvalla.. NVidialla ei juuri nyt ole minkäänlaista kilpailua tuolla yläpäässä.

Lisäksi noita voi hajota vielä takuuaikanakin paljon, johtuen mm väärin mitoitetusta, sudesta virtaliittimestä ja kortin suuresta painosta.

Toivottavasti 5090:ssa on vähintään 2 noita virtaliittimiä tai enemmän, jos kulutus on kasvanut.

Nyt jos Nvidia ei halua sotkea kalliiden AI korttien myyntiä, niin pelikorteissa on maltilliset määrät muistia, edelleen. Tai vaihtoehtoisesti 5090:n hintaa nostetaan huomattavasti VS 4090.

 

[finWeazel]

Samaa mieltä siitä, että 192 Gt on epärealistinen, mutta H100 vs AD102 väillä on myös helvetin iso suorituskykyloikka tekoälykäytössä ja sitä ei pelkällä muistikapasiteetilla oteta kiinni. Olettaisin että sama trendi jatkuu Blackwell sukupolven kohdalla. Jotenkin en usko, että Nvidian on syytä pelätä B100:n kannibalisoimista tolla alemman tierin sirulla, tai jos olisikin niin ainahan sen voisi sitten heijastaa 64 tai 96 gigaisen L40/RTX 6000 Ada seuraajan hintaan.

Ja tosiaan 48 Gt muistit ollut jo kolme sukupolvea putkeen työasemakorteissa niin eiköhän se 64 giganen sieltä tule.

Ainakin mun käsitys on, että oikeasti isot mallit triljoona+ parametria vaatii inferenssissäkin n-kappaletta hopperia/blackwellia. Tuollaista ei saa 192GB muistilla olevan kortin sisään ajoon järkevästi. Mä näkisin että on jako erittäin isojen mallien opettaminen, erittäin isojen mallien inferenssi ja sitten nuo pienet mallit. Se mihin pelikortista konesaliin ratkaisulla vois iskea on nuo pienten mallien inferenssi. Tuo pienten mallien inferenssi otollinen markkina kilpailijoille iskeä jos nvidia ei siihen käyttöön tuo optimoitua halvempaa ratkaisua.

Esimerkkinä llama 3.1 405B vaatii 800GB muistia.

Llama 3.1 405B has 405 billion parameters, requiring roughly 800 GB memory to be served in its original BF16 precision, exceeding the total GPU memory capacity of a single AWS P4 or P5 instance with 8 x 80GB A100/H100 (640GB memory capacity).Jul 23, 2024

Pelikorteista ei saa rakennettua tehokasta klusteria kun puuttuu nopea muistikoherentti väylä joka skaalaantuu kymmenien/satojen korttien kytkentään ilman että kaista on aneeminen ja lagi valtava.

 

[Halpuuttaja]

Ainakin mun käsitys on, että oikeasti isot mallit triljoona+ parametria vaatii inferenssissäkin n-kappaletta hopperia/blackwellia. Tuollaista ei saa 192GB muistilla olevan kortin sisään ajoon järkevästi. Mä näkisin että on jako erittäin isojen mallien opettaminen, erittäin isojen mallien inferenssi ja sitten nuo pienet mallit. Se mihin pelikortista konesaliin ratkaisulla vois iskea on nuo pienten mallien inferenssi. Tuo pienten mallien inferenssi otollinen markkina kilpailijoille iskeä jos nvidia ei siihen käyttöön tuo optimoitua halvempaa ratkaisua.

Esimerkkinä llama 3.1 405B vaatii 800GB muistia.

Yhteen korttiin ei ole mikään pakko mahduttaa. Tuota 405B:tä voi ajaa BF16:n sijaan myös FP8 muodossa, jolloin muistivaatimus puolittuu, eli 8x GB202 kortteja 64 gigalla riittäisi. Toi olis ihan realistinenkin kokoonpano, kun Nvidia myy tälläkin hetkellä OVX servereitä joissa 8x L40S -kortteja.

Tuskinpa Nvidialle on ongelma jos isompienkin mallien inferenssikuormat siirtyvät enimmäkseen pois sieltä A100/H100/B100 sektorilta alemman tierin raudalle.

Pelikorteista ei saa rakennettua tehokasta klusteria kun puuttuu nopea muistikoherentti väylä joka skaalaantuu kymmenien/satojen korttien kytkentään ilman että kaista on aneeminen ja lagi valtava.

Juu, ei mutta muutamalle kortille LLM kuorma rinnakkaistuu oikein hyvin eikä kuulemma 2xRTX 3090:n kanssa ole juuri mitään väliä onko NVLink käytössä vai ei inferenssatessa. Treenatessa sitten on.

 

[finWeazel]

Yhteen korttiin ei ole mikään pakko mahduttaa. Tuota 405B:tä voi ajaa BF16:n sijaan myös FP8 muodossa, jolloin muistivaatimus puolittuu, eli 8x GB202 kortteja 64 gigalla riittäisi. Toi olis ihan realistinenkin kokoonpano, kun Nvidia myy tälläkin hetkellä OVX servereitä joissa 8x L40S -kortteja.

Miten mahdutat 405b:n vaikka dual 3090:en muistiin?

Nvidilla on esimNVL72 missä on 72 gpu:ta, asennukset q4:lla. Mun argumentti alunperin oli että ei peli blackwellit missään teoreettisessa konfigissa kisaa nvl72:en kanssa. On pienien mallien markkina ja isojen mallien markina. 405B on vielä pieni malli. GPT4:ssa huhutaan olevan 1700B ja gpt5 tai mikä sen nimi onkaan on sanottu olevan paljon isompi. Muistimäärät teroissa ei gigoissa ja nvlinkin ja nvlink-kytkimen kaistat massiivisia. Tuosta gb200:sta tulee blackwell ultra versio 2025 aikana missä muistimäärä kasvaa about 50% +- miten nvidia leikka asiat(12 layer hbm3e muistit 8 layerin tilalle)

En toki väitä varmaksi, että isoimmasta 50x0 sarjan piiristä tulisi ihan kunnolla konesaliin optimoitu versio mutta en pidä sitä mahdottomana. Riippunee siitä onko konesaliblackwell edelleen paketointirajotteinen vai ei.

 

[Halpuuttaja]

Miten mahdutat 405b:n vaikka dual 3090:en muistiin?

Joku väärinkäsitys tässä. Sanoin, että mahtuisi 8x 64Gt = 512 gigatavuun muistia, en että mahtuisi 48 gigaan.

Mun argumentti alunperin oli että ei peli blackwellit missään teoreettisessa konfigissa kisaa nvl72:en kanssa.

Vastasin alunperin edup:n viestiin enkä sinun kyseenalaistaen, että onko siinä mitään ongelmaa vaikka alemman tason kortit söisivät inferenssi työkuormaa toptier raudalta.

Samaa mieltähän tässä siitä olen, ettei noilla NV72:n kanssa kilpailla, kun treenaus on ihan toinen laji kuin inferenssi ja treenaushommia tässä maailmassa riittää yllin kyllin.

 

[Mestre]

Jos AMD:ta uskoo siitä miten huono bisnes halo-tuotteet on

Happamia, sanoi kettu ja niin edelleen

 

[Griffin]

Jos AMD:ta uskoo siitä miten huono bisnes halo-tuotteet on niin ei ehkä jää muuta vaihtoehtoa kuin olla tyytyväinen että edes joku tekee 4090/5090 kaltaisia piirejä. Vaihtoehtona olisi, että nvidia olisi samaa mieltä kuin amd ja järein piiri jäisi tekemättä.

Kyllä se AMD:kin täysin varmasti tekisi, jos epäilisi pystyvänsä kilpailemaan siellä. Nyt on ollut kuitenkin täysin selvää, että ei olisi pystynyt, jolloin olisi ollut pakosti pärjäämätön kallis tuote, joka olisi myynyt todella huonosti -> tappioita.. Toivottavasti saavat AMD:lläkin pakan kasaan, niin tulee kilpailua tuollakin hintaluokassa..

 

[Mechanical Man]

Toisaalta eiköhän suurin 5090:n kohderyhmä ole juurikin nykyiset 4090:n omistajat, joten siinä mielessä vähän turhaa.

Miksei olisi? hehän niitä viimeisimpiäkin tehoja koneeseensa ovat halunneet.

Kyllä se AMD:kin täysin varmasti tekisi, jos epäilisi pystyvänsä kilpailemaan siellä. Nyt on ollut kuitenkin täysin selvää, että ei olisi pystynyt, jolloin olisi ollut pakosti pärjäämätön kallis tuote, joka olisi myynyt todella huonosti -> tappioita.. Toivottavasti saavat AMD:lläkin pakan kasaan, niin tulee kilpailua tuollakin hintaluokassa..

Kyllä, jos olisi uskonut pystyvänsä kilpailemaan järkevillä katteilla. Nythän niin ei ole, ainakin jäljessä olevan säteenseurannan takia, jolla pienempi merkitys alemmissa luokissa.

 

[latiou]

Steamcharteista poimittua, verrokkina pari ratukan korttia...:
4090 0,98%, kirjaimellisesti 1% kortti....
RX 6800XT 0,30%
RX 7900XTX 0,39%
RX 6900XT 0,20%

Nvidia siis myynyt enemmän 4090 nyt parissa vuodessa kuin AMD on myynyt lippulaivoja ja yhtä suosituinta mid tier korttia samassa ajassa yhteensä. Kyllä sitä kysyntää tonne kärkipäähän näyttäisi löytyvän, hinnasta viis.

Täältä lisää infoa

 

[P c L A Y E R]

Miksei olisi? hehän niitä viimeisimpiäkin tehoja koneeseensa ovat halunneet.

En nyt ihan ymmärrä mitä tarkoitat. Itsehän juurikin kirjoitin, että 5090 suurin kohderyhmä on nykyiset 4090 omistajat.

 

[Rane]

En nyt ihan ymmärrä mitä tarkoitat. Itsehän juurikin kirjoitin, että 5090 suurin kohderyhmä on nykyiset 4090 omistajat.

Täällä ainakin yksi 3090 omistaja joka 5090:aa odottelee. On varmaan muitakin samassa junassa.

 

[PedroVon]

Täällä ainakin yksi 3090 omistaja joka 5090:aa odottelee. On varmaan muitakin samassa junassa.

Täällä ei ole tarkoitus 4090:stä luopua, kun täysin kelpo Blenderiin, enemmänkin kaikki muu hidastaa. Mutta renderikoneeseen leuka vuotaen uotellen teitä 3090:n myyjiä just, kun 5090 tulee markkinoille. 4070 ois ollut siihen riittävä, mutta se AINAINEN muisti, kun 24GB aina mennään rajoilla. Tuntuu, että 24 Gigaa hiuksia harmaantuu joka kerta kun "GPU memory full" tulee. Ehkä sen takuuttoman 3090:nkin hinnatkin vihdoin asettunee järkeviksi.

 

[Halpuuttaja]

Kopiten mukaan 5090:ssä olis 32 Gt muistia eikä 28 Gt kuten panzerliedin toukokuisissa spekseissä:

GeForce RTX 5090
PG144/145-SKU30
GB202-300-A1
21760FP32
512-bit GDDR7 32G
600W

GeForce RTX 5080
PG144/147-SKU45
GB203-400-A1
10752FP32
256-bit GDDR7 16G
400W

https://videocardz.com/newz/nvidia-geforce-rtx-5090-and-rtx-5080-specs-leaked

Sanoo myös tuolla X:ssä jollekin kyselijälle, että FE olis yhä 2-slottinen. Ehkäpä vesivehje sitten.

 

[latiou]

Kopiten mukaan 5090:ssä olis 32 Gt muistia eikä 28 Gt kuten panzerliedin toukokuisissa spekseissä:

GeForce RTX 5090
PG144/145-SKU30
GB202-300-A1
21760FP32
512-bit GDDR7 32G
600W

GeForce RTX 5080
PG144/147-SKU45
GB203-400-A1
10752FP32
256-bit GDDR7 16G
400W

https://videocardz.com/newz/nvidia-geforce-rtx-5090-and-rtx-5080-specs-leaked

Sanoo myös tuolla X:ssä jollekin kyselijälle, että FE olis yhä 2-slottinen. Ehkäpä vesivehje sitten.

kyllähän tuo 5090 polttelisi jos tosiaan on 32gb muistilla. Ensi vuonna tulossa 4k UW monitorit 240hz.....ei nykyinen 4090 riitä tuohon enää....Täytyy harkita päivitystä kunhan testitulokset tulee julki. 512bittinen kaista noin isolle muistille povaa melko kovaa päivitystä 4090 verrattuna, ja lisää coreja. Käsittämättömän kova kortti tulossa jos uskoo näitä leakeja.

 

[latee77]

5090 FE hinta-arvaus 2600€

Pitää viedä tyhjiä pulloja.

Mutta siitä kortti 2,5 vuodeksi joka ei kuitenkaan jaksa tulevia pelejä oikein 240Hz @ 4k rallattaa.

 

[PÌÎUW®[ªøËrhl¾ÇÌ°1¿¼]

Mutta siitä kortti 2,5 vuodeksi joka ei kuitenkaan jaksa tulevia pelejä oikein 240Hz @ 4k rallattaa.

Jotakin pitäisi tapahtua CPU tai itse peliengineissä kun 240Hz nykypeleissä tuntuu olevan mahdottomuus oli reso tai detailiasetukset mitä hyvänsä.

 

[Kissatkoiria]

5090 FE hinta-arvaus 2600€

Pitää viedä tyhjiä pulloja.

Mutta siitä kortti 2,5 vuodeksi joka ei kuitenkaan jaksa tulevia pelejä oikein 240Hz @ 4k rallattaa.

Joka päivä käyt kadulla pummaamassa euron joltain ni sulla ois 2600 päivän päästä 5090

 

[myrskyviitta]

Kopiten mukaan 5090:ssä olis 32 Gt muistia eikä 28 Gt kuten panzerliedin toukokuisissa spekseissä:

GeForce RTX 5090
PG144/145-SKU30
GB202-300-A1
21760FP32
512-bit GDDR7 32G
600W

GeForce RTX 5080
PG144/147-SKU45
GB203-400-A1
10752FP32
256-bit GDDR7 16G
400W

https://videocardz.com/newz/nvidia-geforce-rtx-5090-and-rtx-5080-specs-leaked

Sanoo myös tuolla X:ssä jollekin kyselijälle, että FE olis yhä 2-slottinen. Ehkäpä vesivehje sitten.

Oho, cudat puolitettu 5090 vrt 5080. Ja 5080 edelleen samat VRAM määrät tehden tuosta kyseenalaisen valinnan jos hankkisi sekakäyttöön työasemaan. 5070 sitten varmaankin se 12 gigaa.
Tulee vähä semmone viba että nvidia ei vahingossakaan halua tehdä enää liian hyviä hinta-laatu kortteja. Tuon VRAMin osalta ainakin nirsoillaan näissä kuluttaja korteissa niin kovasti tuon AI pöhinän jälkeen ettei mitään rajaa.

 

[peikko763]

Kopiten mukaan 5090:ssä olis 32 Gt muistia eikä 28 Gt kuten panzerliedin toukokuisissa spekseissä:

GeForce RTX 5090
PG144/145-SKU30
GB202-300-A1
21760FP32
512-bit GDDR7 32G
600W

GeForce RTX 5080
PG144/147-SKU45
GB203-400-A1
10752FP32
256-bit GDDR7 16G
400W

https://videocardz.com/newz/nvidia-geforce-rtx-5090-and-rtx-5080-specs-leaked

Sanoo myös tuolla X:ssä jollekin kyselijälle, että FE olis yhä 2-slottinen. Ehkäpä vesivehje sitten.

Ilmajäähyllä varmaan on jo 5 korttipaikkaisia nuo 5090. Jos tulee. Jäähtyykö muuten edes 600W.

 

[Halpuuttaja]

Ilmajäähyllä varmaan on jo 5 korttipaikkaisia nuo 5090. Jos tulee. Jäähtyykö muuten edes 600W.

Vähän epäselvää mikä se todellinen tehonkulutus on. Tuo 600W saattaa olla maksimi eikä vakio tehonkulutus. Myös 4090:llä maksimi on 600W.

 

[finWeazel]

Vaikea uskoa, että tulisi täysi piiri pelikorttiin julkaisussa. Ei jää oikein mitään kiristysvaraa super/titan malliin. Toisaalta ehkä nvidia tajus jotain siinä kun 4090 meni koko elinkaaren ilman superia ja lataa kaiken pöytään julkaisussa. Olisi kyllä hienoa, jos tulisi täysi piiri heti myyntiin. Valmistusprosessi melkein sama 4090 ja 5090 niin ehkä sekin auttaa täyden piirin kanssa. Pitäisi olla saannot kunnossa ja toinen iteraatio tuotteesta melkein samalla valmistusteknologialla.

ad102:stahan nähtiin täysi piiri ainoastaan pro-korteissa. Kaikki pelikortit leikattuja piirejä.

 

[Halpuuttaja]

Vaikea uskoa, että tulisi täysi piiri pelikorttiin julkaisussa. Ei jää oikein mitään kiristysvaraa super/titan malliin. Toisaalta ehkä nvidia tajus jotain siinä kun 4090 meni koko elinkaaren ilman superia ja lataa kaiken pöytään julkaisussa. Olisi kyllä hienoa, jos tulisi täysi piiri heti myyntiin. Valmistusprosessi melkein sama 4090 ja 5090 niin ehkä sekin auttaa täyden piirin kanssa. Pitäisi olla saannot kunnossa ja toinen iteraatio tuotteesta melkein samalla valmistusteknologialla.

ad102:stahan nähtiin täysi piiri ainoastaan pro-korteissa. Kaikki pelikortit leikattuja piirejä.

Ei ole täysi piiri tuo kopiten väittämä konfiguraatio vaan 170 SM:ää 192:sta käytössä. Hyvin samanlainen kuin 4090, molemmissa ~89% SM:istä käytössä ja kaikki muistipaikat käytössä.

Muutama SM lisää käyttöön ja isommat ja/tai nopeammat muistipiirit niin sillähän se superoidaan.

 

[finWeazel]

Ei ole täysi piiri tuo kopiten väittämä konfiguraatio vaan 170 SM:ää 192:sta käytössä. Hyvin samanlainen kuin 4090, molemmissa ~89% SM:istä käytössä ja kaikki muistipaikat käytössä.

Muutama SM lisää käyttöön ja isommat ja/tai nopeammat muistipiirit niin sillähän se superoidaan.

miten lie iso cache sitten leikattu. 4090:ssa 72MB cachea käytössä kun täydessä piirissä 96MB.

 

[sheikkki]

kyllähän tuo 5090 polttelisi jos tosiaan on 32gb muistilla. Ensi vuonna tulossa 4k UW monitorit 240hz.....ei nykyinen 4090 riitä tuohon enää....Täytyy harkita päivitystä kunhan testitulokset tulee julki. 512bittinen kaista noin isolle muistille povaa melko kovaa päivitystä 4090 verrattuna, ja lisää coreja. Käsittämättömän kova kortti tulossa jos uskoo näitä leakeja.

Vai 5k2k? Sellasta ite ootan et LG saa tulemaan ulos niitä, ja sit 5090 kaveriksi täältä jää sit yks 4090 suprimi myyntiin mikä kulkee ihan ok