Itehän en näistä maallikkona ymmärrä mutta tuossa pisti silmään se että 5080:sestä olis tulossa kiinaa varten kuristettu D-versio ettei vaan ois liikaa poppista... eli ois sen 10% nopsempi kuin 4090 ?.Huhuja alkaa tulemaan nyt siihen malliin, että onkohan kuitenkin julkaisu loppuvuonna mahdollinen?
Design valmistumassa tässä kuussa. Myös virrankulutuksen huhuun lisää huomioita:
Jollakin tapaa näitä uutuuksia on aina mukava ootella; sitten kun julkaisu on ohi ja alkuhype tai pettymys on ohi niin on aika tylsää pari vuotta ennenkuin rumba lähtee taas käyntiin
NVIDIA's Ada lineup is mostly abundant in most parts of the world, particularly the mid-range and upper-mid-range offerings. The flagship GPU, RTX 4090, on the other hand, doesn't seem to enjoy the same abundance as other GPUs, at least in some parts of the world. As per the latest report, it looks like most vendors want to get rid of the GPU.[/quote]
NVIDIA GeForce RTX 4090 GPUs Getting Pricier In Europe While Inventory Mostly Run Out
Retailers are struggling to maintain the prices of NVIDIA GeForce RTX 4090 GPUs in various retail stores in Germany.wccftech.com
Jos AMD:ta uskoo siitä miten huono bisnes halo-tuotteet on niin ei ehkä jää muuta vaihtoehtoa kuin olla tyytyväinen että edes joku tekee 4090/5090 kaltaisia piirejä. Vaihtoehtona olisi, että nvidia olisi samaa mieltä kuin amd ja järein piiri jäisi tekemättä.
Aika monesta muustakin nvidian pelipiiristä on ammattikortti olemassa. Esim rtx 3000 ada. Kai amd:llakin on pro kortteja.
Totta tuokin mutta on niitä uusiakin ostajia niin kuin allekirjoittanut kun piti PCVR:ään höyrähtää ja tässä vaiheessa ei kai kannata kun odotella uusia kortteja, kauhulla odottelen hintoja.
Joo eihän se Nvidialle paras bisnes ole mutta King Of The Hill-statuksella mennään pitkälle edelleen markkinoinnissa/mindsharessa PC-markkinoilla ja siitä on varmasti vaikea luopua vaikkei enää ydinbisnestä olekaan. Harmi kun AMD jättäytynee pois high end-leikeistä niin Nvidialla varmasti kortit vaan kallistuu.
Uskoisin että etenkin jos huhut 512bit väylästä toteutuvat niin halo 50x0 sarjan piirillä olis kysyntää ai-työasemissa, virtuaaliset tuotannot(ue5) ja omniverse. Jos nvidia laittaisi vaikka c2c nvlinkin ja 2 piiriä kortille 3GB muistipiireillä niin tuollainen 192GB muistilla oleva kortti olisi erinomainen ihan konesaliinkin inferenssiratkaisuksi. Ei 192GB muistilla tallo oikean konesalipiirin varpaille mutta olisi kuitenkin piiri mikä täyttää yhden nichen mihin iskee startupit/kilpailijat/asiakkaiden omat piirit jos nvidia ei jotain tarjoa. Tuollainen dual-ratkaisu vois olla myös aika oiva renderfarmeihin ja virtuaalisiin tiloihin mitä allelinkatut videot esittelevät. Omniverse myös hyötyisi.
48GB on sen mitä gddr6x:lla saa irti 384bit väylästä. Huhut on, että alkuvaiheessa ei nähdä 3GB gddr7x piirejä. Ehkä täysi blackwell 512bit lippulaiva 64GB muistilla mitä aluksi menee pro/konesalikortteihin ja vuoden päästä julkaisusta midlife refresh pro kortteihin 96GB(3GB piirit). Nvlinkkiä tuskin tulee, mutta toivossa saa elää. Pelikorteissa vähemmän kuin 32GB kun ei nähdä clamshellia eikä täyttä piiriä pelikorteissa.
Mielestäni sulla on kovin suppea ajatus siitä, mitä konesali-GPUilla tehdään. Maailma on täynnä sovelluksia, jotka ei vaadi reaaliaikaista inferenssiä, tai teratavukaupalla muistia. Ja on valtava määrä organisaatioita, jotka vuokraa AWS:n, Azuren, GCP:n, jne. konesalien kortteja _paljon_ maltillisemman kokoisten mallien opetukseen ja inferenssiin. Niihin voi nykyisellään helposti riittää 1-4 kpl A100/H100 tasoisia kortteja. Ja moniin sovellukseen vielä pienempiäkin.
Iso markkina mihin hopper ja q4:lla ja siitä eteenpäin blackwell myyvät ovat erittäin isojen frontier AI mallien opettaminen ja erittäin isojen mallien inferenssi. Tyyliin 100k gpu klusterit jossa kaikki gpu:t samassa muistiavaruudessa + nopeat muistikoherentit linkit. Noiden varpaille pelikortti ei hypi. Noiden alla olis pelikortista tehdylle kysyntää ja sinne markkinaan imho kannattaa nvidian iskeä. Kortteja ei kuitenkaan tarvi myydä pelikortin hinnalla konesaliin/työasemiin jne. Tyyliin rtx ada 6000 maksaa jotain 3x sen mitä 4090.
Samaa mieltä siitä, että 192 Gt on epärealistinen, mutta H100 vs AD102 väillä on myös helvetin iso suorituskykyloikka tekoälykäytössä ja sitä ei pelkällä muistikapasiteetilla oteta kiinni. Olettaisin että sama trendi jatkuu Blackwell sukupolven kohdalla. Jotenkin en usko, että Nvidian on syytä pelätä B100:n kannibalisoimista tolla alemman tierin sirulla, tai jos olisikin niin ainahan sen voisi sitten heijastaa 64 tai 96 gigaisen L40/RTX 6000 Ada seuraajan hintaan.
Ainakin mun käsitys on, että oikeasti isot mallit triljoona+ parametria vaatii inferenssissäkin n-kappaletta hopperia/blackwellia. Tuollaista ei saa 192GB muistilla olevan kortin sisään ajoon järkevästi. Mä näkisin että on jako erittäin isojen mallien opettaminen, erittäin isojen mallien inferenssi ja sitten nuo pienet mallit. Se mihin pelikortista konesaliin ratkaisulla vois iskea on nuo pienten mallien inferenssi. Tuo pienten mallien inferenssi otollinen markkina kilpailijoille iskeä jos nvidia ei siihen käyttöön tuo optimoitua halvempaa ratkaisua.
Pelikorteista ei saa rakennettua tehokasta klusteria kun puuttuu nopea muistikoherentti väylä joka skaalaantuu kymmenien/satojen korttien kytkentään ilman että kaista on aneeminen ja lagi valtava.
Yhteen korttiin ei ole mikään pakko mahduttaa. Tuota 405B:tä voi ajaa BF16:n sijaan myös FP8 muodossa, jolloin muistivaatimus puolittuu, eli 8x GB202 kortteja 64 gigalla riittäisi. Toi olis ihan realistinenkin kokoonpano, kun Nvidia myy tälläkin hetkellä OVX servereitä joissa 8x L40S -kortteja.
Juu, ei mutta muutamalle kortille LLM kuorma rinnakkaistuu oikein hyvin eikä kuulemma 2xRTX 3090:n kanssa ole juuri mitään väliä onko NVLink käytössä vai ei inferenssatessa. Treenatessa sitten on.
Miten mahdutat 405b:n vaikka dual 3090:en muistiin?
Joku väärinkäsitys tässä. Sanoin, että mahtuisi 8x 64Gt = 512 gigatavuun muistia, en että mahtuisi 48 gigaan.
Vastasin alunperin edup:n viestiin enkä sinun kyseenalaistaen, että onko siinä mitään ongelmaa vaikka alemman tason kortit söisivät inferenssi työkuormaa toptier raudalta.
Happamia, sanoi kettu ja niin edelleen
Kyllä se AMD:kin täysin varmasti tekisi, jos epäilisi pystyvänsä kilpailemaan siellä. Nyt on ollut kuitenkin täysin selvää, että ei olisi pystynyt, jolloin olisi ollut pakosti pärjäämätön kallis tuote, joka olisi myynyt todella huonosti -> tappioita.. Toivottavasti saavat AMD:lläkin pakan kasaan, niin tulee kilpailua tuollakin hintaluokassa..
En nyt ihan ymmärrä mitä tarkoitat. Itsehän juurikin kirjoitin, että 5090 suurin kohderyhmä on nykyiset 4090 omistajat.
Täällä ainakin yksi 3090 omistaja joka 5090:aa odottelee. On varmaan muitakin samassa junassa.
Täällä ei ole tarkoitus 4090:stä luopua, kun täysin kelpo Blenderiin, enemmänkin kaikki muu hidastaa. Mutta renderikoneeseen leuka vuotaen uotellen teitä 3090:n myyjiä just
, kun 5090 tulee markkinoille. 4070 ois ollut siihen riittävä, mutta se AINAINEN muisti, kun 24GB aina mennään rajoilla. Tuntuu, että 24 Gigaa hiuksia harmaantuu joka kerta kun "GPU memory full" tulee. Ehkä sen takuuttoman 3090:nkin hinnatkin vihdoin asettunee järkeviksi.kyllähän tuo 5090 polttelisi jos tosiaan on 32gb muistilla. Ensi vuonna tulossa 4k UW monitorit 240hz.....ei nykyinen 4090 riitä tuohon enää....Täytyy harkita päivitystä kunhan testitulokset tulee julki. 512bittinen kaista noin isolle muistille povaa melko kovaa päivitystä 4090 verrattuna, ja lisää coreja. Käsittämättömän kova kortti tulossa jos uskoo näitä leakeja.
Jotakin pitäisi tapahtua CPU tai itse peliengineissä kun 240Hz nykypeleissä tuntuu olevan mahdottomuus oli reso tai detailiasetukset mitä hyvänsä.
Joka päivä käyt kadulla pummaamassa euron joltain ni sulla ois 2600 päivän päästä 50905090 FE hinta-arvaus 2600€
Pitää viedä tyhjiä pulloja.
Mutta siitä kortti 2,5 vuodeksi joka ei kuitenkaan jaksa tulevia pelejä oikein 240Hz @ 4k rallattaa.
Oho, cudat puolitettu 5090 vrt 5080. Ja 5080 edelleen samat VRAM määrät tehden tuosta kyseenalaisen valinnan jos hankkisi sekakäyttöön työasemaan. 5070 sitten varmaankin se 12 gigaa.
Ilmajäähyllä varmaan on jo 5 korttipaikkaisia nuo 5090. Jos tulee. Jäähtyykö muuten edes 600W.
Vähän epäselvää mikä se todellinen tehonkulutus on. Tuo 600W saattaa olla maksimi eikä vakio tehonkulutus. Myös 4090:llä maksimi on 600W.
Ei ole täysi piiri tuo kopiten väittämä konfiguraatio vaan 170 SM:ää 192:sta käytössä. Hyvin samanlainen kuin 4090, molemmissa ~89% SM:istä käytössä ja kaikki muistipaikat käytössä.
miten lie iso cache sitten leikattu. 4090:ssa 72MB cachea käytössä kun täydessä piirissä 96MB.
Vai 5k2k? Sellasta ite ootan et LG saa tulemaan ulos niitä, ja sit 5090 kaveriksi
täältä jää sit yks 4090 suprimi myyntiin mikä kulkee ihan ok 
Harmillista jos todella tuo 5080 tulee markkinoille vain 16 Gt muistilla. Itse olisin toivonut siitä noin RTX 4090 tason suorituskykyä, 320bittisellä muistiväylällä ja 20 Gt muistilla sekä hinta suunnilleen RTX 4080 Super tasoa.
On tosiaan turhan konservatiivinen päivitys 4080 -> 5080, jos nuo vcardzin taulukon luvut pitävät paikkaansa; vain ~10% lisää ytimiä ja ~25% lisää muistikaistaa (vielä pienempi ero, jos vertaillaan 4080S).Harmillista jos todella tuo 5080 tulee markkinoille vain 16 Gt muistilla. Itse olisin toivonut siitä noin RTX 4090 tason suorituskykyä, 320bittisellä muistiväylällä ja 20 Gt muistilla sekä hinta suunnilleen RTX 4080 Super tasoa.
Ehkä turhan optimistiset ajatukset
Jos 5080 tulee vain 16 Gt muistilla, niin alempien mallien tilanne näyttänee myös hyvin heikolta valitettavasti. Olisi suorastaan surkeaa jos RTX 5070 oli 12 Gt kortti.
Huhut on olleet "koko ajan", että julkaisuikkunassa 28Gbps nopeudet ja 2GB piirit. Ehkä joku super voi tulla vuotta myöhemmin 3GB 32GBps piireillä niin sais 256bit väyläiseen korttiin 24GB 16GB sijaan. Tai ehkä leikkovat 5090:en piiristä 5080 superin. Johonkinhan nekin piirit on tungettava missä ei kaikki muistiohjaimet toimi.
AMD:lle varmasti huono bisnes kun firman halotuotteita ei osta kuin kulttilaiset. Nvidia myy kyllä noita 4090:a ihan hyvään tahtiin. Steamin tilastoissa 4090:n taakse jäävät mm. RX 6700 XT, RTX 4080, RTX 3080 Ti.
Amd väitti että 4090 on noin 10% markkinasta. Jos amd:n osuus markkinasta on vaikka 20% niin heidän highendiä menis todella vähän kaupaksi
Muisti on kallista... Miksi siinä pitäisi olla enemmän muistia? 16 Gigaa on kuitenkin jo melkopaljon pelikortille..Harmillista jos todella tuo 5080 tulee markkinoille vain 16 Gt muistilla. Itse olisin toivonut siitä noin RTX 4090 tason suorituskykyä, 320bittisellä muistiväylällä ja 20 Gt muistilla sekä hinta suunnilleen RTX 4080 Super tasoa.
Ehkä turhan optimistiset ajatukset
?