Samsung ja SK Hynix esittelevät GDDR7-muisteja tulevassa ISSCC 2024 -tapahtumassa

[Kaotik]

Kaotik kirjoitti uutisen/artikkelin:
Muistivalmistajat valmistautuvat täyttä häkää helmikuun 18.-22. San Franciscossa pidettävään IEEE International Solid-State Circuits Conferenceen eli ISSCC:een. Tapahtuman alla on saatu kaivettua jo esiin tapahtuman ohjelma, josta paljastuu mm. Samsungin ja SK Hynixin sotasuunnitelmat.

Korealaisjätti Samsung aikoo esitellä ISSCC:ssä ennakkotietojen mukaan ainakin uusia maksimissaan 37 Gbps:n nopeuteen yltäviä 16 gigabitin GDDR7-muisteja. GDDR7-muisteissa tullaan siirtymään PAM3-signalointiin, mikä parantaa osaltaan muistien nopeutta ja näytönohjaimilla onkin edessään muistikaistan lähes kaksinkertaistuminen samalla väylänleveydellä. Nykyisissä GDDR6-muisteissa käytetään NRZ- ja GDDR6X-muisteissa PAM4-signalointia.

Muistitarjonta jatkuu 32 gigabitin versioilla DDR5-8000 muistipiireistä. Lisäksi Samsung tulee esittelemään tallennusmedioihin uusia 280-kerroksisia 3D QLC NAND -muistipiirejä terabitin kapasiteetilla. Uudet QLC-muistipiirit yltävät jopa 3,2 Gt/s nopeuteen, kun nykyisellään nopeimmat NANDit yltävät 2,4 Gt/s nopeuteen.

Korealaisten muistijoukkueen lippua pitää yllä myös SK Hynix. Yhtiö tulee esittelemään tapahtumassa Samsungin tapaan uusia GDDR7-muisteja, mutta ennakkotietojen mukaan esillä tulisi olemaan ”vain” 35,4 Gbps:n nopeuteen yltäviä versioita. Toisaalta Samsungilla on tosin ollut ennenkin tapana esitellä kerralla myös maksiminopeus vaikkei siihen yltäviä piirejä olisikaan vielä tiedossa toviin. Raskaaseen laskentaan SK Hynixillä on tarjolla 128 Gt/s nopeuteen per muistipino yltäviä 16-kerroksisia 48 Gt:n HBM3E-muisteja.

Lähteet: TechPowerUp (1), (2), (3)

Linkki alkuperäiseen juttuun

 

[aleksejjj]

Hurja on tuo GDDR7:n tuoma kokonaismuistikaista. RTX 5090 tulee mahdollisesti 384-bittiä leveällä väylällä ja jos se kortti saa nuo huipputason 37 Gbps nopeuksiset muistit, niin sen kokonaiskaista on massiivinen 1.79TB/s, joka on 79 % enemmän kuin RTX 4090:ssä.

 

[finWeazel]

Hurja on tuo GDDR7:n tuoma kokonaismuistikaista. RTX 5090 tulee mahdollisesti 384-bittiä leveällä väylällä ja jos se kortti saa nuo huipputason 37 Gbps nopeuksiset muistit, niin sen kokonaiskaista on massiivinen 1.79TB/s, joka on 79 % enemmän kuin RTX 4090:ssä.

Ei välttämättä nähdä julkaisukorteissa nopeimpia mahdollisia muisteja. 4090 julkistuksen aikaan oli olemassa 24Gbps muistit mutta ei korttien spekseissä sellaisia näkynyt.

 

[banaani]

Hmm... Itselläni herää kysymys, miten segmentoivat nämä ominaisuudet kuluttajapuolelle: noin isosta muistikaistasta ei välttämättä GeForce-luokan näytönohjainessa ole iloa, mutta AI-kiihdyttimessä ehdottomasti?

 

[finWeazel]

Hmm... Itselläni herää kysymys, miten segmentoivat nämä ominaisuudet kuluttajapuolelle: noin isosta muistikaistasta ei välttämättä GeForce-luokan näytönohjainessa ole iloa, mutta AI-kiihdyttimessä ehdottomasti?

Cachen toteutus ei skaalaannu 3nm prosessiin mennessä. 40x0 sarja säästi paljon muistikaistan tarpeessa siirtymällä isoon cacheen. Jos/kun nvidia edelleen tekee monoliittia niin oletettavasti cachen kokoa ei saa järkevästi kasvatettua ja tarvitaan nopeampaa muistia.

Nvidian ai kiihdyttimet käyttävät hbm3/e muisteja.

 

[Halpuuttaja]

16 gigabitin kapasiteetti vähän pettymys. Toivon, että seuraavan sukupolven kuluttajanäyttiksissä kapasiteetti olisi selvästi nykyistä suurempi, kun 24 Gt näyttiksellä alkaa muisti käydä ahtaaksi kielimalleja pyöritellessä. Tänä vuonna tuleva Llama 3 ym. tuskin helpottavat tuskaa. Ja varmaan kuvageneraattorienkin puolella vaatimukset nousevat.

Micronilla tosin näkyi 24 Gb siruja roadmapissa, että ehkäpä niillä sitten kasvatellaan.

 

[finWeazel]

16 gigabitin kapasiteetti vähän pettymys. Toivon, että seuraavan sukupolven kuluttajanäyttiksissä kapasiteetti olisi selvästi nykyistä suurempi, kun 24 Gt näyttiksellä alkaa muisti käydä ahtaaksi kielimalleja pyöritellessä. Tänä vuonna tuleva Llama 3 ym. tuskin helpottavat tuskaa. Ja varmaan kuvageneraattorienkin puolella vaatimukset nousevat.

Micronilla tosin näkyi 24 Gb siruja roadmapissa, että ehkäpä niillä sitten kasvatellaan.

Isompi kapasiteetti on olemassa ja tulossa

Micron Roadmap Details GDDR7 Memory For Next-Gen NVIDIA GPUs: Up To 24Gb & 32 Gbps Dies In 2024, 24Gb+ & 36 Gbps In 2026

Micron has published its latest roadmap which details its upcoming memory technologies including GDDR7 for next-gen NVIDIA GPUs.

wccftech.com

 

[Halpuuttaja]

Isompi kapasiteetti on olemassa ja tulossa

Jep, lainaamassasi viestissä juurikin tuon Micronin roadmapin mainitsin.

Se vaan, että jos tuo 24 Gb on alkuun harvinaisempi ja 16 Gb:tä selvästi enemmän tarjolla niin en ylläty jos isot mutta hitaammat muistit menee ammattilaistuotteisiin ja pienet mutta nopeat puolestaan pelikortteihin.

 

[finWeazel]

Jep, lainaamassasi viestissä juurikin tuon Micronin roadmapin mainitsin.

Se vaan, että jos tuo 24 Gb on alkuun harvinaisempi ja 16 Gb:tä selvästi enemmän tarjolla niin en ylläty jos isot mutta hitaammat muistit menee ammattilaistuotteisiin ja pienet mutta nopeat puolestaan pelikortteihin.

Pelikorteissa taitaa 24GB riittää vielä pitkään. Jossain 128bit väyläisissä toki kiva, kun sais 12GB muistia 8GB tilalta.

 

[Halpuuttaja]

Pelikorteissa taitaa 24GB riittää vielä pitkään.

Pelaamisen riittänee juu. Saa nähdä kuinka paljon valmistajia kiinnostaa targetoida myös niitä kuluttajia, jotka kaipaavat isomuistista korttia tekoälyjuttuihin. Toistaiseksi ei mikään merkittävä porukka, mutta kasvava kuitenkin ja kaikkien kolmen näyttisvalmistajan markkinoinnissa kohderyhmä huomioidaan jo.

 

[AeshmA]

Pelaamisen riittänee juu. Saa nähdä kuinka paljon valmistajia kiinnostaa targetoida myös niitä kuluttajia, jotka kaipaavat isomuistista korttia tekoälyjuttuihin. Toistaiseksi ei mikään merkittävä porukka, mutta kasvava kuitenkin ja kaikkien kolmen näyttisvalmistajan markkinoinnissa kohderyhmä huomioidaan jo.

Luulisi, että valmistajien intresseissä olisi käännyttää nämä tekoälytöihin muistia kaipaavat ammattilaiskortteihin, joista voi pyytää moninkertaisen summan.
xx90 kortit isolla muistilla on sinänsä erikoinen ratkaisu, kun muistia on melko hyvin AI-harrastelijoille, onnistuu pelaaminenkin ja hinta on "edullinen" vrt. Quadrot, joten kannibalisoi käytännössä valmistajan omia katteita.
En ihmettelisi, jos jossain kohtaa "pelikortit" ja "AI-kortit" selkeästi eriytettäisiin toisistaan, olisiko se sitten tuomalla HBM muistit (takaisin) Quadroihin tms.

 

[aleksejjj]

xx90 kortit isolla muistilla on sinänsä erikoinen ratkaisu, kun muistia on melko hyvin AI-harrastelijoille, onnistuu pelaaminenkin ja hinta on "edullinen" vrt. Quadrot, joten kannibalisoi käytännössä valmistajan omia katteita.

Eikös noissa ammattilaiskorteissa ole kuitenkin omat ajuritemppunsa AI-kiihdytykseen mitä eivät kuluttajatason GeForcet saa että sikäli ammattilaiskorttien ja GeForcejen välille on olemassa selkeä pesäero?

 

[AeshmA]

Eikös noissa ammattilaiskorteissa ole kuitenkin omat ajuritemppunsa AI-kiihdytykseen mitä eivät kuluttajatason GeForcet saa että sikäli ammattilaiskorttien ja GeForcejen välille on olemassa selkeä pesäero?

Hyvin todennäköisesti on, mutta hyvin näyttää 4090 kauppansa tekevän AI hommiin Quadroihin verrattain halvan hintansa vuoksi.
Hienovaraisesti koitin rivien välistä tarjota noita 48GB Quadroja vaihtoehtona, kun muistia kaivattiin lisää, pelikortteihin kun sitä ei ihan hetkeen varmaan 24GB enempää tarvita.

 

[finWeazel]

En ihmettelisi, jos jossain kohtaa "pelikortit" ja "AI-kortit" selkeästi eriytettäisiin toisistaan, olisiko se sitten tuomalla HBM muistit (takaisin) Quadroihin tms.

AI:sta kun puhutaan niin nvidian AI konesalimyynti on nimenomaan hbm muisteilla olevaa hopperia. ADAa myydään hyvin vähän AI:hin kun verrokkina on hopper. Nvidian Q3 konesalimynti(hopper) 14.5miljardia ja pelipuoli vajaan 3 miljardia(ada). Ero ratkeaa vielä isommaksi, kun konesaliin lupaillaan kasvua ja peli gpu puolelle myynnin vähentymistä.

Vastaavasti amd:lla on mi300 ja sen eri variantit konesali/ai/hpc käyttöön. Hyvin vähän mi300:lla tekemistä peligpu:n kanssa.

Toki ada:sta on 48GB muistilla oleva versio pro/ai käyttöön. Hinnat tuolla kortilla 3x versus 4090. ADA 48GB kortti ei myy mitenkään älyttömän paljoa. En ylläty jos blackwell:sta tulee 72GB+nvlink versio millä saadaan 144GB keskusmuistilla oleva tuplakorttiratkaisu ai/pro käyttöön. Kuluttaja gpu:sta väsätty "ai/pro" kortti tuskin myy juur mitään, jos verrokkina on konesali blackwell tai hopper.

 

[zepi]

Nvidia tuskin tuo ”halpispiireihin” tukea isoille muisteille, jotta ne eivät vahingossakaan syö noiden törkeän kalliiden huippupiirien markkinaa.

AMD sen sijaan saattaisi tuodakin, kun oletettavasti markkinaosuus ja liikevaihto kelpaisi…

 

[finWeazel]

Nvidia tuskin tuo ”halpispiireihin” tukea isoille muisteille, jotta ne eivät vahingossakaan syö noiden törkeän kalliiden huippupiirien markkinaa.

AMD sen sijaan saattaisi tuodakin, kun oletettavasti markkinaosuus ja liikevaihto kelpaisi…

Jos AMD on luopumassa highend:sta rdna4 sukupolvessa kuten on huhuttu niin oletettavasti tulee "vain" 256bit väylällä oleva kortti. Tuohon ei saane kuin 24GB ja 48GB muistit kun käytetään isompikapasiteettisia gddr7-piirejä. Nvidialla on tällä hetkellä tuollaiset variantit olemassa ad102 piiristä. 48GB kortit tosin superkalliita, 3x 4090:en hinta. Jos joku noita 48GB kortteja ostaa niin se on suorastaan kermankuorintaa nvidialle.

En usko, että edes 384-bit 72GB gddr7 muistilla oleva kortti talloo AI-konesalin varpaille. Isoimpien mallien tarvimat muistimäärät ovat todella valtavia. gpt4:sta on huhuttu että vaatii toistakymmentä h100:sta siihen, että malli on muistissa. Yhdessä h100:ssa muistaaksen 80GB muistia. Näin isojen mallien kohdalla tulee oleelliseksi kysymykseksi, että miten piirien välinen kommunikaatio toimii. H200:en mikä tulee kesällä myyntiin 141GB muistilla. amd:n mi300x:ssa 192GB muistia. pro korttien hbm3 ja hbm3e muistit myös ihan törkeän paljon nopeampia kuin mitä gddr7 olisi 256bit tai 384bit väylällä. mi300x 5.3TB/S. AMD:n mi300x tän hetken muistikuningas.

Metan zuckerberg sanoi eilen sijoittajapuhelussa, että perinteisesti kun tulee uusi malliversio niin konesalin laskentakapasiteetin tarvii kymmenkertaistua.

 

[Halpuuttaja]

Luulisi, että valmistajien intresseissä olisi käännyttää nämä tekoälytöihin muistia kaipaavat ammattilaiskortteihin, joista voi pyytää moninkertaisen summan.

En vaan tiedä kuinka realistista on käännyttää tekoälyharrastelijoiden joukko ostelemaan ton hintaisia näyttiksiä. Enempi LLM-puuhastelijoiden localllama subredditissä näkyy puhuttavan 2x 3090 tyyppisistä ratkaisuista jos isoa muistia lähdetty hakemaan tai syvätaskuilla sitten Applen M -siruilla varustettuja koneita, joissa mennään reippaasti yli tuon 48 Gt.

Jos RTX 50 -sarjan lippulaiva on 24 Gt kortti niin voi olla, että käännytys tapahtuu enempi kilpailijan leiriin eikä Quadroihin. Toki mahdollista, että tekoälyharrastelijat niin pieni markkina että evvk.

 

[Cuthalu]

Jos RTX 50 -sarjan lippulaiva on 24 Gt kortti niin voi olla, että käännytys tapahtuu enempi kilpailijan leiriin eikä Quadroihin. Toki mahdollista, että tekoälyharrastelijat niin pieni markkina että evvk.

Ei puhuta mistään pienestä joukosta. 4090:n ja jopa jossain määrin 4080:n hintoja on selvästi ohjannut AI-hype ja kiinakiellot. Hinnat laskivat tasaisen hitaasti, kunnes AI-juna lähti puksuttamaan ja 4090 kallistui selvästi.

 

[finWeazel]

Ei puhuta mistään pienestä joukosta. 4090:n ja jopa jossain määrin 4080:n hintoja on selvästi ohjannut AI-hype ja kiinakiellot. Hinnat laskivat tasaisen hitaasti, kunnes AI-juna lähti puksuttamaan ja 4090 kallistui selvästi.

Ei tuo juuri tuloksessa näy. vajaa 3 miljardia pelipuoli ja nvidia ohjasi, että q4 tulos pelipuolella laskee. Samaan aikaan konesalipuoli missä ei ole ada piirejä kasvaa kuin pullataikina ollen q3:lla 14.5 miljardia ja q4:lla todennäköisesti 16.5miljardia. Numeroista näkee missä kasvu ja myynti on. Konesalipuoli q4:lla kasvaa 2 miljardia mikä on about 2/3 osaa koko pelipuolen koosta. Konesalipuoli kasvaisi nopeammin, mutta paketointikapasiteetti on rajallinen mistä seuraten myynti on tuotantorajotteinen.

Harrastelijat on harrastelijoita. Isot jutut tapahtuu isoissa firmoissa. Hyvän AI hepun palkka miljoona+ piilaaksossa. Maksaako devaajan kone 5k$ tai 20k$ ihan yhdentekevää(tosin konesalia oikeasti käytetään). Meta siitä kiva, että tarjoaa open source porukalle malleja. Toki mallit kuten llama on kehitelty konesaliraudalla ei 4090:lla.

 

[AeshmA]

Ei tuo juuri tuloksessa näy.

Ei se näin pelaajan näkökulmasta kiinnostakaan näkyykö se Nvidian tuloksessa, mutta se näkyy pelaajien lompakoissa, kun AI-kotiharrastelijat ja varmasti myös yritysten työasemat hamstraavat näitä kuluttajakortteja.
Kuten koitin aiemmin jo sanoa, niin itse ainakin toivoisin että nämä harrastelijatkin saataisiin jotenkin puskettua tuonne Quadrojen pariin, niin ehkä voisi olla pieni toivo, että pelikorttien hintoja saataisiin takaisin ruotuun.
4090 kun on "liian hyvä" hintaansa nähden näihin AI-hommiin, niin markkinoilla on epäideaali tilanne, missä 1½ vuotta vanhan kortin hinta on vain noussut eikä laskenut. Ei ihmetytä, jos trendi jatkuu Blackwellin kanssa.

 

[finWeazel]

Ei se näin pelaajan näkökulmasta kiinnostakaan näkyykö se Nvidian tuloksessa, mutta se näkyy pelaajien lompakoissa, kun AI-kotiharrastelijat ja varmasti myös yritysten työasemat hamstraavat näitä kuluttajakortteja.
Kuten koitin aiemmin jo sanoa, niin itse ainakin toivoisin että nämä harrastelijatkin saataisiin jotenkin puskettua tuonne Quadrojen pariin, niin ehkä voisi olla pieni toivo, että pelikorttien hintoja saataisiin takaisin ruotuun.
4090 kun on "liian hyvä" hintaansa nähden näihin AI-hommiin, niin markkinoilla on epäideaali tilanne, missä 1½ vuotta vanhan kortin hinta on vain noussut eikä laskenut. Ei ihmetytä, jos trendi jatkuu Blackwellin kanssa.

Pointtihan on se, että tuskin niitä hamstrataan ihan älyttömästi AI:hin, kun numeroista näkyy että ada piirien myynti vähenee. Jos ada ts. pelipiirit myisivät merkittävästi ai-käyttöön pitäisi sen näkyä pelipiirien myynnin lisääntymisenä. Piirien tuotannosta ei ole pulaa. Se mikä rajoittaa konesalipiirejä on paketointi. Paketointi liittyy ainakin nvidian tapauksessa hbm-muisteihin ja ei siten sekään ole pois pelipiirien tekemisestä. Asian kokoluokkaa auttaa ymmärtämään pelipuolen vajaa 3miljardia versus 14.5 miljardia konesalipiireistä.

Tilapäisesti todennäköisesti 4090:et loppui kiina rajotteiden vuoksi. Kiinalaiset ostivat kaikki piirit mitkä kerkesivät ennen rajotteiden voimaantuloa. Uusien piirien tilauksesta tuotteeksi tekeminen ja siitä kaupanhyllylle kestänee ainakin 4kk++. Jos nyt on pulaa ja painetaan nappia tee lisää niin lopputulos ei näy ns. heti hyllysaldossa. Superien myyntiintulo myös vaikutti hyllytilanteeseen,. Vanhoja tuotannosta poistuneita tuotteita yritettiin myydä pois uusien tieltä.

Kuinka paljon nvidia haluaa just nyt sitten tehdä lisää 4090:ia, jos/kun blackwell on tulossa 8-12kk sisään ja uusien 4090:ien tekeminen hyllyille asti kestää 4kk+. Ei varmasti haluta tilannetta missä varastot on täys 4090:sta ja pitäisi alkaa myymään 5090:sta. Kiinan vientikielto 4090:en osalta tuskin oli arvattavissa niin tee kortteja lisää nappia ei osattu painaa ennakkoon.

Asiaa voi verrata siihen miltä kryptobomin aikaan pelipiirien myynti näytti. ns. räjähti käsiin. Samanlaista myyntiräjähdystä ei ole nähty pelipiirien osalta ai boomin aikana.

 

[Halpuuttaja]

Kuten koitin aiemmin jo sanoa, niin itse ainakin toivoisin että nämä harrastelijatkin saataisiin jotenkin puskettua tuonne Quadrojen pariin, niin ehkä voisi olla pieni toivo, että pelikorttien hintoja saataisiin takaisin ruotuun.

En kyllä keksi mistä ne Stable Diffusionista kiinnostuneet perusjantterit, jotka haluaa järkevän hintaisen kortin sammakkomeemejä varten pieraisee nuo vaaditut Quadro-tonnit leipänsä päälle sen paremmin kuin pelaajatkaan.

Realistisempi toive olisi, että AMD ja Intel saisivat otettua ryhtiä touhuunsa ja seuraavan sukupolven julkkariin mennssä niiden raudalla olisi Windows taviksen yhtä helppo generoida anime waifuja kuin Nvidia raudallakin. Useampi varteenotettava vaihtoehto markkinoilla, terve kilpailu jne.

Jos ada ts. pelipiirit myis ai-käyttöön pitäisi sen näkyä pelipiirien myynnin lisääntymisenä.

Voin olla väärässä, mutta kuvittelisin, että Ada pohjaiset L40 ja L4 konesalikortit lasketaan myyntinumeroissa datacenter segmenttiin eikä gamingiin. Jos noin niin Adan menekkiä ei voi kovin luotettavasti arvioida gaming segmentin myyntilukemista.

 

[finWeazel]

En kyllä keksi mistä ne Stable Diffusionista kiinnostuneet perusjantterit, jotka haluaa järkevän hintaisen kortin sammakkomeemejä varten pieraisee nuo vaaditut Quadro-tonnit leipänsä päälle sen paremmin kuin pelaajatkaan.

Realistisempi toive olisi, että AMD ja Intel saisivat otettua ryhtiä touhuunsa ja seuraavan sukupolven julkkariin mennssä niiden raudalla olisi Windows taviksen yhtä helppo generoida anime waifuja kuin Nvidia raudallakin. Useampi varteenotettava vaihtoehto markkinoilla, terve kilpailu jne.


Voin olla väärässä, mutta kuvittelisin, että Ada pohjaiset L40 ja L4 konesalikortit lasketaan myyntinumeroissa datacenter segmenttiin eikä gamingiin. Jos noin niin Adan menekkiä ei voi kovin luotettavasti arvioida gaming segmentin myyntilukemista.

Kuka ostaa l40/l4? Onko isoja diilejä jossain julkistettu? Meta&co puhuu hopperista. Meta esim 350000 hopperia ostanut/ostaa tälle vuodelle. Meta yksinään 10miljardia latonut nvidian taskuun. Eivät puhu mitään ada pohjaisista. Hopperista myydään eioota, kun ei paketointikapasiteetti riitä. Ada pohjaisten diileistä ei näy missään isoja lööppejä.

microsoft, amazon, tesla jne. Kaikki puhuu miljardien hopper diileistä. Adaa ei mainittu missään.

Ylläolevan ymmärtää, kun ei ada taivu isojen kielimallien opettamiseen. Ada enemmän inferenssikortti. Inferenssi ei vielä iso juttu, iso juttu opetuspuolella tällä hetkellä.

 

[zepi]

En kyllä keksi mistä ne Stable Diffusionista kiinnostuneet perusjantterit, jotka haluaa järkevän hintaisen kortin sammakkomeemejä varten pieraisee nuo vaaditut Quadro-tonnit leipänsä päälle sen paremmin kuin pelaajatkaan.

Realistisempi toive olisi, että AMD ja Intel saisivat otettua ryhtiä touhuunsa ja seuraavan sukupolven julkkariin mennssä niiden raudalla olisi Windows taviksen yhtä helppo generoida anime waifuja kuin Nvidia raudallakin. Useampi varteenotettava vaihtoehto markkinoilla, terve kilpailu jne.

AMD:n pitäisi tosiaan änkeä jollain clamshell konfiguraatiolla paljon muistia johonkin korttiin ja katsoa, että kävisikö se kaupaksi, vaikkei se HBM-monstereille tietty pärjäisikään.

 

[AeshmA]

Kuka ostaa l40/l4? Onko isoja diilejä jossain julkistettu? Meta&co puhuu hopperista. Meta esim 350000 hopperia ostanut/ostaa tälle vuodelle. Meta yksinään 10miljardia latonut nvidian taskuun. Eivät puhu mitään ada pohjaisista. Hopperista myydään eioota, kun ei paketointikapasiteetti riitä. Ada pohjaisten diileistä ei näy missään isoja lööppejä.

microsoft, amazon, tesla jne. Kaikki puhuu miljardien hopper diileistä. Adaa ei mainittu missään.

Ylläolevan ymmärtää, kun ei ada taivu isojen kielimallien opettamiseen. Ada enemmän inferenssikortti. Inferenssi ei vielä iso juttu, iso juttu opetuspuolella tällä hetkellä.

Hämärtyy skaala, jos katsoo vain noita triljoonien dollareiden arvoisia yrityksiä (no Tesla ~600 miljardia), jotka voi pistää rahaa palamaan parhaaseen mitä on saatavilla ja sen raudan on sitten tarkoitus tahkota lisää rahaa.
Kyllä noita L40 mm. data-/pilvikeskuksiin menee, josta sitten kuka tahansa voi vuokrata virtuaalikoneen (kuten GPU Instance Pricing) tai pienempiin yrityksiin, jotka pyörittävät omia konesaleja.

 

[finWeazel]

Hämärtyy skaala, jos katsoo vain noita triljoonien dollareiden arvoisia yrityksiä (no Tesla ~600 miljardia), jotka voi pistää rahaa palamaan parhaaseen mitä on saatavilla ja sen raudan on sitten tarkoitus tahkota lisää rahaa.
Kyllä noita L40 mm. data-/pilvikeskuksiin menee, josta sitten kuka tahansa voi vuokrata virtuaalikoneen (kuten GPU Instance Pricing) tai pienempiin yrityksiin, jotka pyörittävät omia konesaleja.

Toki hämärtyy. Yritin vain tuoda esiin sitä, että 4090:en on ihan pisara meressä. Ei johdu konesaleista 4090:en huono saatavuus. Jos menis paljon 4090:sta jonnekin niin sen pitäis näkyä pelipuolen tuloksessa. Veikkaan ennemmin, että meni kiinaan ja kestää aikansa valmistaa uusia tuotteita. Tähän päälle pian tuleva 5090 niin paljonko edes kannattaa enää tehdä 4090:ia,... se mitä nyt jää myymättä 4090:ia purkautuu 5090:en ostamiseen.

noi l40/... kans pisara meressä versus hopper.

esimerkkinä chatgpt tason botin opettamiseen käytetään 10000+ hopperia. Noiden isojen kielimallien tunkkaaminen on mistä meta, openai, google jne. kisaavat. Zuckerberg eilen sanoi, että 10x enempi vaatii laskentatehoa nextgen mallit. 100000+ hopperia tai ehkä joku 20k-40k blackwellia?

 

[Halpuuttaja]

Kuka ostaa l40/l4? Onko isoja diilejä jossain julkistettu?

En tiedä, mutta mun ei tarvitse todistaa että niitä on myyty vaan sun tarvitsee todistaa, että niitä ei ole myyty jos haluat sanoa, että Adan myyntilukemat voi päätellä pelisegmentin liikevaihtoa tarkastelemalla.

AMD:n pitäisi tosiaan änkeä jollain clamshell konfiguraatiolla paljon muistia johonkin korttiin ja katsoa, että kävisikö se kaupaksi, vaikkei se HBM-monstereille tietty pärjäisikään.

Kuka ties, ehkä AMD katsoo, että tekoälyn open source yhteisössä on isosti potentiaalia ja haluavat aggressiivisesti kosiskella sitä devaamaan heidän raudalleen laittamalla markkinoille näyttiksen 48 Gt muistilla johonkin alle tonnin hintaan. Voittoja ei olisi tarkoitus nyhtää merkittävästi itse tuotteella vaan pyrkiä saamaan jalka kunnolla oven väliin nopeasti kasvavalle alalle ja niittää tuotot sitten pidemmällä aikavälillä. /hopium

 

[finWeazel]

En tiedä, mutta mun ei tarvitse todistaa että niitä on myyty vaan sun tarvitsee todistaa, että niitä ei ole myyty jos haluat sanoa, että Adan myyntilukemat voi päätellä pelisegmentin liikevaihtoa tarkastelemalla.

Laitoin vastauksen tähän ketjuun: Suurenpieni konesalitason AI-kiihdytinkeskustelu (AMD, Intel, Nvidia,...) Mahdolliset jatkot konesaliketjuun niin ei mene gddr7-ketju enempää pilalle?

 

[zepi]

Kuka ties, ehkä AMD katsoo, että tekoälyn open source yhteisössä on isosti potentiaalia ja haluavat aggressiivisesti kosiskella sitä devaamaan heidän raudalleen laittamalla markkinoille näyttiksen 48 Gt muistilla johonkin alle tonnin hintaan. Voittoja ei olisi tarkoitus nyhtää merkittävästi itse tuotteella vaan pyrkiä saamaan jalka kunnolla oven väliin nopeasti kasvavalle alalle ja niittää tuotot sitten pidemmällä aikavälillä. /hopium

No alle tonnilla ei ole mitään 48GB kortteja luvassa - mutta kun halvin nvidia tuon kokoisilla muisteilla maksaa luokkaa 4000€ tai enemmän, niin on siellä aukko mihin voisi sovittaa korttia.

Nyt harrastelijat ostavat 4000€ Apple-läppäreitä, kun se on halvin tapa saada 64GB näyttömuistia.

 

[ratkakapu]

Mikä on suorituskyvyn ja muistin suhde noissa AI hommissa? Eli olisiko joku teoreettinen 3060 tasoinen kortti 96 gigalla muistia aivan yliveto tuote, vai olisiko se liian tuhnu verrattuna johonkin RTX 4090 ja muistikapasiteetti menisi hukkaan?

Lähinnä mietin, että AMD:ltä huhuttu tälle tai ensivuodelle 16 ytimistä 40CU:n jättimäistä APU-piiriä, tuo olisi 20% enemmän näyttisytimiä kuin RX 7600 näyttiksessä. Tuollehan saisi emolevylle ainakin 128Gb muistia helposti/halvalla ja 256Gb myös ihan kauppojen hyllystä löytyvillä kammoilla, jos siis tulisi työpöydälle. Toki muistikaistaa ei niin hirveästi ole, varsinkaan kun nuo korkeamman kapasiteetin muistit tuppaavat olemaan vähän hitaampia kuin pelikoneisiin suunnatut 16 gigan kammat

 

[Halpuuttaja]

No alle tonnilla ei ole mitään 48GB kortteja luvassa - mutta kun halvin nvidia tuon kokoisilla muisteilla maksaa luokkaa 4000€ tai enemmän, niin on siellä aukko mihin voisi sovittaa korttia.

No juu, vähän kieltä oli poskessa tuossa.

Jos RDNA 4 ja Battlemage eivät laskentateholtaan ole kummoisia (vaikkapa AD103, Navi31 tasoisia) niin kovin korkealle ei voi hintaa nostaakaan. Molemmilla firmoilla tosin on Pro GPU sarjat, joten ehkäpä 48 Gt muistiset päätyy sinne jos mihinkään.

Mikä on suorituskyvyn ja muistin suhde noissa AI hommissa? Eli olisiko joku teoreettinen 3060 tasoinen kortti 96 gigalla muistia aivan yliveto tuote, vai olisiko se liian tuhnu verrattuna johonkin RTX 4090 ja muistikapasiteetti menisi hukkaan?

Lähinnä mietin, että AMD:ltä huhuttu tälle tai ensivuodelle 16 ytimistä 40CU:n jättimäistä APU-piiriä, tuo olisi 20% enemmän näyttisytimiä kuin RX 7600 näyttiksessä. Tuollehan saisi emolevylle ainakin 128Gb muistia helposti/halvalla ja 256Gb myös ihan kauppojen hyllystä löytyvillä kammoilla, jos siis tulisi työpöydälle. Toki muistikaistaa ei niin hirveästi ole, varsinkaan kun nuo korkeamman kapasiteetin muistit tuppaavat olemaan vähän hitaampia kuin pelikoneisiin suunnatut 16 gigan kammat

On balanssi tekoälyjuttuihin vähän viturallaan tuossa APU:ssa. Ison mallin sinne muistiin saa kyllä survottua, mutta generointi sitten hidasta kun kielimallit kaipaavat muistikaistaa. ~100 Gt/s on auttamattoman vähän. Stable Diffusionin kohdalla en tiedä miten tuo kaista rajoittaisi, mutta toisaalta se ei kaipaa muistikapasiteettia kovinkaan ahneesti.

3060:n 360 Gt/s riittäisi jo selvästi pidemmälle, jos sen muistiin saisi mahtumaan esim. Mixtral 8x7B:n 6-bittisen (käytännössä häviöttömän) kvantin niin generoisi tekstiä varmaankin nopeammin kuin ihminen lukee. Verrokiksi 3090:n muistiin mahtuu Mixtralista vain n. 3,5-bittinen, jo selvästi häviöllinen kvantti ja se generoi ~70 tokenia/s, eli kymmenisen kertaa nopeammin kuin ihminen lukee. Mixtral on vähän ääritapaus siinä kuinka paljon vaatii muistia vs kuinka kevyttä generointi on.

(Sorry OT:sta)