NAND- ja DRAM-muistimarkkinoilla odotetaan pahaa piiripulaa tuleviksi vuosiksi

[Kaotik]

NAND-puolella pulan takaa löytyy vähentyneet investoinnit tuotantokapasiteettiin ja palvelinten siirtyminen SSD-aikaan, kun DRAM-puolella OpenAI:n Stargate-projektin odotetaan haukkaavan jopa 40 % koko maailman DRAM-tuotannosta pitkäksi aikaa.

Parhaillaan käynnissä oleva tekoälybuumi on nostanut NVIDIAn arvon nopeasti maailman arvokkaimmaksi yritykseksi. Pian buumin vaikutus alkaa näkyä merkittävästi myös muistimarkkinoilla, mikäli viimeaikaisiin raportteihin ja lausuntoihin on uskominen.

NAND-teknologioihin ja ohjainpiireihin erikoistuneen Phisonin toimitusjohtaja Pua Khein-Seng on kertonut haastattelussa, että ensi vuodelle povattu pula NAND Flash -piireistä tulee kestämään jopa kymmenen vuoden ajan. Pulan takana on paitsi tekoälymarkkinoiden kysyntä, myös muistivalmistajien viimeaikaiset ratkaisut.

Khein-Sengin mukaan aiemmin NAND-valmistajien investoinnit tuotantoon olivat usein jopa tappiollisia, koska lisäkapasiteetti tarkoitti samalla hintojen romahdusta. Tämä on johtanut investointien hidastumiseen ja myöhemmin Micronin ja SK Hynixin kohdalla panostuksen uudelleen ohjaamiseen DRAM-puolelle täyttämään tehokkaiden laskentapiirien vaatimaan HBM-muistin tarvetta.

Nyt NAND-piirien kysyntä on noussut nopeasti korkealle tasolle, kun palvelimissa siirrytään enenevissä määrin kiintolevyistä SSD-asemiin. Tämä on TrendForcen raportin mukaan johtanut hintojen jäädyttämiseen tai nostamiseen kaikissa NAND-piirejä hyödyntävissä tuotekategorioissa ainakin SanDiskin, Micronin ja Western Digitalin osalta. Koska tuotantokapasiteettiin ei ole myöskään investoitu merkittävästi, johtaa korkea kysyntä ennusteiden mukaan merkittävään muistipulaan.

Myös DRAM-puolella tilanne näyttää kuluttajien kannalta synkältä. Reutersin raportin mukaan OpenAI on lyönyt lukkoon sopimukset Samsungin ja SK Hynixin kanssa muistien toimituksista sen Stargate-tekoälypalvelinprojektiin.

Projektin muistivaatimukset ovat niin massiivisia, että Bloombergin mukaan valmistajat tulevat toimittamaan valmiiden piirien sijasta OpenAI:lle suoraan leikkaamattomia piikiekkoja täynnä muistipiirejä. OpenAI:n huhutaan tarvitsevan jopa 900 000 DRAM-piikiekkoa kuukaudessa, kunnes Stargate-projekti on valmis.

TechInsightsin arvion mukaan koko maailman tuotantokapasiteetti olisi noin 10 miljoonaa piikiekon aloitusta per kuukausi, josta erilaisten DRAM-piirien osuus olisi ollut vuonna 2024 22 % eli reilut 2 miljoonaa kiekkoa. Sen odotetaan kasvavan tänä vuonna noin 2,25 miljoonaan kiekkoon, josta OpenAI olisi haukkaamassa jopa 40 %.

Lähteet: Tom’s Hardware (1), (2)

 

[Joku_242]

Just kun mietin että Mustana Perjantaina vois katella SSD-tarjouksia.

 

[finWeazel]

Micron melkein myynyt jo koko 2026 HBM-tuotantonsa. Mitä seurannut ai-kiihdytinpiirejä/konesalia niin yleinen väite on hbm-muistien olevan rajoite ai-piirituotannolle. Monet startupit kertovat että yksi heidän eduistaan olevan että käyttävät halvempaa ja paremmin saatavilla olevaa bulkkimuistia.

Micron close to selling all the HBM it will make next year

: High demand and DRAM shortages send margins soaring

www.theregister.com

OpenAI teki oman ihan jättimäisen diilin hbm-muisteista. Näitä diilin muisteja varmaan käytetään omissa, amd, nvidia jne. kiihdyttimissä mitä openai rakentaa/ostaa. Pystyvät kiertämään sen rajoitteen jos piirintekijä X sanoo että voivat toimittaa vain y-kappaletta piiriä kun muisteja puuttuu. OpenAI voi tarjota muistit,...

The San Francisco-based company, the creator of generative AI ChatGPT, has requested volumes equivalent to as many as 900,000 wafers a month, more than twice the current global production capacity.

Samsung, SK Hynix join OpenAI’s $500 bn Stargate project with HBM supply pacts - KED Global

Samsung Electronics Co. and SK Hynix Inc., the world’s two largest memory chipmakers, have agreed to strengthen collaboration with OpenAI Inc., positioni

www.kedglobal.com

 

[IcePen]

Justiin kun pelitietokoneet on siirtymässä DDR6 muisteihin tulee tämmöinen paha hintapiikki muutenkin kalliiden uusien muistimallien hintoihin.

 

[Kaotik]

Justiin kun pelitietokoneet on siirtymässä DDR6 muisteihin tulee tämmöinen paha hintapiikki muutenkin kalliiden uusien muistimallien hintoihin.

No ei se 2027 mitä aikaisintaan odotellaan DDR6:lle kyllä ihan justiinsa vielä ole, ja silloinkin ensin palvelimiin. En ole yllättynyt jos on 2028 kun kuluttaja-alustoille tulee.

 

[IcePen]

No ei se 2027 mitä aikaisintaan odotellaan DDR6:lle kyllä ihan justiinsa vielä ole, ja silloinkin ensin palvelimiin. En ole yllättynyt jos on 2028 kun kuluttaja-alustoille tulee.

Sun oma otsikko sanoo

NAND- ja DRAM-muistimarkkinoilla odotetaan pahaa piiripulaa tuleviksi vuosiksi​

Niin että oman väittämäsi perusteella nämä menee päällekkäin.

Tuo OpenAI:n projekti on vain yksi samaan aikaan on muita isoja projekteja syömässä muisteje toki OpenAI on visiin isoin.

 

[finWeazel]

Uskon, että yksi syy nvidian rubin cpx gddr7 128GB muistia käyttäville ai-inferenssipiirille on hbm-muistien saatavuus ja hinta. Realiteetti pakottaa keksimään keinoja siirtää AI-kuormaa halvemmille, pienemmille ja helpommin valmistettaville teknologioille. En ylläty jos amd myös julkaisee konesalipuolelle ratkaisua missä käytetään gddr7 muistia käyttävää apupiiriä. prefilliin gddr7 muistia ja decode vaiheeseen hbm-muistia.

Only with hardware specialized to the very different phases of inference, prefill and decode, can disaggregated serving achieve its full potential.

Because the prefill stage during inference tends to heavily utilize compute (FLOPS) and only lightly use memory bandwidth, running prefill on a chip with lots of expensive HBM featuring very high memory bandwidth is a waste.

Another Giant Leap: The Rubin CPX Specialized Accelerator & Rack

Nvidia announced the Rubin CPX, a solution that is specifically designed to be optimized for the prefill phase, with the single-die Rubin CPX heavily emphasizing compute FLOPS over memory bandwidth…

semianalysis.com

Niin tai näin niin hintatietoinen asiakas tuskin ostaa ddr6-muisteja julkaisussa. Olihan ne ddr4 ja ddr5 muistit aika pitkään kalliita kuluttajan kannalta. Vaikka ei olisi hbm-boomia niin en usko että ddr6 muistit olisivat "Järkihintaisia" julkaisuaikaikkunassa, hintatietoinen joutuu odotteleen vuoden/kaksi.

 

[IcePen]

...
Niin tai näin niin hintatietoinen asiakas tuskin ostaa ddr6-muisteja julkaisussa. Olihan ne ddr4 ja ddr5 muistit aika pitkään kalliita kuluttajan kannalta. Vaikka ei olisi hbm-boomia niin en usko että ddr6 muistit olisivat "Järkihintaisia" julkaisuaikaikkunassa, hintatietoinen joutuu odotteleen vuoden/kaksi.

Se vaan että sekä HBM että normaali Dram syö samaa piikiekko kapasiteettia niin että eiköhän niidenkin hinnat ala kivuta.

 

[aleksejjj]

Harmillisen kriisintäyteinen ala tämä tietotekniikka. Saapa nähdä miten tämä vaikuttaa seuraavan sukupolven konsolien hintaan ja saatavuuteen.

 

[finWeazel]

Se vaan että sekä HBM että normaali Dram syö samaa piikiekko kapasiteettia niin että eiköhän niidenkin hinnat ala kivuta.

Varmasti hinnat kipuaa kun kapasiteetista pulaa. AI-konesalin kannalta saat enemmän tuotetta hyllyyn kun inferenssipuolella prefill kuorman ajat 128GB gddr7 muistilla versus että sama kuorma ajettaisiin 2x-3x isomman HBM-muistin omaavalla kortilla. Samasta piikiekkomäärästä enempi tuotetta konesaliin kun osan tarpeesta saa katettua gddr7:lla sen sijaan että käytettäisiin vain hbm-muistia. Ilmeisesti ainakin nvidialla pullonkaula HBM-muistit eikä AI-piirituotanto. Jos olisi enemmän muistipiirejä tarjolla saisivat enemmän tuotetta hyllylle.

Kun konesali alkaa imemään noita GDDR7 muisteja niin varmasti heijastuu jollain tapaa pelikortteihin. Toisaalta isompi voluumi muistinvalmistusta teoriassa pudottaa hintaa, toisaalta isompi kysyntä nostaa hintaa.

rubin cpx julkaistu speksi antaisi olettaa, että 2026 loppupuolella on tulossa vielä julkaisematon 4GB gddr7 piiri. En tajua miten nvidia saisi 128GB muistin 512bit muistiväylälle ilman 4GB piirejä.