Suurenpieni konesalitason AI-kiihdytinkeskustelu (AMD, Intel, Nvidia,...)

[finWeazel]

Aika mielenkiintoinen ja haastava kokonaisuus kuitenkin kaikille pelureille pallotella. Muistia riittää vain rajallisesti vaikka kaikki kapasiteetti on jo varattu, joten minkä verran mitäkin sukupolvea on järkevä valmistaa? Uutta räkkiä joka on vähintään tuplat tehokkaampi kuin vanha, tulee melkein vuoden välein. Eli ei kannata ostaa todellakaan 4milliä / kpl räkkejä kuukausiksi odottamaan että konesali-infra+ sähkön saatavuus valmistuu jne.

Eiköhän ne osaa sen verran rakentaa valmistuslinjoja kuin osia riittää. Perus hankinta ja valmistusketjujen hallintaa joskin giganttisella skaalalla. Nvidia on hyvä esimerkki tästä. Näkee miten melkein lineaarisesti konesalipuolen tulos kasvanut kvartaalista toiseen. Kysyntää enemmän kuin tarjontaa. Näkee lineaarisesta liikevaihdon kasvusta millä vauhdilla tuotantokapasiteettia saatu lisättyä kvartaalista toiseen. Blackwell epäjatkuvuuskohta kun räkin hinta lähes tuplaantui niin saadaan samastakin voluumista enemmän liikevaihtoa. vera-rubin lienee myös epäjatkuvuuskohta kun räkin hinta pompsahtaa taas ylöspäin.


Googlesta. Googlella kai päitä tippui kun muistipiirejä ei oltu tajuttu tilata etukäteen tarpeeksi. Google rakentaa melko valtavia määriä tpu:ta.

According to the report, Google’s TPU will enter its eighth generation in 2026, with mass production set to begin in Q3 on TSMC’s 3nm node. Production volume is expected to reach 5 million units in 2027 and rise further to 7 million in 2028, the report suggests, adding both Broadcom and MediaTek, as ASIC partners, are actively preparing capacity to meet the demand.

[News] Google Led TPU Innovation with Patent Spike; Broadcom, MediaTek Reportedly Boost Reserved Wafers

As Google intensifies its push for Tensor Processing Units (TPUs), aiming to secure more orders from major tech players, the company’s R&D efforts...

www.trendforce.com

Potkuista googlella:

Microsoft Rages, Google Fires Exec: The "War" For AI Memory Explodes

The ongoing HBM shortage is forcing Google and Microsoft to prostrate themselves at the altars of Samsung, SK hynix, and Micron.

wccftech.com

 

[weetabix]

Kovasti joo höpötetään että kysyntää enemmän kuin tarjontaa, mutta sitten joku Intel istuskelee niiden AI kiihdyttimiensä päällä kun ei saada niitä käyttöön. Toisekseen jos muistia on kolme kertaa enemmän niin veikkaan että hinta nousee 10x lukemiin nykymenolla.

 

[finWeazel]

Kovasti joo höpötetään että kysyntää enemmän kuin tarjontaa, mutta sitten joku Intel istuskelee niiden AI kiihdyttimiensä päällä kun ei saada niitä käyttöön. Toisekseen jos muistia on kolme kertaa enemmän niin veikkaan että hinta nousee 10x lukemiin nykymenolla.

Intelillä ei ole kilpailukykyisiä kiihdyttimiä. AMD:n nykyiset kiihdyttimet eivät skaalaannu yli 8GPU kuormiin. AMD korjaa tilanteen helios räkillä kera mi450:en. 72gpu:ta räkissä ja nopea+joustava verkko niiden välissä. Se kolmas juttu että pelkkä kiihdytin ei riitä vaan pitää olla myös softa joka skaalaa konesalikokoon. Aika on rahaa, konesalin pitää toimia heti, ei ole aikaa odotella 6kk, 12kk että softa valmistuu. AMD ja OpenAI teki diilin paljon etukäteen, että saavat softan ja mallit optimoitua etukäteen ennen kuin koko konesalia on olemassa.

--

Nvidia alleviivaa mun yrittämää pointtia hankinta ja valmistusketjusta. Miksi nvidiaan ei vaikuta yhtä pahasti muisti yms. pula kuin moneen muuhun

Question: Wells Fargo: Supply chain variables seem numerous—1) DRAM pricing, 2) available supply volumes, etc. Please explain.

we prepared for this kind of major ramp-up with partners well in advance. We invested heavily in partners, much of it in the form of prepayments, enabling them to expand capacity. Thanks to long-standing relationships, we believe we are in a strong position.

We are essentially the only semiconductor company in the world that directly purchases DRAM at global scale. People ask, "Why buy DRAM?" The reason is simple: transforming that DRAM into CoWoS supercomputers is extraordinarily difficult. Properly connecting that supply chain like "plumbing" is a major advantage for us. In tight situations like now, having this capability is also fortunate.

NVIDIA Reveals Why the Company Is “Immune” to Memory Shortages — and How The Firm Prepaid Inventory to Keep the AI Boom Running

NVIDIA has responded to the ongoing memory shortages and how the company has positioned itself to ensure that Team Green doesn't compromise.

wccftech.com

 

[finWeazel]

Vera-Rubinin vesijäähdytyksessä käytettävä 45C asteinen vesi mielenkiintoinen asia mikä monelta uutisoijalta mennyt ohi. Säästää valtavasti sähköä kun vettä ei tarvi jäähdyttää jonnekin 10C tienoille. Joka puolelta tuota virrankulutusta yritetään viilata pienemmäksi ja silti vuosi vuodelta konesalit syövät entistä enemmän virtaa.

Vera Rubin NVL72 systems instead use warm-water, single-phase direct liquid cooling (DLC) with a 45-degree Celsius supply temperature

Toinen mielenkiintoinen juttu räkkitasolla toteutettu virrankulutuksen "tasoittaminen". Virrankulutus voi piikata todella paljon kun kuorma konesalissa muuttuu ja tämä voi johtaa jopa sähköverkon romahtamiseen. Tän takia esim. meta joissain konesaleissa ajanut idle-loopissa gpu:ta isolla kuormalla ettei virrankulutus vaihtelisi ja toisaalta xAI käyttää isoja akustoja tasaamaan piikkejä

At the rack level, Vera Rubin NVL72 evens out power swings with power smoothing and incorporates approximately 6x more local energy buffering than Blackwell Ultra, absorbing rapid power transients directly at the source.

Liikenne kaikkien linkkien, väylien, kiihdyttimien yms. osalta salattua. Ratkaisu mahdollistaa "on prem" kaltaisia ratkaisuja missä koneet ovat kuitenkin pilvessä. Mistään välistä ei pääse lukemaan/ryöstämään dataa.

FP64 matriisioperaatioita emuloidaan ajamalla useita iteraatiota pienemmän tarkkuuden laskentayksiköillä

With Blackwell and now Rubin, NVIDIA has evolved this strategy, achieving high FP64 matrix throughput through multiple passes over lower-precision execution units while preserving architectural flexibility for converged workloads.

Linkinpäässä dokumentti missä on paljon jännää tietoa.

Inside the NVIDIA Rubin Platform: Six New Chips, One AI Supercomputer | NVIDIA Technical Blog

AI has entered an industrial phase. What began as systems performing discrete AI model training and human-facing inference has evolved into always-on AI factories that continuously convert power…

developer.nvidia.com