NVIDIA julkisti Grace Hopper GH200 Superchip HBM3e -palvelinalustan

[Kaotik]

Kaotik kirjoitti uutisen/artikkelin:
NVIDIAn nahkatakkinen toimitusjohtaja Jensen Huang on pitänyt keynote-esityksensä SIGGRAPH-tapahtumassa. SIGGRAPHista ei irronnut kuluttajille juurikaan uutisia, mutta palvelinpuolelle tuli uutta.

NVIDIA julkaisi tapahtumassa uuden version Grace Hopper Superchip -alustastaan. Uusi GH200 Grace Hopper perustuu edeltäjänsä tavoin Grace-prosessoriin ja GH100-laskentapiiriin. Grace on varustettu tuttuun tapaan 72 Arm Neoverse V2 -ytimellä ja sen parina on edelleen 480 Gt LPDDR5X-muistia ECC tuella. GH200 on niin ikään tuttua kauraa 132 SM-yksiköllään.

Uutta GH200:ssa on Hopperin parina olevat HBM3e-muistit. Aiemmissa malleissa laskentapiirin tukena oli 96 Gt HBM3-muistia, josta 94 Gt oli käytettävissä, mutta uudessa versiossa on käytössä 24 Gt:n HBM3e-pinot, joten muistia 6144-bittisellä muistiväylällä on yhteensä 144 Gt, josta 141 Gt on käytettävissä. Yhtiön mukaan uudet HBM3e-muistit ovat jopa 50 % nykyisiä HBM3-muisteja nopeampia, mutta raakojen lukujen valossa ero on pienempi; 96 Gt:n mallilla muistikaistaa oli 3,9 Tt/s, kun nyt sitä on 5 Tt/s.

NVIDIA markkinoi ensisijaisesti kahden GH200:n konfiguraatiota, joka tarjoaa yhtiön mukaan jopa kolminkertaisesti muistikaistaa nykysukupolven verrokkiin nähden, vaikkei raa’at tekniset ominaisuudet moista lupaakaan. Piirien kerrotaan kykenevän käsittelemään jopa 3,5-kertaa niin suuria tekoälymalleja, kuin nykyversio.

NVIDIAn Grace Hopper GH200 HBM3 -version toimitukset ovat käynnissä parhaillaan. Uuden HBM3e-version luvataan olevan täysin yhteensopiva ainakin NVIDIAn MGX-palvelinalustan kanssa, joten päivitykset nykypalvelimiin ovat mutkattomia. NVIDIAn mukaan se odottaa kumppaneidensa kykenevän aloittamaan GH200 HBM3e -palvelinten toimittamisen ensi vuoden toisella neljänneksellä.

Lähde: NVIDIA

Linkki alkuperäiseen juttuun

 

[finWeazel]

Kiinnostavin gh200 konffi taitaa olla 2xgh200 "inferenssi" serveri. Tarjoaa tuplaresurssit jotka on kytketty yhteen nvlink:lla. Tuplattu koherentti suhteellisen nopea muistiavaruus iso juttu, kun mietitään erittäin isoja kielimalleja ja inferenssi-kuormia? GPU:ta menee sairaan paljon kaupaksi, jos google haut, nettiostokset yms. menee ensin kielimallin läpi rapsutellen parempia vastauksia käyttäjälle.

ada-työasemat oli kans ihan mielenkiintoinen lisä. Kai noita 4xada workstation boxeja joku ostaa?

NVIDIA introduces RTX 5000 with 32GB memory, RTX 4500 24GB and RTX 4000 20GB ADA workstation series - VideoCardz.com

NVIDIA RTX 5000, RTX 4500, RTX 4000 get ADA update Three new workstation GPUs from NVIDIA. NVIDIA RTX 4500 ADA NVIDIA’s highly anticipated update to its workstation series has finally arrived, introducing three new models to the lineup. Leading the pack is the RTX 5000, which boasts the ADA...

videocardz.com

 

[Raparipa]

Ihan mielenkiintoinen Linkki koskien AI piirien markkinoita, haasteita ja tulevaisuusnäkymiä. Kysyntää ihan jäätäville määrille piirejä, ja mielenkiintoista nähdä miten Kiina (tai pienemmät valtiot) pysyy AI kehityksen kelkassa koska puutteelliset mahdollisuudet saada hommattua tarvittavaa määrää laskentaa.

 

[finWeazel]

Ihan mielenkiintoinen Linkki koskien AI piirien markkinoita, haasteita ja tulevaisuusnäkymiä. Kysyntää ihan jäätäville määrille piirejä, ja mielenkiintoista nähdä miten Kiina (tai pienemmät valtiot) pysyy AI kehityksen kelkassa koska puutteelliset mahdollisuudet saada hommattua tarvittavaa määrää laskentaa.

Ihan jäätäviä määriä ostaa kiinalaiset firmat gpu:ta. Varmaan yksittäinenkin lafka alle linkatusta olis top1 maailman supertietokonelistalla, jos ostetut gpu:t(+cpu:t) laitettaisiin yhteen konesaliin.

Baidu, TikTok-owner ByteDance, Tencent and Alibaba have made orders worth $1 billion to acquire about 100,000 A800 processors from the U.S. chipmaker to be delivered this year, the FT reported, citing multiple people familiar with the matter.

The Chinese groups had also purchased a further $4 billion worth of graphics processing units to be delivered in 2024, according to the report.

China's internet giants order $5 billion of Nvidia chips to power AI ambitions -FT

(Reuters) -China's internet giants are rushing to acquire high-performance Nvidia chips vital for building generative artificial intelligence systems, making orders worth $5 billion, the Financial Times reported on Wednesday. Baidu, TikTok-owner ByteDance, Tencent and Alibaba have made orders...

finance.yahoo.com

OpenAI:lla taitaa olla noin 16000 grace hopperin klusteri mitä käyttävät seuraavan generaation kielimallin opettamiseen.

 

[finWeazel]

Mikähän vois mennä pieleen? Startup osti maksimit nvidian hopperia riskirahalla. Ostoksen jälkeen hoppereita vastaan miljardilainat ja lisää hopperia ostoon. Kova on usko AI boomin jatkumiseen tuolla yrityksellä.

CoreWeave, a cloud computing startup backed by Nvidia and Magnetar Capital, has secured a $2.3 billion debt facility using Nvidia’s sought-after H100 GPUs as collateral. The company intends to use that money to purchase more high-end chips, among other things.

How to get your startup a loan with one easy computer part

Exciting new ways to finance your startup: using the chips you already own.

www.theverge.com