NVIDIA julkaisi H200-kiihdyttimen ja uusia Grace Hopper GH200 -alustoja

[Kaotik]

Kaotik kirjoitti uutisen/artikkelin:
NVIDIA on muiden alan jättien tavoin vahvasti läsnä parhaillaan käynnissä olevassa SC23-konferenssissa. Yhtiö on julkaissut tapahtumassa muun muassa virallisesti uuden H200-laskentapiirin ja siihen perustuvia palvelinkokonaisuuksia datakeskuskäyttöön.



H200:n ytimessä on siruna vanha tuttu GH100, joka on käytössä myös esimerkiksi H100-kiihdyttimissä ja Grace Hopper GH200 -superpiirissä. Piiristä löytyy tällä tietoa edelleen samat 16896 FP32 CUDA-ydintä, 528 tensoriydintä, 1,83 GHz:n Boost-kellotaajuus ja 700 watin TDP SXM5-formaatissa.

Uutta löytyy niiden sijasta muistipuolelta. H200:ssa on otettu käyttöön paitsi aiemmin käytöstä poistettu kuudes HBM-muistiohjain, myös uudet nopeammat HBM3E-muistit. Uudet muistit toimivat noin 6,5 Gbps:n nopeudella ja 6144-bittisen muistiväylän jatkeena se tarkoittaa 4,8 Tt/s muistikaistaa. H100:ssa oli käytössä 5120-bittinen muistiväylä 5,24 Gbps:n HBM3-muisteilla, mikä tuotti 3,35 Tt/s muistikaistaa. Muistia on luonnollisesti nyt myös käytössä aiempaa enemmän. H100:ssa oli käytössä viisi 16 Gt:n HBM3-pinoa eli 80 Gt muistia, kun H200:ssa on kuusi 24 Gt:n HBM3E-pinoa. Lyhyemmällä matematiikalla muistia olisi siis 144 Gt, mutta siitä on saantojen parantamiseksi napattu 3 Gt sivuun eli käyttöön jää 141 Gt muistia.

H200:n myötä julkaistiin myös uusi HGX H200 -paketti, joka yhdistää kahdeksan H200-kiihdytintä yhteen pakettiin yhdistettäväksi sopivaan palvelinalustaan. HGX H200 on suoraan yhteensopiva nykyisten HGX H100 -järjestelmien kanssa, eli valmistaja voi päivittää kätevästi pelkän H200-kiihdytinpatteriston koko palvelimen sijasta.

[gallery link="file" columns="2" size="medium" ids="92183,92184"]

Lisäksi NVIDIA kertoi uudesta Quad GH200:sta, joka yhdistää neljä Grace Hopper GH200 -superpiiriä yhdelle piirilevylle. Vaikka Grace-prosessoreiden voisi olettaa mahdollistavan Quad GH200:n käytön sellaisenaan, se vaatii kaverikseen palvelinisännän.

Yhtiö kertoi myös EuroHPC:n tilaamasta Jupiter-supertietokoneesta, joka tulee sisältämään yhteensä 23 762 GH200-noodia. Supertietokoneessa hyödynnetään nimenomaan Quad GH200:sta ja Quantum-2 InfiniBand -verkkoa, mutta muut yksityiskohdat kuten isäntäpalvelimet jäivät vielä hämärän peittoon. Evidenin ja ParTecin toteuttamasta supertietokoneesta tulee valmistuessaan tähän mennessä suurin Hopper-arkkitehtuuriin perustuva supertietokone.



Mukaan saatiin mahtumaan myös kiusoittelua tulevaisuuden suorituskyvystä. NVIDIAn kaavion mukaan ensi vuonna julkaistava Blackwell arkkitehtuuri ja siihen perustuva BH100 tulee olemaan GPT3-175B LLM-mallin päättelytehtävissä (Inference) yli kaksi kertaa niin nopea, kuin nykyinen H200.

Lähde: NVIDIA (1), (2)

Linkki alkuperäiseen juttuun

 

[finWeazel]

Ihan älytöntä ajatella miten isoja supertietokoneita manifestoituu kuin sieniä sateella. Teslalla 10000 hopper ja vajaa 10000 a100 supertietokoneet, openai:lla iso mylly microsoftin tarjoamana, nvidialla sisäiseen käyttöön 10752grace hopper mylly(eos) jne.

Ilmeisesti teslan 10000 hopper gpu supertietokone maksoi jotain 500Me. Jupiter taitaa olla jo yli miljardin investointi

Nvidian EOS:sta juttua. Käyttivät tuota mlperf tulosten murskaamiseen

The GH200 will be used in "40+ AI supercomputers across global research centers, system makers and cloud providers," the company said, including from Dell, Eviden, Hewlett Packard Enterprise (HPE), Lenovo, QCT and Supermicro. Notable among those is HPE's Cray EX2500 supercomputers that will use quad GH200s, scaling up to tens of thousands of Grace Hopper Superchip nodes.

Eos represents an enormous amount of compute. It leverages 10,752 GPUs strung together using NVIDIA's Infiniband networking (moving a petabyte of data a second) and 860 terabytes of high bandwidth memory (36PB/sec aggregate bandwidth and 1.1PB sec interconnected) to deliver 40 exaflops of AI processing power

NVIDIA's Eos supercomputer just broke its own AI training benchmark record

NVIDIA's new Eos supercomputer uses more than 10,000 H100 Tensor Core GPUs to train a 175 billion-parameter GPT-3 model in under four minutes.

www.engadget.com

 

[Raparipa]

[/snip]Jupiter taitaa olla jo yli miljardin investointi...

Tiedä mihin nousee muine kilkkeineen (infra etc)..

"JUPITER is co-funded with an expected total budget of EUR 273 000 000 for the acquisition, delivery, installation and maintenance of JUPITER."

Procurement contract for JUPITER, the first European exascale supercomputer, is signed

The procurement contract for JUPITER, the first EuroHPC exascale supercomputer, has been signed by the European High Performance Computing Joint Undertaking (EuroHPC JU) and a consortium comprising of Eviden and ParTec.

eurohpc-ju.europa.eu

 

[finWeazel]

Tiedä mihin nousee muine kilkkeineen (infra etc)..

"JUPITER is co-funded with an expected total budget of EUR 273 000 000 for the acquisition, delivery, installation and maintenance of JUPITER."

Procurement contract for JUPITER, the first European exascale supercomputer, is signed

The procurement contract for JUPITER, the first EuroHPC exascale supercomputer, has been signed by the European High Performance Computing Joint Undertaking (EuroHPC JU) and a consortium comprising of Eviden and ParTec.

eurohpc-ju.europa.eu

Yllättävän halpa versus huhut mitä pienemmätkin koneet ovat maksaneet. Tai huhut hinnoista väärässä. Voi toki olla, että nvidia myynyt halvemmalla jostain strategisesta syystä johtuen tai, että hinta paisuu yli budjetista.

 

[finWeazel]

Tuliskohan hinta alaspäin, kun jonkinlainen kustom ratkaisu/karsittu jotain ehkä pois versus asennukset mitä mennyt kaupaksi aikaisemmin? CPU:na mulle tuntematon SiPearl Rhea. Mitenkähän jupiterin verkkopuoli, nvlinkit jne?

Procurement contract for JUPITER, the first European exascale supercomputer, is signed

The procurement contract for JUPITER, the first EuroHPC exascale supercomputer, has been signed by the European High Performance Computing Joint Undertaking (EuroHPC JU) and a consortium comprising of Eviden and ParTec.

eurohpc-ju.europa.eu

 

[jive]

CPU:na mulle tuntematon SiPearl Rhea.

Kalskahtaa vahvasti RISC-V raudalta mutta tiedä häntä. Perinteisesti EUn isot projektit nojaa vahvasti avoimiin ratkaisuihin.

 

[Kaotik]

Kalskahtaa vahvasti RISC-V raudalta mutta tiedä häntä. Perinteisesti EUn isot projektit nojaa vahvasti avoimiin ratkaisuihin.

Armiin perustuu.

 

[hsalonen]

Kalskahtaa vahvasti RISC-V raudalta mutta tiedä häntä. Perinteisesti EUn isot projektit nojaa vahvasti avoimiin ratkaisuihin.

Ei niitä kannata downgradeta sen takia, että pääsee käyttämään parin yliopiston huviprojektia. Ei RISC-V:tä näy kaupallisessa käytössä kuin vähävirtaisissa alle $10 piireissä.

 

[finWeazel]

Ei niitä kannata downgradeta sen takia, että pääsee käyttämään parin yliopiston huviprojektia. Ei RISC-V:tä näy kaupallisessa käytössä kuin vähävirtaisissa alle $10 piireissä.

Tenstorrentilta on tulossa tehokkaampaa risc-v prosessoria. Jim keller tenstorrentin ruorissa. Tenstorrent aikoo lahjoittaa paljon takaisin open sourceen

High-Performance RISC-V Processor for Computation Acceleration and Server w/ Wei-han Lien

“Introducing Tenstorrent’s high performance #riscv processor Ascalon, the disruptive high-performance processor for AI and server with the best performance and power efficiency.

tenstorrent.com

 

[jive]

Armiin perustuu.

Olisiko lähdettä koska EPI tuolla mainitaan?

 

[jive]

Ei niitä kannata downgradeta sen takia, että pääsee käyttämään parin yliopiston huviprojektia. Ei RISC-V:tä näy kaupallisessa käytössä kuin vähävirtaisissa alle $10 piireissä.

EuroHPC ei ole kaupallinen projekti. CERNin LHC pyörii OHW kamojen päällä. Yliopiston hupiprojektista on saanut alkunsa myös BSD, Linux ja ARM..

 

[Kaotik]

Olisiko lähdettä koska EPI tuolla mainitaan?

Vaikka General Purpose Processor Archives - European Processor Initiative
RISC-V:tä käytetään kiihdyttimissä mutta prossuytimet on Armin Neoverse V1:siä