AMD julkaisi Instinct MI300X -kiihdyttimen ja MI300A -APU-piirin

Kaotik

Banhammer
Ylläpidon jäsen
Liittynyt
14.10.2016
Viestejä
22 603
amd-instinct-mi300-family-20231208.jpg


Kaotik kirjoitti uutisen/artikkelin:
AMD on pitänyt Advancing AI -julkaisutapahtuman, jossa nähtiin kuluttajillekin uudet Ryzen 8040 -prosessorit. Tapahtuman päätähdet olivat kuitenkin palvelinmaailman uudet Instinct-sarjan kiihdyttimet.

AMD julkaisi, kuten ennakkotiedoista jo tiedettiinkin, kerralla kaksi uutta Instinctiä. Instinct MI300X on yhtiön uusi lippulaivatason kiihdytin sekä HPC- että tekoälytehtäviin, kun Instinct MI300A on maailman ensimmäinen datakeskus-APU-piiri. Molemmat perustuvat samaan perusrakenteeseen ja erot löytyvät muisteista sekä laskentapiireistä. Standardiin OAM-formaattiin "3.5D-paketoidut" piirit valmistetaan TSMC:n 6 ja 5 nanometrin luokan prosesseilla.

[gallery link="file" columns="2" size="medium" ids="92650,92649"]

Instinct MI300X on varustettu yhteensä kahdeksalla XCD-sirulla, joista kustakin löytyy aktiivisena 38 eli yhteensä 304 CDNA3 Compute Unit -yksikköä tai 19 456 stream-prosessoria. XCD:t istuvat neljän I/O-sirun päällä, joista kukin on varustettu kahdella 1024-bittisellä HBM3-muistiohjaimella sekä 64 Mt:n Infinity Cache -välimuistilla ja joukolla 4. sukupolven Infinity Fabric -linkkejä. HBM3-muistipinoja on yhteensä kahdeksan ja ne ovat kukin 12-kerroksisia, eli käytössä on yhteensä 192 Gt muistia ja noin 5,3 Tt muistikaistaa.

[gallery link="file" columns="2" size="medium" ids="92647,92646"]

Instinct MI300A on puolestaan tiputtanut kyydistä kaksi XCD-sirua ja korvannut ne kolmella Zen 4 CCD-sirulla, joissa on yhteensä 24 ydintä. Kuuden XCD:n voimin Compute Unit -yksikköjä on 228 ja stream-prosessoreita 14 592. IO-sirut ovat ennallaan, mutta HBM-pinot ovat vain 8-kerroksisia, eli HBM3-muistia on käytössä vain 128 Gt. MI300A:n XCD:t ja CCD:t jakavat yhteisen muistiavaruuden Infinity Cache -välimuisteineen.

[gallery link="file" columns="2" size="medium" ids="92648,92645"]

Teoreettisen suorituskyvyn osalta löydät AMD:n julkaisemat vertailut NVIDIAn toistaiseksi nopeimpaan H100 SXM -kiihdyttimeen yltä. NVIDIA on jo esitellyt uudet H200-versiot, joissa muistit on päivitetty HBM3E-aikaan, mutta niitä ei odoteta markkinoille vielä noin puoleen vuoteen.

[gallery link="file" columns="2" size="medium" ids="92644,92643"]

Teoreettisia lukuja mielenkiintoisempia ovat käytännön testit, joissa on kuitenkin syytä muistaa, että kyse on valmistajan omista luvuista. AMD:n mukaan MI300X peittoaa H100:n Flash Attention 2- ja Llama 2-70B kernel -tekoälytesteissä noin 10-20 %:n erolla kernelistä riippuen. Koko palvelimen eli kahdeksan kiihdyttimen päättelytehtävissä Bloom- ja Llama 2 -sovellutuksissa erot ovat puolestaan yhtiön mukaan jopa 60 ja 40 % MI300X Platformin eduksi, kun verrokkina on NVIDIAn vastaava H100 HGX -alusta. Opetustehtävissä alustojen puolestaan kerrotaan olevan tasavertaisia.

[gallery link="file" ids="92642,92641,92640"]

MI300A:n suorituskykyvertailuissa tilanne muuttuu hieman dramaattisemmaksi. OpenFOAM HPC-testissä MI300A peittoaa H100:n jopa nelinkertaisella suorituskyvyllä ja Mini-NBODY, HPCG- ja GROMACS STMV -testeissä eroa on 10-20 %. Teoreettisten lukujen osalta Instinct MI300A:n luvataan puolestaan tarjoavan jopa kaksinkertaista ”Peak HPC Performance per Watt” suorituskykyä verrattuna NVIDIAn Grace Hopper GH200 Superchip -piireihin.

Lähde: AMD:n lehdistömateriaalit

Linkki alkuperäiseen juttuun
 
Viimeksi muokattu:
Lisäksi nuo on suunniteltu OCP (OAM) yhteensopiviksi, joten 8 kappaletta uusia kortteja sisältävän palikan asennus speksit täyttävään järjestelmään on yksinkertaista.
 
Lisäksi nuo on suunniteltu OCP (OAM) yhteensopiviksi, joten 8 kappaletta uusia kortteja sisältävän palikan asennus speksit täyttävään järjestelmään on yksinkertaista.
Juu, unohtui mainita OAM-moduulien käyttö
 
Videolla Lisa Su pitää kiinni ennusteesta, että mi300 piirejä myydään 2 miljardin edestä vuonna 2024. Videossa sanoo, että kykyä valmistaa tuotetta myyntiin paljon enemmänkin, mutta myyntipuolella näkyvyys kahteen miljardiin. Ihan hyvä, että myyntiennuste on konservatiivinen niin jää mahdollisuus yllättää positiivisesti.



Osa vertailuista kilpailijan tuotteisiin on vähän epäreiluja. H100 kärsii muistinpuutteesta. Parempi vertailukohta asiakkaan kannalta h200, mutta toki h200 on h2/2024 tuote.

edit. Lisa sanoo, että yhden mi300:en tekeminen kestää yli 7kk. Maailman monimutkaisin piiri
Detailing steady progress over 5+ years, Su explains the MI300 chips is comprised of 12 stacked "chiplets," noting each MI300 chip takes over 7 months to produce given intricate designs

 
Viimeksi muokattu:

Statistiikka

Viestiketjuista
261 012
Viestejä
4 529 415
Jäsenet
74 732
Uusin jäsen
jensensei

Hinta.fi

Back
Ylös Bottom