AMD Instinct MI200 on yhtiön ensimmäinen useamman piirin GPU

[Kaotik]

Kaotik kirjoitti uutisen/artikkelin:
Useampaan piiriin perustuvat prosessorit eivät ole uusi asia, mutta niistä on tullut jälleen valtavirtaa AMD:n Ryzen-prosessoreiden myötä. Yritysten tiedetään tutkivan myös GPU-puolella useamman piirin ratkaisuja ja esimerkiksi Intelin tuleva Ponte Vecchio- eli Xe-HPC-laskentapiiri rakentuu lukuisista pienistä siruista. Nyt myös AMD on tuomassa markkinoille ensimmäisen useampaan siruun perustuvan GPU:nsa.

AMD:n ensimmäinen usean piirin GPU varmistui HPE:n eli Hewlett Packard Enterprisen dioista. Luottovuotaja Komachi Ensakan käsiinsä saamassa diassa listataan yhdeksi tuotteeksi ”AMD Instinct MI200 OAM x1 MCM Speacial FIO Accelerator for Cray EX”. Tuotteen nimessä MCM viittaa Multi-Chip Moduleen eli useammasta piirista rakentuvaan toteutukseen.

Tällä hetkellä Instinct MI200:n tarkemmasta luonteesta ei ole varmuutta, mutta sen oletetaan perustuvan CDNA2-arkkitehtuuriin ja GFX90A-tason ominaisuuksiin. GFX9xx-IP-taso viittaa Vega-johdannaisiin arkkitehtuureihin ja esimerkiksi Instinct MI100 eli Arcturus oli GFX908-tasoa. GFX90A-tuki lisättiin LLVM-kääntäjään hiljattain ja päivitys varmisti muun muassa tuen täyden nopeuden FP64-laskuille ja Packed- eli tuplanopeuden FP32-laskuille. Pelipuolen RDNA-arkkitehtuurit ovat AMD:n IP-kartalla GFX10xx-tasoa.



Toisessa HPE:n diassa varmistetaan puolestaan, että AMD:n Trento ja MI200 tulevat korjaamaan yhtiön Cray Shasta -sarjan supertietokonenoodeissa nykyiset Milan-arkkitehtuurin Epyc-prosessorit ja NVIDIAn Ampere-laskentapiirit. Trento on tämänhetkisten tietojen mukaan Milanin tavoin Zen 3 -arkkitehtuuriin perustuva, eikä niiden eroista ei ole vielä varmuutta. Komachi Ensakan tietojen mukaan Trenton saattaisi erottaa Milanista uusi IOD eli IO-siru, jonka lisäksi huhuissa on spekuloitu mahdollisesta tuesta uudemman sukupolven Infinity Fabric -väylälle, jota hyödynnettäisiin myös Instinct MI200:ssa.

Lähde: Komachi Ensaka @ Twitter

Linkki alkuperäiseen juttuun

 

[Hrogath]

Ei kai tämä kortti varsinaisesti AMD:n ensimmäinen usean piirin GPU ole? AMD Radeon HD 6990:ssa oli kaksi piiriä.

 

[neksva]

Ei kai tämä kortti varsinaisesti AMD:n ensimmäinen usean piirin GPU ole? AMD Radeon HD 6990:ssa oli kaksi piiriä.

juu ei ole ensimmäinen multi-gpu kortti. oman muistin mukaan ensimmäinen multi gpu oli ati aikoina HD 3870 X2

 

[hkultala]

Sellainen huomio, että HBM-/HBM2-muisti tarkoittaa aina MCM-paketointia, että se että käytetään MCMää ei takaa mitään varsinaisten graffapiirien määrästä. Multi-Chip-modulessa "chip" voi tarkoittaa myös muistipiiriä.

Tosin, muiden huhujen yms. perusteella tämän osalta pidän silti todennäökisempänä että siellä oikeasti on kaksi niitä graffapiirejä.

 

[Kaotik]

juu ei ole ensimmäinen multi-gpu kortti. oman muistin mukaan ensimmäinen multi gpu oli ati aikoina HD 3870 X2

Kortti != GPU.
Tässä yhteydessä "GPU" on yksi paketointi missä useampi siru.

Sellainen huomio, että HBM-/HBM2-muisti tarkoittaa aina MCM-paketointia, että se että käytetään MCMää ei takaa mitään varsinaisten graffapiirien määrästä. Multi-Chip-modulessa "chip" voi tarkoittaa myös muistipiiriä.

Tosin, muiden huhujen yms. perusteella tämän osalta pidän silti todennäökisempänä että siellä oikeasti on kaksi niitä graffapiirejä.

Kyllä, HBM:t tarkoittaa aina MCM:ää, mutta se ei näy noissa HPE:n listauksissa, vaan esim "AMD Instinct MI100 PCIe Graphics Accelerator for HPE R4W72A" on ilman mitään MCM-mainintaa vaikka siellä on HBM-muistit.

 

[KognaK]

juu ei ole ensimmäinen multi-gpu kortti. oman muistin mukaan ensimmäinen multi gpu oli ati aikoina HD 3870 X2

Eipä tuokaan ole ensimmäinen. Pitää mennä viime vuosituhannelle.

ATI Rage Fury MAXX Specs

ATI Rage 128 PRO x2, 125 MHz, 2 Pixel Shaders, 0 Vertex Shaders, 2 TMUs, 2 ROPs, 32 MB SDR, 143 MHz, 128 bit

www.techpowerup.com

Tosin näillä useamman GPU:n korteilla ei ole mielestäni paljoa tekemistä uutisen kanssa kun ne ovat käytännössä kaksi näytönohjainta samalla kortilla. Vähän eri asia jos kyseessä on yksi näytönohjain useammalla piirillä.

 

[ratkakapu]

Ei kai tämä kortti varsinaisesti AMD:n ensimmäinen usean piirin GPU ole? AMD Radeon HD 6990:ssa oli kaksi piiriä.

juu ei ole ensimmäinen multi-gpu kortti. oman muistin mukaan ensimmäinen multi gpu oli ati aikoina HD 3870 X2

Joo, mutta ei.

Tässä nyt tarkoitetaan (huhujen, joidenkin faktojen ja minun niistä muodostaman tulkinnan mukaan) tilannetta, jossa piirit toimivat yhdessä siten, että ne näkyvät esim prosessorin suuntaan yhtenä yksikkönä.
Nuo teidän esimerkit olivat laitteita, jossa yhdelle piirilevylle oli asetettu kaksi piiriä omilla muisteillaan ja usein omilla virransyötöillään ja ne näkyivät muulle koneelle kahtena erillisenä näytönohjaimena, jotka on kytketty yhden väylän päähän.

Niitä vanhoja multi-gpu kortteja voisi prosessoripuolella verrata siihen, että on emolevyjä joissa on useampi kanta, eli emolevyllä voidaan ajaa useampaa prosessoria. Ne ovat kuitenkin useampi prosessori ja mm. käyttöjärjestelmä näkee niissä tapauksissa useamman prosessorin, aivan kuin se HD 6990 näkyy laitehallinnassa kahtena erillisenä näytönohjaimena, vaikka ne ovat samassa fyysisessä laajennuskortissa.
Näitä uusia sitten voi verrata Zen 2 ja 3 prosessoreihin, joissa useasta piiristä muodostuva prosessorikokonaisuus näkyy käyttöjärjestelmälle päin yhtenä prosessorina aivan kuten "normaali" prosessori. Eli prosessori/näytönohjain sisäisesti koordinoi eri piirien toiminnan yhteen ja ulospäin näkyy yksi kokonaisuus.

Uutiseen voisi kyllä lisätä jonkun selvennyksen, koska on ihan normaalia käyttää termejä GPU ja näytönohjain ristiin vaikka teknisesti väärin.

 

[hkultala]

Joo, mutta ei.

Tässä nyt tarkoitetaan (huhujen, joidenkin faktojen ja minun niistä muodostaman tulkinnan mukaan) tilannetta, jossa piirit toimivat yhdessä siten, että ne näkyvät esim prosessorin suuntaan yhtenä yksikkönä.
Nuo teidän esimerkit olivat laitteita, jossa yhdelle piirilevylle oli asetettu kaksi piiriä omilla muisteillaan ja usein omilla virransyötöillään ja ne näkyivät muulle koneelle kahtena erillisenä näytönohjaimena, jotka on kytketty yhden väylän päähän.

Niitä vanhoja multi-gpu kortteja voisi prosessoripuolella verrata siihen, että on emolevyjä joissa on useampi kanta, eli emolevyllä voidaan ajaa useampaa prosessoria. Ne ovat kuitenkin useampi prosessori ja mm. käyttöjärjestelmä näkee niissä tapauksissa useamman prosessorin, aivan kuin se HD 6990 näkyy laitehallinnassa kahtena erillisenä näytönohjaimena, vaikka ne ovat samassa fyysisessä laajennuskortissa.
Näitä uusia sitten voi verrata Zen 2 ja 3 prosessoreihin, joissa useasta piiristä muodostuva prosessorikokonaisuus näkyy käyttöjärjestelmälle päin yhtenä prosessorina aivan kuten "normaali" prosessori. Eli prosessori/näytönohjain sisäisesti koordinoi eri piirien toiminnan yhteen ja ulospäin näkyy yksi kokonaisuus.

Moniydinprossu näkyy käyttöjärjestelmälle monena prosessorina. Että vertauksesi ontuu todella pahasti/nimenomaan osoittaa pointtisi vääräksi.

Ja tämäkin näkyy ajurille todennäköisesti monena näyttiksenä. Se, että monta piiriä laitetaan saman MCMn sisään ei muuta sitä, millaiset skedulerit ja käskypuskurit niillä piireillä on ja millainen niiden rajapinta ajurin suuntaan on.

 

[Timo 2]

Ei kai tämä kortti varsinaisesti AMD:n ensimmäinen usean piirin GPU ole? AMD Radeon HD 6990:ssa oli kaksi piiriä.

Kyllä on.
GPU ei ole näytönohjainkortti, vaan grafiikkasuoritin, eli se piisiru. Näytönohjainkortilla voi olla useampi grafiikkasuoritin(kuten mainitsemallasi HD 6990 näytönohjainkortilla), kuten emolevyllä voi olla useampi prosessori.

Mielestäni ei ole hyvä sekoittaa termejä.

Se on sitten ihan yks hailee miten mikäkin käyttöjärjestelmä tämän tunnistaa, yms. Mutta GPU on se grafiikkapiiri.

GPU – Wikipedia

fi.m.wikipedia.org

Graphics processing unit - Wikipedia

en.m.wikipedia.org

Näytönohjain – Wikipedia

fi.m.wikipedia.org

 

[Barbarossa]

GPU ei ole näytönohjainkortti, vaan grafiikkasuoritin, eli se piisiru. Näytönohjainkortilla voi olla useampi grafiikkasuoritin(kuten mainitsemallasi HD 6990 näytönohjainkortilla), kuten emolevyllä voi olla useampi prosessori.

Mielestäni ei ole hyvä sekoittaa termejä.

Annoitkin hyvän esimerkin miksi ei ole hyvä sekoittaa termejä. Jos GPU = grafiikkasuoritin = piisiru, niin mitenkäs kun esim. tässä aiheen MCM-tapauksessa niitä on ilmeisesti useampia?

 

[Kaotik]

AMD Radeon "Aldebaran" GPU Support Published For Next-Gen CDNA - Phoronix

www.phoronix.com

Piiri(e)n nimi on Aldebaran, eli α Tauri.
Päivityksissä viitteitä mm. "per die" viitaten MCM:ään ja varmistus HBM2E-muisteille.

 

[hkultala]

Täysnopeuden fp64-tuki ei ole mikään pikkujuttu vaan aika valtava muutos arkkitehtuuriin; Käytännössä kaikkien ytimen sisäisten dataväylien leveys on pitänyt tuplata, ellei linjamäärää ole puolitettu.

Koska aiemmin tosiaan GCNssä/CDNAssa yksi vektorilinja on ollut 32 bittiä, ja jos jotain on vektoripuolella tehty 64 bitillä, se on tehty kahdessa palassa.

Tämä vektorilinjan leventäminen 64 bittiin avannee mahdollisuuksia myös scatter- ja gather-muistiaccesseille osoittaa suurempaa muistia helpommin, tosin en muista, millaiset ne tarkkaanottaen GCNssä/CDNAssa on.

Toisaalta vektorilinjojen leventäminen myös tarkoittaa sitä, että sellainen laskenta, jolle riittää 32-bittinen tarkkuus, mutta jossa yhden work itemin sisällä ei ole (tarpeeksi) pienemmän tason datariippuvuutta että noita packed-käskyjä voi käyttää, käytännössä hidastuu (koska ei nopeudu yhtään mutta samalla pinta-alalla, samalla sähkönkulutuksella, samalla hinnalla voidaan tehdä pienempi määrä ytimiä tai vektorilinjoja).

Nyt alkaa entistä paremmin ymmärtää miksi AMD lähti eriyttämään laskentapiirejä ja näyttiksiä selvemmin toisistaan, nimenomaan graffaworkloadeille 32 bittiä on tarpeeksi, eli tämä on niille aika epäoptimaalinen, tieteellisen laskennan puolella tarvitaan 64 bittiä (ja tekoälyjutuissa voidaan käyttää tämän packed-käskyjä tai matriisikiihdytintä). Tämä on siis täysverinen tieteellisen laskennan rinnakkaisprosessori, ei enää varsinaisesti GPU.

 

[Heseman]

Esiintyykös tällaisessa ratkaisussa sitä samaa ongelmaa kuin moniydinprossuilla, että kaikki taskit eivät rinnakkaistu yhtä hyvin? Eli kuten vaikka pelit vs. renderöinti.

 

[jive]

Sanoisin että tässä on taas yksi askel kohti HSAIL maailmaa. Mahdollistaa ohjelmointi rajapinnan jossa kaikki muisti on lineaarista eikä käyttäjän tarvitse tietää miten ja missä osassa muistia tieto liikkuu. Se vaan toimii.

 

[Kaotik]

Esiintyykös tällaisessa ratkaisussa sitä samaa ongelmaa kuin moniydinprossuilla, että kaikki taskit eivät rinnakkaistu yhtä hyvin? Eli kuten vaikka pelit vs. renderöinti.

Kyllä ja ei. Tieteellisessä laskennassa ne tehtävät vaan usein rinnakkaistuvat hyvin ja useamman eri piirin käyttäjään ei muodostu samaan tapaan ongelmaksi kuin peleissä. Mutta tietenkin aina on tehtäviä mitkä ei rinnakkaostu hyvin, yleensä ne van ajetaan ihan prosessoreilla

 

[finWeazel]

Tieteellisessä laskennassa ja tekoälyjutuissa useasti ongelmat ovat niin isoja ettei niitä saa laskettua järkevässä ajassa yhdellä piirillä. Siellä on iso motivaatio optimoida algoritmit niin, että ne rinnakkaistuvat useammalle piirille ja joissain tapauksissa koko konesaliin(satoja/tuhansia piirejä). Pelien kanssa tuollaista motivaatiota ei ole ennen kuin suurimmalla osalla pelaajista on jonkinlainen multigpu käytössä.

Esim. noita mlperf tuloksia lasketaan kymmenillä/sadoilla/tuhansilla piireillä. Toki siellä on kategoriat erikseen yhdestä piiristä konesaliin asti:

MLCommons | Machine Learning Innovation

MLCommons aims to accelerate machine learning innovation to benefit everyone.

mlperf.org

amd on myös mukana mlcommonsissa(entinen mlperf). Olettaisi amd:lta tulevan tuloksia tuonne viimeistään siinä vaiheessa, kun ne isommat supertietokoneet ovat tulilla/piirit on julkaistu. Tuo mlcommons on se millä asiakkaita voi vakuuttaa piirin ja softapinon toimivuudesta ja skaalautuvuudesta. Hyvä myyntityökalu, kun benchmarkit ovat ostajan kannalta merkityksellisiä.