Frontier-supertietokone rikkoi ensimmäisenä virallisesti eksaFLOPSin rajapyykin

[Kaotik]

Kaotik kirjoitti uutisen/artikkelin:
Yhdysvaltain Oak Ridge National Laboratory on yksi maailman tehokkaimpia supertietokoneita hyödyntävistä tutkimuslaitoksista. ORNL:n edellinen vuonna 2018 täyteen iskuun saatettu lippulaivasupertietokone Summit löytyy edelleen supertietokoneita järjestykseen pistävän TOP500:n listan sijalta neljä.

Kesäkuun TOP500-päivitys kirjoitti listan kärjen uudelleen. Kärkipaikalle kiilasi ORNL:n uusi Frontier-supertietokone, jonka Rmax-suorituskyky on 1,1 eksaFLOPSia ja Rpeak-suorituskyky 1,69 eksaFLOPSia. Frontier-supertietokone perustuu HPE:n Cray EX235a -noodeihin, jotka hyödyntävät AMD:n optimoituja 3. sukupolven Epyc-prosessoreita ja Instinct MI250X -laskentakortteja. Järjestelmässä on TOP500:n mukaan yhteensä 8 730 112 prosessoriydintä.

Samalla Frontier nappasi taskuunsa energiatehokkuutta mittaavan Green500-listan kakkossijan 52,23 GFLOPS per watti lukemallaan. Kärkisijalta löytyy Frontierin yhtä räkkikaappia vastaava Frontier TDS, joka yltää jopa 62,68 GFLOPSiin per watti. Myös High Performance Conjugate Gradient -listan kärkisijan odotetaan päätyvän Frontierille, mutta sen HPCG-tuloksia ei ole vielä julkaistu, joten kärkisijalla jatkaa TOP500-listan kakkossijalle tiputettu japanilainen Fugaku-supertietokone.

TOP500-listan kärkipaikoille saatiin nyt myös suomalaisväriä, kun EuroHPC:n ja CSC:n LUMI-supertietokone nappasi itselleen kolmannen sijan 151,90 petaFLOPSin Rmax- ja 214,35 petaFLOPSin Rpeak-lukemilla. LUMI löytyy myös HPCG-listauksen kolmannelta sijalta 1935,73 TFLOPSin HPCG-tuloksella. Pronssimitalien rivin täydentää kolmas sija Green500-listalla 51,63 GFLOPS per watti lukemallaan. LUMI perustuu samoihin HPE Cray EX235a:n noodeihin, kuin Frontierkin, mutta järjestelmässä on yhteensä "vain" 1 110 144 prosessoriydintä.

Lähde: TOP500

Linkki alkuperäiseen juttuun

 

[modeemiraattori]

Näille olisi pitänyt jonkun kertoa että DDR5 ja AM5-tulee ihan justiinsa.

 

[prc]

Näille olisi pitänyt jonkun kertoa että DDR5 ja AM5-tulee ihan justiinsa.

Noiden rakentelu on aika paljon aikaa vaativa projekti kaikkinensa. Jos jäät odottelmaan kohta tulevia teknologioita niin voit jättää koko koneen rakentamatta.

 

[keskiverto]

Kyllä ne löivät kaupat lukkoon jo ennen kuin näitä "3. sukupolven Epyc-prosessoreita ja Instinct MI250X-kortteja" oli julkaitu.

 

[Comedian]

Suurempi yllätys itselle oli, että Suomesta löytyy top kolmeen mahtuva systeemi.

 

[Kaotik]

Kyllä ne löivät kaupat lukkoon jo ennen kuin näitä "3. sukupolven Epyc-prosessoreita ja Instinct MI250X-kortteja" oli julkaitu.

Jep, Frontieristä tiedotettiin ulkomuistista 2019 lopulla tai 2020 alussa

 

[keskiverto]

Suurempi yllätys itselle oli, että Suomesta löytyy top kolmeen mahtuva systeemi.

EU rakentaa kolme "pre-eksa"-luokan konetta, joista tämä Suomen (jota 9 EU-maata rahoittaa) on ensimmäinen. Kaksi muuta on sitten Italiassa ja Espanjassa ...

Itsekin yllätyin että ihan top 3:ssa.

 

[JiiPee]

Itsekin yllätyin että ihan top 3:ssa.

Se on osoitus siitä että on otettu melkoinen loikka kehityksessä. Ja tämähän on vasta alkua. Kohta CPU ja GPU sulautuu "yhteen" niin sitten tulee vielä kovempaa settiä.

 

[astralgyx]

LUMI sijaitsee Kajaanissa vanhan paperitehtaan hallissa.

 

[Raikku]

Olisi kiva tietää mikä tuollaisen cpu-suorituskyky on käyttäjäprossuihin verrattuna.

 

[AleaIactaEst]

Tärkein jäi mainitsematta. Pyöriikö tällä Crysis?

 

[prc]

Olisi kiva tietää mikä tuollaisen cpu-suorituskyky on käyttäjäprossuihin verrattuna.

Nuo yksittäiset prosessorit on Zen3 arkkitehtuuria ja kellot 2.0Ghz, boost kellot jossain 3,5Ghz jommalla kummalla puolella.

En jaksanut alkaa etsimään tuon kyseisen koneen arkkitehtuurista tietoa, että näkyvätkö kaikki kaapit laskenta nodeideen yhtenä muisti ja cpu avaruutena, vai onko tuon arkkitehtuuri clusteri koneita. Arkkitehtuuri sitten vaikuttaa softien koodaamiseen. Eipä tuolla mitään tavan softia ajella, about kaikki koodataan tai tuunataan kone kohtaisesti.

Eli sinänsä ehkä turha verrata keskenään, mutta jotain kuluttaja lukuja löytyy googlella.

Jos ny lukuja niin tuo Frontierin Linpack tulos 1102PFlops olisi 1102000000 GFLops.
Netistä kaiveltua löysin jonkun ajaneen Ryzen 2600X @4Ghz linpackin ja tulos on 99.8 GFLops.

Noista nyt sitten ei voi tietää onko benchmarkin asetukset samat. Eipä sillä väliä luvut on niin eri luokkaa..

 

[Ormu]

Tärkein jäi mainitsematta. Pyöriikö tällä Crysis?

Onkohan interconnect-väylä niin äkäinen (viiveen ja siirtonopeuden puolesta) että RTX ON onnistuisi reaaliaikaisesti softaemuloituna (esim 16k-resoluutiolla)?

Vai onko muitakin pullonkauloja?

 

[mRkukov]

Nuo yksittäiset prosessorit on Zen3 arkkitehtuuria ja kellot 2.0Ghz, boost kellot jossain 3,5Ghz jommalla kummalla puolella.

Onko noissa muka boostit käytössä? Ainakin joskus boostit poistettiin näistä superkoneista kun ei niitä oikeasti haluta. Energiatehokkuus tärkeämpi kuin se että yksi säie hieman nopeampi.

 

[Alatuberkuloosi]

Puhtaasta mielenkiinnosta, osaako joku heittää valistuneen arvauksen kuinka paljon maksaisi jos minulla olisi laskentatehtävä jonka suorittamiseen täydellä kapasiteetilla LUMI:lla kestäisi tunti? 10 000e?

 

[JiiPee]

Puhtaasta mielenkiinnosta, osaako joku heittää valistuneen arvauksen kuinka paljon maksaisi jos minulla olisi laskentatehtävä jonka suorittamiseen täydellä kapasiteetilla LUMI:lla kestäisi tunti? 10 000e?

Sehän riippuu ihan siitä millanen sähkösoppari noilla on. Vajaa 3000kW on tuon kulutus, eli se hörppäisi silloin sen vajaat 3000kWh sähköä.
Eli eihän se nyt ihan kauhean kallista olisi. Tietty kaikki on suhteellista.

Noillahan voi olla vaikka mimmosia sopimuksia paikallisen sähköyhtiön kanssa ja voivat saada jotain ylituotantoa todella halvalla. Onhan niitäkin tapauksia maailmalta että sähköntuottaja maksaa jollekkin isolle kuluttajalla siitä että kuluttaa, koska se tulee edullisemmaksi kuin ajella laitoksia alas.

 

[Alatuberkuloosi]

Sehän riippuu ihan siitä millanen sähkösoppari noilla on. Vajaa 3000kW on tuon kulutus, eli se hörppäisi silloin sen vajaat 3000kWh sähköä.
Eli eihän se nyt ihan kauhean kallista olisi. Tietty kaikki on suhteellista.

Noillahan voi olla vaikka mimmosia sopimuksia paikallisen sähköyhtiön kanssa ja voivat saada jotain ylituotantoa todella halvalla. Onhan niitäkin tapauksia maailmalta että sähköntuottaja maksaa jollekkin isolle kuluttajalla siitä että kuluttaa, koska se tulee edullisemmaksi kuin ajella laitoksia alas.

Joo, mutta vaikka tämä on yleishyödyllinen hanke, niin kai yksityisten ja kai julkistenkin pitää maksaa palvelusta? Tämä tietokonehan maksoi aivan perhanasti.

 

[JiiPee]

Joo, mutta vaikka tämä on yleishyödyllinen hanke, niin kai yksityisten ja kai julkistenkin pitää maksaa palvelusta? Tämä tietokonehan maksoi aivan perhanasti.

Käsittääkseni käyttö on ilmaista niille joilla sen käyttöön on pääsy. Ei sinne kai kuka vaan edes rahalla pääse huseeraamaan.

 

[keskiverto]

Valtaosa LUMI:n ja Frontier:n teoreettisesta laskentakapasiteetista on niistä Instinct MI250X-korteista. CPU:t, vaikka niitä on, eivät paljoa kerrytä.

Käsittääkseni käyttö on ilmaista niille joilla sen käyttöön on pääsy. Ei sinne kai kuka vaan edes rahalla pääse huseeraamaan.

Joo. Yhdeksän EU-maata maksoi noin puolet, ei ihan tasan. Loput jostain "EU:n kassasta" eli sekin veroissa. (Koko LUMI noin 200mil€.) Suomalaiset tutkijat pääsevät Suomen maksaman osuuden verran polttamaan resursseja, kunhan on uskottava tutkimussuunnitelma. EU sitten jakaa isompia lohkoja "tärkeille projekteille". Yrityksilläkin pitäisi olla pääsy. Ehkä valtio tukee PK-sektoria antamalla rahan sijaan CPU-tunteja?

 

[Raikku]

Tällä suomalaiset avaruusfyysikot selvittävät universumin jutut?

 

[Ormu]

Tällä suomalaiset avaruusfyysikot selvittävät universumin jutut?

Tällä voi varmaan hyvin ajaa niitä avaruuden plasman mallinnuksia ja muuta mitä Suomessa on kehitetty

 

[prc]

Onko noissa muka boostit käytössä? Ainakin joskus boostit poistettiin näistä superkoneista kun ei niitä oikeasti haluta. Energiatehokkuus tärkeämpi kuin se että yksi säie hieman nopeampi.

Hyvä huomio, ei varmasti ole boosti kellot käytössä tässä tapauksessa. Jäi tuo ajattelematta loppuun, katsoin vain yleiset speksit 64C epyc mallistosta joista jotain mallia tuolta löytyy, kun enempi koitin vastata tuohon pohdiskeluun miten tuo vertautuu normi koneen tehoihin.

 

[demu]

Tuo Suomen LUMI ei ole vielä täydessä iskussa 151,9 petaflopsilla.
Lumin Lumi-G-grafiikkasuoritinosiota ei ole vielä täysin asennettu. Odotettu HPL-suorituskyky tulee kasvamaan 375 petaflopsiin kesäkuun 2022 aikana.
...
Lumin grafiikkasuoritinosio koostuu 2560 solmusta, joista jokaisessa on yksi 64-ytiminen AMD Trento -suoritin ja neljä AMD MI250X -grafiikkasuoritinta. Jokaisessa grafiikkasuorittimen solmussa on neljä 200 Gt/s:n verkkokorttia, eli jokaisella niistä on yhteensä 800 Gt/s:n kaistanleveys Lumin kytkinverkossa.

Lumissa on grafiikkasuorittimien lisäksi toinen osio (Lumi-C), joka käyttää pelkkiä prosessorisolmuja ja jossa on 64-ytimiset kolmannen sukupolven AMD Epyc -suorittimet ja muistia 256 gigatavun ja 1024 gigatavun väliltä. Kaksikantaisia prosessorisolmuja on yhteensä 1536.

Lisäksi Lumissa on osio, jossa on suuria muistisolmuja yhteensä 32 teratavun edestä. Visualisointia varten Lumissa on 64 Nvidia A40 -grafiikkasuoritinta. Lumi vaatii lähes 300 neliömetriä lattiapinta-alaa. Järjestelmän paino on lähes 150 tonnia.
...

Lisätietoa

LUMI sijoittui kolmanneksi maailman nopeimpien supertietokoneiden Top500-listalla – Euroopan nopein supertietokone - CSC Company Site

LUMI sijoittui kolmanneksi maailman nopeimpien supertietokoneiden Top500-listalla – Euroopan nopein supertietokone EuroHPC-yhteisyrityksen LUMI-supertietokone sijoittui kolmanneksi...

www.csc.fi

(maksumuurin takana).

Suomessa on Euroopan nopein supertietokone – on podiumilla maailman listallakin

Lumi-supertietokone on sijoittunut kolmanneksi maailman nopeimpien koneiden listalla.

www.kauppalehti.fi

 

[prc]

Lumi vaatii lähes 300 neliömetriä lattiapinta-alaa. Järjestelmän paino on lähes 150 tonnia.

Tämä on varmaan tavan tossunkuluttajan kannalta se ymmärrettävin data, miksi näiden rakentelu vie aikaa ja sen vuoksi nämä harvemmin sisältävät sitä kuuminta hottia, kuten nyt eka postaus mainitsi tulevasta DDR5:stä ja AM5 kannasta (ja mikä se nyt sitten epyceille se uusi kanta onkaan).

150 000 kg ATK rojua koottuna 3x keskiverto-omakotitalon pinta-alan tilaan. Siinä saa jonku komeron kasata, kalustaa ja kaapeloida. Tarvii syöttää se reipas 3MW sähköä pelkästään koneelle ja jäähdyttää myös. Ei mene ihan yhdellä laatikolla asennuskaljaa perjantai iltana twerkkien jälkeen.

 

[Raikku]

Tai ainakin asentaja on lopuksi aivan tuhannen päissään.

 

[Alatuberkuloosi]

Tällä suomalaiset avaruusfyysikot selvittävät universumin jutut?

Aivan typerää rakentaa tietokoneita koska me jo tiedetään että elämän vastaus on 42

 

[Kaotik]

Aivan typerää rakentaa tietokoneita koska me jo tiedetään että elämän vastaus on 42

Niin tietää, mut nyt pitää selvittää mikä se kysymys on

 

[Marquette]

Paljonkos joku Amd Ryzen 5xxx tai Intel i9-11900 tuottaa noita floppeja?

 

[Kaotik]

Paljonkos joku Amd Ryzen 5xxx tai Intel i9-11900 tuottaa noita floppeja?

Ekan Google-tuloksen mukaan 5950X vajaa 970 ja i9-11900K reilu 850 gflopsia (sgemm)

 

[Marquette]

Ekan Google-tuloksen mukaan 5950X vajaa 970 ja i9-11900K reilu 850 gflopsia (sgemm)

Ok nyt osui sopivat hakusanat, eilen ei jotenkin löytynyt mitään sopivaa

AMD Ryzen 9 5950X vs Intel Core i9-11900K - GadgetVersus

Comparison between AMD Ryzen 9 5950X and Intel Core i9-11900K with the specifications of the processors, the number of cores, threads, cache memory, also the performance in benchmark platforms such as Geekbench, Passmark, Cinebench or AnTuTu.

gadgetversus.com

(SGEMM) GFLOPS performance

967.3 GFLOPS

851.2 GFLOPS

 

[prc]

Ok nyt osui sopivat hakusanat, eilen ei jotenkin löytynyt mitään sopivaa

AMD Ryzen 9 5950X vs Intel Core i9-11900K - GadgetVersus

Comparison between AMD Ryzen 9 5950X and Intel Core i9-11900K with the specifications of the processors, the number of cores, threads, cache memory, also the performance in benchmark platforms such as Geekbench, Passmark, Cinebench or AnTuTu.

gadgetversus.com

(SGEMM) GFLOPS performance

967.3 GFLOPS

851.2 GFLOPS

Mutta nyt vertaillaan omenoita appelsiineihin. Jos halutaan verrata top500.org:ssa olevia FLOPS:ja niin pitäisi etsiä LinPack benchmarkin tulokset.

Ja ne näyttää paljon pahemmalta kuin tuo SGEMM, vaikkakin ainut edes lähelle vertailukelpoista oleva tulos jonka löysin on Zen+ arkkitehtuurin CPU:sta, niin on liene turvallista veikata että tuo lukema on silti lähempänä kuin SGEMM testin lukema.

Jos ny lukuja niin tuo Frontierin Linpack tulos 1102PFlops olisi 1102000000 GFLops.
Netistä kaiveltua löysin jonkun ajaneen Ryzen 2600X @4Ghz linpackin ja tulos on 99.8 GFLops.

== edit ==

Tai siis voidaanhan sitä vertailla SGEMM tuloksia, mutta ei välttämättä kerro hirveästi tuon koneen suorituskyvystä vaan yksittäisen CPU:n suorituskyvystä. Tuossa kuitenkin on satoja tuhansia CPU:ta (ja GPU:ta) kytketty ihan noille koneille rakennetulla interconnectilla joka sitten aiheuttaa ties minkälaisia viiveitä nodejen välille.

Toki ei myöskään Linpack tulokset korreloi 1:1 kun ajetaan benchmarkkia perus koneella ja jollain tuollaisella HPC hirviöllä missä on normikoneeseen verrattuna vaikka mitä virityksiä, mutta puhutaan edes saman mittarin antamista lukemista.

 

[ikez]

Suurempi yllätys itselle oli, että Suomesta löytyy top kolmeen mahtuva systeemi.

Kolmantena olo kesäkuussa 2022 vajaan puiolentoista vuoden käytön jälkeen on hyvä sijoitus tietokonemaailman aallonharjalla oloa. Tietolähde

Siitä on muuten webinaari, joka on valitettavasti jo täynnä. Ajankohta on siirtynyt tulevaisuuteen.

 

[Kaotik]

Kolmantena olo kesäkuussa 2022 vajaan puiolentoista vuoden käytön jälkeen on hyvä sijoitus tietokonemaailman aallonharjalla oloa. Tietolähde

Siitä on muuten webinaari, joka on valitettavasti jo täynnä. Ajankohta on siirtynyt tulevaisuuteen.

Eikä kone ole vielä valmisvalmis, marraskuun Top500 listalla pitäisi LUMIlla olla vielä reilusti paremmat tulokset

 

[JiiPee]

Mielenkiintoisesti kyllä tilastot muuttunu kun tuolta kattelee

List Statistics | TOP500

www.top500.org

AMD on tuon uuden instikin ja toki tuon Frontierin takia rohmunnu "GPU" tehoissa 30% siivun joka on aika merkittävä. Nopeasti laskeskelin niin tuosta listalta saa ynnätä top10 nvidian eri sukupolvia eikä silti päästä samaan.

CPU puolen tilastoissa nähtävissä samaa, eli 64-coret jyllää.

 

[ikez]

Siitä on muuten webinaari, joka on valitettavasti jo täynnä. Ajankohta on siirtynyt tulevaisuuteen.

Uusi tilaisuus on 1.9.2022 klo 10 - 11. Ehtii ilmoittautua niin kauan kun siellä on tilaa.