Koneopittu algoritmi päihitti perinteiset työkalut Nvidian Hopper GPU:n suunnittelussa

[finWeazel]

NVIDIA:n Hopper-konesali-GPU:n sisällä on melkein 13000 erillistä piiriä, joiden toteutusta on tehty ja optimoitu koneopituilla algoritmeilla. Käytetyt koneopitut algoritmit ovat ilmeisesti Nvidian omaa käsialaa. Koneoppimisen käyttäminen piirisuunnittelussa ei ole uusi asia. Standardityökalut, kuten Cadence ja Synopsys, tukevat koneoppimista. Uutta on NVIDIA:n koneopitun algoritmin suorituskyky standardityökaluja vastaan. Uutta taitaa olla myös vaatimus supertietokoneesta tämän mittakaavan koneoppimisen soveltamisessa.

Koneopittu 64-bittinen summain (adder) on 25% pienempi, kuin perinteisesti suunniteltu summain. Koneopitusti optimoitu summain on toiminnallisesti täysin vastaava, kuin perinteisesti suunniteltu.

In PrefixRL: Optimization of Parallel Prefix Circuits using Deep Reinforcement Learning, we demonstrate that not only can AI learn to design these circuits from scratch, but AI-designed circuits are also smaller and faster than those designed by state-of-the-art electronic design automation (EDA) tools. The latest NVIDIA Hopper GPU architecture has nearly 13,000 instances of AI-designed circuits.

Huhujen mukaan myös Ada Lovelace -koodinimellisten kuluttajapiirien toteutuksen optimoinnissa on käytetty koneoppimista. Huhuttu iso kellotaajuuslisäys voi liittyä koneopittujen algoritmien käyttämiseen.

Lähteet:

Designing Arithmetic Circuits with Deep Reinforcement Learning | NVIDIA Technical Blog

Learn how NVIDIA researchers use AI to design better arithmetic circuits that power our AI chips.

developer.nvidia.com

NVIDIA's Bleeding-Edge Hopper GPU Feature 13,000 Instances of AI-Designed Circuits Leading To Smaller, Faster & Power Efficient Designs

NVIDIA's flagship AI chip, the Hopper GPU, features nearly 13,000 circuits designed by AI for smaller, faster and power efficient chips.

wccftech.com

Lisätietoa siitä, minkälaista laskentakapasiteettia koneoppiminen on vaatinut:

 

[jive]

Tää on tätä. Ensin mentiin optimoiduista ASIC piireistä modulaarisiin ja nyt sitten takaisin räätälöintiin. Ilmeisesti kellojaksoista on tullut taas tarpeeksi halpoja.

 

[finWeazel]

Tää on tätä. Ensin mentiin optimoiduista ASIC piireistä modulaarisiin ja nyt sitten takaisin räätälöintiin. Ilmeisesti kellojaksoista on tullut taas tarpeeksi halpoja.

Taitavat uudet valmistusprosessit olla niin kalliita, että kannattaa satsata suunnitteluun enemmän, että saa mahdollisimman paljon irti kalliista prosessista. Nvidian Ampere ja Hopper konesali-GPU:t ovat suurinpiirtein niin isoja piirejä kuin voi TSMC:n laitteilla valmistaa. Kilpailu on toki myös kiristynyt. AMD on poiminut isoja supertietokonediilejä ja intel yrittää myös markkinoille.

Nvidia on silleen erikoinen, että he rakentavat omia referenssi supertietokoneratkaisuja koneoppimiseen. Kun on järjettömät myllyt omassa konesalissa niin niille on hyvä keksiä jotain käyttöä. Paljon tulee neuroverkkoihin liittyen tutkimuspapereita nvidialta. Nyt sitten ihan oikeaa reaalimaailman käyttöäkin näemmä tuon piirisuunnittelun muodossa keksitty myllyille.

Kolmas pointti tietty Nvidian taholta, että mitä enemmän muutkin alkavat käyttämään koneoppimista niin sitä enemmän nvidia saa myytyä ampere/hopper konesaliratkaisuja.

 

[Kaotik]

Nyt sitten ihan oikeaa reaalimaailman käyttöäkin näemmä tuon piirisuunnittelun muodossa keksitty myllyille.

Kuten itsekin aloituspostaukseen pistit, koneoppimissettien käyttäminen piirisuunnittelussa ei ole mikään uusi juttu.

Kolmas pointti tietty Nvidian taholta, että mitä enemmän muutkin alkavat käyttämään koneoppimista niin sitä enemmän nvidia saa myytyä ampere/hopper konesaliratkaisuja.

Ja mitä konesaliratkaisuihin tulee, niin koneoppimista kiihdyttävää rautaa löytyy joka toimijalta

 

[Griffin]

Kuten itsekin aloituspostaukseen pistit, koneoppimissettien käyttäminen piirisuunnittelussa ei ole mikään uusi juttu.

Ja mitä konesaliratkaisuihin tulee, niin koneoppimista kiihdyttävää rautaa löytyy joka toimijalta

Tosin joku softa voi haluta toimia vain tietyn valmistajan raudan päällä.
Luulisin, että jos Nvidia on suunnitellut softan ja käyttänyt sitä luonnollisesti vain oman rautansa päällä, niin mikäli ideat softassa on patentoitu oikein, niin ko softa vaatii sitten käytännössä Nvidian raudan (mikäli softaa myydään ulos).

 

[finWeazel]

Kuten itsekin aloituspostaukseen pistit, koneoppimissettien käyttäminen piirisuunnittelussa ei ole mikään uusi juttu.

Ja mitä konesaliratkaisuihin tulee, niin koneoppimista kiihdyttävää rautaa löytyy joka toimijalta

Mun viestin liha oli siinä, että nvidialta on tullut paljon papereita ja demoja koneoppimisen käyttämisestä, mutta hyvin harvoja reaalimaailman toteutuksia tuotteiksi asti. Äkkiseltään ei tule mieleen kuin dlss ja piirisuunnittelu oikeista tuotteista. Lieköhän gaugan, kohinanpoistot, NeRFs(neural distance fieldsit), autopuolen jutut(driveworks) yms. vielä mitään muuta kuin demoja?

Seleneen viittaava osa oli vain sen vuoksi, että saa käsitystä siitä, että nvidialla on painetta keksiä käyttöä koneoppimiselle, kun he ovat investoineet melko kalliin selene supertietokoneen omiin tiloihin. Vihjasin siihenkin suuntaan, että nvidia käyttää myyntimateriaalina sitä omaa supertietokonettansa. Helpottaa raudan myymistä, jos voi väittää itse supertietokonetta käyttävänsä ja osaavansa rakentaa vastaavan helposti muille(referenssi). En tarkoittanut tällä väheksyä muita valmistajia vaan tuoda sen esiin, että nvidialla on näissä jutuissa ehkä PR-kulma mukana. Pitää PR-kulman vuoksi ottaa suolan kanssa se mitä lukee heidän blogista ja papereista.

Jos jotain muuta joku luki mun viestistä niin sitä en tarkoittanut kirjoittaa tai vihjata. Jos joku aloittaa yleisemmän koneoppimisketjun niin sellaisessa olisi mukava keskustella asioista laajemminkin ottaen huomioon myös muiden valmistajien raudat+demot+tuotteet.

 

[Kaotik]

Mun viestin liha oli siinä, että nvidialta on tullut paljon papereita ja demoja koneoppimisen käyttämisestä, mutta hyvin harvoja reaalimaailman toteutuksia tuotteiksi asti. Äkkiseltään ei tule mieleen kuin dlss ja piirisuunnittelu oikeista tuotteista. Lieköhän gaugan, kohinanpoistot, NeRFs(neural distance fieldsit), autopuolen jutut(driveworks) yms. vielä mitään muuta kuin demoja?

Seleneen viittaava osa oli vain sen vuoksi, että saa käsitystä siitä, että nvidialla on painetta keksiä käyttöä koneoppimiselle, kun he ovat investoineet melko kalliin selene supertietokoneen omiin tiloihin. Vihjasin siihenkin suuntaan, että nvidia käyttää myyntimateriaalina sitä omaa supertietokonettansa. Helpottaa raudan myymistä, jos voi väittää itse supertietokonetta käyttävänsä ja osaavansa rakentaa vastaavan helposti muille(referenssi). En tarkoittanut tällä väheksyä muita valmistajia vaan tuoda sen esiin, että nvidialla on näissä jutuissa ehkä PR-kulma mukana. Pitää PR-kulman vuoksi ottaa suolan kanssa se mitä lukee heidän blogista ja papereista.

Jos jotain muuta joku luki mun viestistä niin sitä en tarkoittanut kirjoittaa tai vihjata. Jos joku aloittaa yleisemmän koneoppimisketjun niin sellaisessa olisi mukava keskustella asioista laajemminkin ottaen huomioon myös muiden valmistajien raudat+demot+tuotteet.

Kyllä NVIDIAlla ja asiakkailla niille on käyttöä nytkin, ettei sen takia ole "pakko keksiä jotain", mutta suurin osa sellaista mikä ei koske tai näy kuluttajille suoraan

 

[finWeazel]

Kyllä NVIDIAlla ja asiakkailla niille on käyttöä nytkin, ettei sen takia ole "pakko keksiä jotain", mutta suurin osa sellaista mikä ei koske tai näy kuluttajille suoraan

Voihan nuo mun viestit lukea kuin piru raamattua ja jättää sen oleellisimman huomaamatta. Jätän vänkäämisen tähän, kun en osaa paremmin enää selventää pääpointteja mitkä oli tarkoitus esitellä. lillukanvarret pysyköön lillukanvarsina.

 

[finWeazel]

Allaolevasta videosta näkee miten Nvidia käyttää Selene supertietokonettansa pr ja markkinointimateriaalina.



Nvidia tekee hopper-arkkitehtuurin päälle Selenen tapaan oman supertietokoneensa. Sen nimi on Eos. Pressijulkaisut ja tapa miten Eos:ia esitellään lienee myös hieman PR:aa vaikka nyt näyttää olevan niitä oikeita tuotteita varten olevia käyttötarkoituksia nvidialla sisäisesti käytössä. Moni muu tahohan vuokraa amazon/google/microsoftilta resursseja. Tuollainen oma kone on todella kallis lelu, jos sille ei ole 24/7/365 käyttöä. Yksi käyttötarkoitus markkinointi ja pr. Toiset käyttötarkoitukset tietenkin sisäisten projektien(dlss, piirisuunnittelu,...) ja tutkimustyön tekeminen.

Paljon helpompi myydä rautaa, kun voi näyttää referenssin miten pienempiä ja isompia ratkaisuja kasataan. Jos myy pelkkiä legoja niin polku supertietokoneen pystyttämiseen on vaikeampi.

In total, Eos (pictured in a rendering in the header) will contain 18 of these 32-DGX H100 Pods, for a total of 576 DGX H100 systems; 4,608 H100 GPUs; 500 Quantum-2 InfiniBand switches; and 360 NVLink switches. “Eos will offer an incredible 18 exaflops of AI performance, and we expect it to be the world’s fastest AI supercomputer when it’s deployed,” said Paresh Kharya, senior director of product management and marketing at Nvidia, in a prebriefing for press and analysts.

But Nvidia also, of course, intends Eos to pave the road for clients to build similarly large systems. Boyle said that while “[Nvidia wants] the best tools for our research and development teams to use internally,” the more important part for Nvidia’s customers is that “we have the exact copy of what they’re running. … And the advantage of building one thing and the advantage of building our own supercomputers out of that one thing is, pretty much no matter what size a customer has of their system, we’ve got an equivalent system or bigger in-house.”

Nvidia Announces 'Eos' Supercomputer

At GTC22 today, Nvidia unveiled its new H100 GPU, the first of its new ‘Hopper’ architecture, along with a slew of accompanying configurations, systems and accompanying technology and software. To […]

www.hpcwire.com

 

[finWeazel]

Linkinpäässä iso kasai "ai"-demoja. Noita on nvidialta tullut paljon kera papereiden. Tuo siis kontrastina sille, että mitä tehdään tuotannossa/tuotteiden kanssa versus missä tutkimus/demojutut menevät. Lienee sitä seleneä käytetty noiden demojen ja tutkimuksen tekemiseen pääasiassa. Nyt sitten noita rahaa tuottaviakin käyttötapauksia selenessä ajossa

Paint Me a Picture: GauGAN2 AI Art Tool
Take Conversations Global with World-Class Speech AI
Enter the Creative Mind of a Machine with Refik Anadol
Animating Facial Movements with a Click of a Button
Write Song Lyrics with a Little Help from AI and LyricStudio

http://gaugan.org/gaugan2/

The NVIDIA AI Playground

Research Demos, AI Art Gallery, Omniverse

www.nvidia.com

Ja tässä muutaman tutkimuspaperi purettuna helpommin ymmärrettävään muotoon
Valokuvasta 3d-härpäkettä.


Kasvojen virtuaalista luomista/manipulointia


Säteenseurannan optimointia neuroverkoilla



Papereita&demoja löytyy pilvin ja pimein lisää. Demoja/protoja/papereita ihan törkeän paljon enemmän tullut nvidialta kuin oikeita tuotekäyttötapauksia. Tosin jossain vaiheessahan demot muotoutuvat tuotteiksi. Jos ei muuten niin askelkivinä kohti tuotteita. Moni idea on keksitty tyyliin 100v sitten tai viimeistään 60-luvulla. Reaalimaailmassa vanhoja keksintöjä voidaan(laskentakapasiteetti) tai hoksataan soveltaa käytäntöön myöhemmin.