Suurenpieni konesalitason AI-kiihdytinkeskustelu (AMD, Intel, Nvidia,...)

[finWeazel]

Keskustelua konesalitason AI-kiihdytimistä kuten AMD MI300, intel Gaudi3 ja Nvidia H100. Ketjussa voi keskustella tekninen kulma edellä yrityksistä kuten tenstorrent, konesalitason AI-kiihdyttimien spekseistä, kaupallisesta puolesta ja seuraavan generaation piirien huhuista. Myös yksittäisistä isot asennukset kuten AMD pohjainen El Capitan ovat tervetullut lisä keskusteluun.

Tein ketjun, koska konesalikiihdyttimet alkavat olemaan sellaisia ettei niistä järkevästi voi keskustella gpu-ketjussa. Ketjun aihe tarkoituksella laaja. En usko, että näin laajallakaan haavilla keskustelua syntyy runsaasti.

 

[hsalonen]

Tämmöinen on ostoslistalla. Tosin ei mikään tuore ja kallis, vaan ihan vanhempi Tesla (P40 tai P100 - tai molemmat).

Noin 5-6 vuotta ja nuo "vanhenee" konesaleissa. Sitten tulee Kiinassa myyntiin halvalla - tai miksei myös täällä, mutta vähemmässä määrin kuitenkin.

Tuolla vähän Nvidian Tesloista.

Nvidia Tesla - Wikipedia

en.wikipedia.org

--

..tai itseasiassa, Tesla P4 on jo, mutta askartelen siihen jäähyä.


--

..ja voit saada enemmän keskustelua, kun otat "konesalitason" pois. Sitten saat tämmöisiä vermeitä mukaan:

Coral

Build intelligent ideas with our platform for local AI

coral.ai

 

[finWeazel]

Konesalien kokoluokkaa kuvaa hyvin kaksi noin 500M$ Intia diiliä. Molemmissa kaupoissa myyty noin 16000 kiihdytintä. Yhden kiihdyttimen hinnaksi tulee noin 31000$. Toki hinnassa on paljon muutakin kuin kiihdytin kuten tarvittava cpu, verkko, emolevy, jäähdytys jne. Hullua ajatella miten isoja ratkaisuja nyt myydään kuin liukuhihnalta. 10000+ kiihdytintä asennuksia syntyy kuin sieniä sateella.

Yotto's CEO and co-founder Sunil Gupta revealed that the new order includes 16,000 units of NVIDIA's H100 and GH200 AI GPUs, which are expected to be delivered by March 2025. Moreover, the firm has previously placed an order for 16,000 NVIDIA H100 GPUs, also due for delivery by July. Hence, a rough estimate suggests that total order valuation has indeed exceeded a billion-dollar mark

NVIDIA Secures a Huge AI GPU Order From India, Worth Over Half A Billion Dollars

NVIDIA has secured a huge AI order from Indian data center operator Yotta, as total order valuation is expected to exceed the $ billion mark.

wccftech.com

 

[hsalonen]

Yhden kiihdyttimen hinnaksi tulee noin 31000$.

..ja juuri tuon takia tässä ketjussa ei kenelläkään ole tuommoista. Ehkä 10v päästä, kun Yotto vaihtaa parempiin.

 

[finWeazel]

..ja juuri tuon takia tässä ketjussa ei kenelläkään ole tuommoista. Ehkä 10v päästä, kun Yotto vaihtaa parempiin.

Noihan taitaa yleensä olla jotain 8 kiihdytintä per kotelo ratkaisuita konesalissa. Jotain 5kW+ per pömpeli. Hellan/kiukaan tilalle pöhiseen. Mielenkiintoista seurata AI kiihdyttimien kehittymistä vaikkei itsellä ole mitään mahdollisuutta tuollaista ostaa. Pilvestä vois tietty vuokrata rautaa, jos uteliaisuus riittää.

------------

Lisa Su sanoi joulukuun advancing ai eventin yhteydessä, että mi300 maailman monimutkaisin piiri. Yhden mi300:en valmistaminen kestää 7-8 kuukautta. Täytyy hattua nostaa amd:lle miten ovat saaneet tuollaisen tuotantoon. Lähde suurinpiirtein aikaleimalla

 

[finWeazel]

Mielettömän kokoisia konesaleja rakentavat yksityiset firmat. Maa ja maanosatason toimijoiden supertietokoneet pieniä versus vaikkapa meta. Meta ostamassa tänä vuonna 350000 h100:sta nvidialta. Arvioitu hinta nvidia kaupoista 10.5miljardia.

Olisi kiva tietää mitä muu gpu kapasiteetti pitää sisällänsä. Lienee ainakin nvidian vanhaa ja amd:n mi300:sta seassa. Olisikohan metalla loppuvuodesta myös myös nvidian h200, blackwell ja jotain inteliä?

“We’re building an absolutely massive amount of infrastructure to support this,” Zuckerberg said. “By the end of this year, we’re going to have around 350,000 Nvidia H100s. Or around 600,000 H100 equivalents of compute if you include other GPUs.”

https://www.pcmag.com/news/zuckerbergs-meta-is-spending-billions-to-buy-350000-nvidia-h100-gpus

 

[finWeazel]

AI kiihdyttimissä käytettyjen HBM-muistien liikevaihdon uskotaan tuplaantuvan 2025 vuonna versus 2023. Antaisi olettaa, että AI-kiihdyttimien markkina jatkaa kasvamistaan. Toki muisteja menee muihinkin laitteisiin, mutta ne lienee pisara meressä. En usko, että voi vetää liikevaihdon kasvusta yhtäsuuruusmerkkiä kiihdyttimien myyntimäärään. Uskon, että muistin määrä per kiihdytin voi kasvaa uusissa tuotteissa kuten h200 ja b100.

Mielenkiinnolla odotan mikä on AI markkinan todellinen koko. Tällä hetkellä kysyntä vaikuttaa rajattomalta, mutta ei kai tämä tilanne voi kovin pitkään jatkua?

Seeing this, the market researcher Gartner reports that the HBM market will reach a whopping US$4.976 billion by 2025, which is almost a two-times increment when looking at the figures achieved in 2023. The estimate is solely based on the current and anticipated demand from the industry, and no surprises here since the key area where HBM sells the most is its application in AI GPUs.

HBM Industry Set To Double In Revenue By 2025, Courtesy of Next-Gen AI Chips By NVIDIA & Others

The HBM market, which is often said to be the backbone of AI computing, is set to double in market revenue by 2025.

wccftech.com

 

[Hellsinki]

Mites nämä nykynäyttisten ai kiihdyttimet poikkeaa noista kalliista?

 

[finWeazel]

Mites nämä nykynäyttisten ai kiihdyttimet poikkeaa noista kalliista?

Kalliimmissa on grafiikkaominaisuuksia karsittu ja lisätty tensoriytimiä. Kalliimmissa nopeampi piirienvälinen muistikoherentti yhteys mikä nvidian tapauksessa mahdollistaa suoraan kahdeksan kiihdyttimen yhteenkytkimisen nvlinkillä. Nvlink kytkimen avulla 256 gpu:ta yhteen(8x32) ja koherentti muistiavaruus. Nopeammat muistit(hbme) ja isommat muistikapasiteetit. Nvidian kiihdyttimen kanssa mahdollista käyttää nvidian arm cpu:ta mikä kytketään nvlink c2c väylällä kiinni gpu:hun. NVLink c2c tarjoaa oleellisesti enemmän kaistaa cpu-gpu välillä kuin pci gen 5. Cpu:n muisti myös koherentti nvlinkin yli koko 256 gpu:n järjestelmään asti. Muistikoherenttius helpottaa koodarin elämää.

Ylläolevat suurimmat erot ellen unohtanut jotain. Toki arkkitehtuurit itsessään ovat enemmän laskenta kuin peliorientoituneita niin muutoksia on enemmän kuin "vähemmän grafiikkaominaisuuksia enemmän tensoriytimiä".

 

[hsalonen]

Mites nämä nykynäyttisten ai kiihdyttimet poikkeaa noista kalliista?

Yleisesti, jos ei katsota tuota @finWeazel teknisiä juttuja, niin suurimmat muutokset ovat mielestäni: AI-kiihdyttimissä on enemmän muistia ja/tai ne ovat suuremman kaistan päässä (esim. HBM). Isompi kaista on kuitenkin tärkeämpää AI:n opettamiseen, niin voi olla ihan normaalia GDDR6:sta, jos ei ole mallin treenaamiseen tarkoitettu kiihdytin.

Nykynäyttis toimii ihan samalla lailla AI-käytössä, mutta on hitaampi.
Lisäksi, jos malli ei mahdu muistiin, niin koko homma hidastuu paljon. Siksi AI-käyttöön ostetaan 4090:iä, kun siinä on 24GB muistia.

 

[finWeazel]

TSMC tuplaa CoWoS paketointikapasiteetin. Mielenkiintoista miten paketointikapasiteetti skaalaa suurinpiirtein samalla nopeudella kuin muistipiirien markkina. TSMC:n paketointikapasiteetti kertonee paljon siitä miten AI konesalimarkkina voi teoriassa kasvaa. Toki on tsmc:n ulkopuolisiakin tahoja jotka tarjoavat paketointia.

TSMC Doubling CoWoS Production As AI Bandwagon Is Expected To Ride Its Way Into 2024, Expanding The Supply & Demand Chain To New Levels

The report states that TSMC's monthly CoWoS output could reach up to 32,000 units by the end of 2024, and this figure could potentially reach 44,000 units by the end of next year as well, which means that the firm is continuously working on the upgrade of its existence facilities, to ensure a streamlined supply of packaging, without any disruptions, such as those witnessed in the past.

TSMC to Double CoWoS Production By This Year, Attracting Huge Client Interest

TSMC is reportedly giving its all regarding the highly demanding CoWoS supply, as the Taiwanese giant plans to double down on production.

wccftech.com

 

[finWeazel]

Aloituspostauksesta unohtui tesla. Tesla rakentaa omaa Dojo piiriänsä ja sen ympärille supertietokonetta. Tesla rakentaa yhden 500M$ Dojo-asennuksen new yorkiin. Musk iteroi myös, että tesla käyttää 2024 aikana miljardeja Nvidian rautaan. Ilmeisesti miljardiasennukset ovat pelin henki tällä hetkellä, jos haluaa pelata isojen poikien liigassa. Teslalla on jo ennestään iso Dojo asennus jossain muualla(piilaakso?), nvidian H100:sta 10000+ ja a100:sta vajaa 10000 kipaletta.

Muskin postauksessa saadaan yksi lähde lisää hinnalle mitä h100 asennukset maksavat.

Ihan vakuuttava slaidi dojo-raudasta. Jotain toki kertoo se, että tesla edelleen ostaa gpu:ta dojon lisäksi.

 

[finWeazel]

Lisa Su/AMD sanoo, että 2027 AI-konesali on 400 miljardin markkina. Sijoittajapuhelussa lisa su tarkensi, että tuo markkina on pääasiassa gpu:ta. Iso kupla vai uusi normaali?

 

[finWeazel]

META laittaa konesaliin inferenssikäyttöön itse suunnittelemaansa rautaa tänä vuonna. Sijoittajapuhelussa Zuckerberg ennakoi, että infrastruktuuriin sijoittaminen jatkuu 2025 vuonna. Sanoi myös, että uudet paremmat ai-mallit tuntuvat vaativan 10x laskentakapasiteetinv versus edelien malli. Jos mikään ei muutu niin rautaa tarvitaan konesaleihin erittäin rajuja määriä. Ehkä amd:n ennustama 400miljardin markkina 2027 tapahtuu.

Sitä odotellessa, että keksitään konealgoritmeja joiden opettaminen on halvempaa.

"We see our internally developed accelerators to be highly complementary to commercially available GPUs in delivering the optimal mix of performance and efficiency on Meta-specific workloads," a spokesperson for Meta told Reuters, confirming the plan to deploy the company's own chips.

Meta to deploy custom-designed Artemis AI processor alongside commercial GPUs

Artemis processor could save Meta hundreds of millions of dollars.

www.tomshardware.com

 

[finWeazel]

Alla mun käsitys tässä ketjussa alkaneeseen vääntöön mistä nvidian konesalimyynti koostuu: Samsung ja SK Hynix esittelevät GDDR7-muisteja tulevassa ISSCC 2024 -tapahtumassa

Yksinkertaisin argumentti on todennettu väite pullonkaulan olemisesta paketointi. Pullonkaulana olevaa paketointia ei käytetä adassa joten kyseessä täytyy olla hoppereista puutetta. Pidempää mietintää alla.

Jenseniltä oli jossain suora lainaus missä sanoi että nvidia on paketointi ei piirituotantorajotteinen AI-tuotteissa. En jaksa googletella tähän hätään lainausta. Odotellaan vaikka Q4 tulos ja katsotaan mitä siellä kommentoidaan. Tulos tulee 3vk päästä.

TSMC admitted in mid-2023 that demand for its chip-on-wafer-on-substrate (CoWoS) has exceeded its production capacity, and the company vowed to double capacity by the end of 2024. But while TSMC is building up its CoWoS capabilities, Nvidia would like to ship as many of its high-demand AI processors as possible — which is why it's tapping Intel to use its advanced packaging technology (in addition to TSMC's), according to a report from money

Nvidia reportedly selects Intel Foundry Services for GPU packaging production — could produce over 300,000 H100 GPUs per month

But which GPUs?

www.tomshardware.com

4090 myynnit löytyvät peli segmentistä. Voidaan päätellä jotain miten paljon peli gputa on ostettu katsomalla kvartaalituloksia. Peligpu myynnille ennustettiin laskua q4:lle minkä tulos saadaan reilun 3vk päästä. AMD ennusti peli gpu puolelle double digit laskua koko vuodelle 2024.

2023 aikana esimerkiksi microsoft ja meta ostivat isosti hopperia. Kun laskee julkisesti tiedetyt hopper diilit yhteen ei jää paljoa tilaa adalle konesalissa kun katsoo miten paljon nvidian konesali teki liikevaihtoa. Julkisesti tiedetään allaolevien 18 miljardin lisäksi isommista amazon ja google hopper diileistä + monia pienempiä diilejä miljardiluokassa(konesali startuppeja, tesla,...). Jotain adaa varmasti menee konesaliin, mutta pisara meressä versus hopper.

Microsoft and Meta are the biggest spenders on the company’s H100, the coveted $30,000 chip that powers generative AI products. In 2023, both companies spent $9 billion on these hot chips, according to a report by financial services firm DA Davidson.

Nvidia’s biggest customers are also the AI chip maker’s biggest threat

Microsoft and Meta are buying up chips from Nvidia while also building their own

qz.com

Toinen anekdootti on saatavuus. Hopperissa 6kk-12kk jonot riipuen tuotteesta. Ada rtx 6000 kortteja saat kaupasta käteen viikon toimitusajalla. Toinen myy isosti eioota, toinen ei. Nvidian konesalibisnes on täysin paketointirajotteinen(hopperin hbm muistit). Tuota paketointia ei tarvita ada-piirien kanssa.



Dellin kommentit joulukuun alulta.

Dell has told investors that demand for AI servers has surged, but buyers will be forced to wait 39 weeks to get their hands on the hardware due to supply chain constraints.

Dell bemoans 39-week lead time for Nvidia-powered servers

Revenue and net income down, server market flickers, PCs fail to ignite

www.theregister.com

 

[Raparipa]

META laittaa konesaliin inferenssikäyttöön itse suunnittelemaansa rautaa tänä vuonna. Sijoittajapuhelussa Zuckerberg ennakoi, että infrastruktuuriin sijoittaminen jatkuu 2025 vuonna. Sanoi myös, että uudet paremmat ai-mallit tuntuvat vaativan 10x laskentakapasiteetinv versus edelien malli. Jos mikään ei muutu niin rautaa tarvitaan konesaleihin erittäin rajuja määriä....[/snip]

Hyvää luettavaa kasailet, kiitoksia vaivannäöstä!

Tuo on optimointi (tai sen puute) ja ennusteet laskentabudjetin kasvusta on kiinnostavaa. Nykyisellään edes keskikokoisilla kansallisvaltiolla ei ole edellytyksiä liittyä kisaan, puhumattakaan pienemmillä yrityksillä. Tämä jako tulee aiheuttamaan suhteellisen mielenkiintoisen lähitulevaisuuden kun muutama suurempi (ameriikkalainen) yritys hallitsee valtaosaa AI malleista ja tarvittavasta laskentakapasiteetista. Kiina ja Venäjä toivottavasti jää jälkeen väännössä, mutta jos EU ei onnistu keskittämisprojekteissaan, niin ei se kunnian kukko meillekkään laula.

Tarvetta optimoinnille olisi, mitenköhän valideja nämä SSN:n tai "Neuromorphic computing":t yms ovat kehitystyölle, onkohan nähtävissä jotain saumaa pienemmillä pelureille?
Akilleen kantapäänähän on että työkalujen parantuessa, yksittäiset valtiot (Iran/P-Korea/jopa yksityiset tahot) saavat hyvinkin tehokkaita työkaluja erilaisiin destabilointi proggiksiinsa. Ja jälleen heikommassa asemassa ovat pienet kansallisvaltiot joilla ei ole kapasiteettia tehdä edes perustutkimusta, puhumattakaan kykyä kehittää tehokkaita torjuntatyökaluja vaikuttamiseen. Tällöin helpolla ainoaksi vaihtoehdoksi jää liittoutua isompien kanssa ja alkaa käyttämään heidän palveluitaan...

Miten muuten on Suomen tilanne? Onko mitään suurempia (konesali/rauta/tutkimus) hankkeita AI puolella tekeillä? Suomellahan on perinteitä supertietokonepuolella, onko vastaavaa nähtävissä myös AI puolella vai ollaanko jääty junasta?

 

[finWeazel]

@Raparipa Oma ymmärrys turhan pieni, että osaisi paljoa kommentoida. Kuvan kirjaa tavannut läpi. Siinä on todella hyvin selitetty miten nykyiset neuroverkot toimivat. Ei tunnu tuosta kirjasta löytyvän vastausta siihen miten saataisiin neuroverkot oppimaan vähemmällä laskentakapasiteetilla. Oiva kirja, kun panostettu selkeään tekstiin ja erittäin hyviin kuviin. Matematiikka minimoitu ja sen joutuu jostain muusta kirjasta opettelemaan. Uskon, että tulee olemaan tuo kirja joka työpaikalla ja koulussa.

Hyvä havainto kansallistason toimijoista. Aamun uutisia plärätessä löytyi jensen kertomassa, että eri maat heränneet omien konesalien tarpeeseen. Uskon, että kansallistason toimijoilla ongelmaksi tulee hyvien työntekijöiden löytäminen. Yksityisellä puolella huiput saa ihan älyttömän kovia palkkoja.

“It’s become abundantly clear to each one of the countries that their natural resource, which is the data of the country, should be refined to produce intelligence for their country,” Huang said.

Videon sisältö tekstimuodossa: Push for AI sovereignty will see growth of tech sectors in ‘every single country’ worldwide, Nvidia CEO Jensen Huang says

 

[finWeazel]

Nvidian huhutaan alkavan tekemän asiakaskohtaisesti räätälöityjä piirejä. Räätälöidyt piirit auttavat virrankulutuksessa, suorituskyvyssä ja ratkaisun kokonaishinnassa. Jännittävä nähdä ottaako tämä bisnes tuulta allensa. Räätälöidyille piireille on tarvetta. Tiedetään että suurinpiirtein kaikki isot talot ovat joko miettineet tai tekemässä omia ratkaisuja(meta, amazon, microsoft, google,...)

Nvidia is now attempting to play a role in helping these companies develop custom AI chips that have flowed to rival firms such as Broadcom and Marvell Technology, according to the sources who declined to be identified because they were not authorized to speak publicly.

"If you're really trying to optimize on things like power, or optimize on cost for your application, you can't afford to go drop an H100 or A100 in there," Greg Reichow, general partner at venture capital firm Eclipse Ventures said in an interview. "You want to have the exact right mixture of compute and just the kind of compute that you need."

Exclusive-Nvidia pursues $30 billion custom chip opportunity with new unit -sources

SAN FRANCISCO (Reuters) -Nvidia is building a new business unit focused on designing bespoke chips for cloud computing firms and others, including advanced artificial intelligence (AI) processors, nine sources familiar with its plans told Reuters. The Santa Clara, California-based company...

finance.yahoo.com

Oletan, että kustomointi liittyy inferenssi-kuormiin. AI-mallit opetetaan geneerisillä kiihdyttimillä. Mahdollisesti satojen miljoonien ellei miljardien asiakkaiden käyttämien palveluiden inferenssikyselyt menisivät räätälöidyn eli optimoidun piirin läpi. Inferenssipuolella paljon isompi tarve raudalle kuin opetuspuolella olettaen, että google haut, mainokset tai ylipäänsä "kaikki" webbijutut käyttäisivät jonkinlaista AI:ta taustalla.

 

[finWeazel]

ARM jysäytti jäätävän tuloksen. ARM:in mukaan AI ei ole kupla ja on tullut jäädäkseen.

“AI is not in any way, shape or form a hype cycle,” Rene Haas said in an interview on Bloomberg Television. “We believe that AI is the most profound opportunity in our lifetimes, and we’re only at the beginning.”

Arm Says AI Boom Just Beginning After Record-Setting Rally

(Bloomberg) -- Arm Holdings Plc shares surged 48% on Thursday after artificial intelligence spending helped bolster the chip designer’s forecast. And the company’s chief executive officer said the remarkable opportunity presented by AI is still in its early stages. Most Read from BloombergThe...

finance.yahoo.com

Nvidian IP-lisensointi suunnitelmat ilmeisesti alunperin liittyivät yritettyyn arm-ostokseen. Nvidia oli suunnitellut lisensoivansa omia teknologioitaan arm:in kyljessä. Huhut ip-lisensoinnista sen suuntaiset, että nvidia tarjoaisi omaa IP:ta amazon/microsoft/google/openai/... suuntaan. Lisensoija suunnittelee ja valmistuttaa omat piirinsä. Nvidia ei siis tekisi kustomoituja piirejä vaan pelkästään lisensoisi IP:ta. Lisensointi tapahtyy myös arm-pohjaisiin windows koneisiin/mobiiliin, mutta ne on ihan toisten ketjujen aiheita: MediaTek to Use Nvidia GPU Tech for Smartphone, Windows-on-Arm SoCs: Report.

ARMin AI-julistuksen lähde videomuodossa

 

[xylitoli]

OpenAI CEO Sam Altman seeks as much as $7 trillion for new AI chip project: Report

OpenAI CEO Sam Altman wants to overhaul the global semiconductor industry with trillions of dollars in investment, The Wall Street Journal reported.

www.cnbc.com

Altman etsimässä lisää pelimerkkejä, kun ei ole tyytyväinen nykyiseen HW saatavuus tilanteeseen. Jos tuollainen 7 jenkki triljoonaa löytyisi, niin sen nopea käyttäminen AI HW saatavuus ongelman ratkaisemiseen itsessään puhaltaisi valtavan kuplan.

 

[finWeazel]

OpenAI CEO Sam Altman seeks as much as $7 trillion for new AI chip project: Report

OpenAI CEO Sam Altman wants to overhaul the global semiconductor industry with trillions of dollars in investment, The Wall Street Journal reported.

www.cnbc.com

Altman etsimässä lisää pelimerkkejä, kun ei ole tyytyväinen nykyiseen HW saatavuus tilanteeseen. Jos tuollainen 7 jenkki triljoonaa löytyisi, niin sen nopea käyttäminen AI HW saatavuus ongelman ratkaisemiseen itsessään puhaltaisi valtavan kuplan.

Ongelma saatavuudessa on paketointi. Nvidian kohdalla paketointi vain hbm-muisteista kiinni. AMD:lla chipletit+hbm mi300:ssa niin paketointi vielä pykälän vaikeampaa. Kestää yhden mi300:en tekeminen lisa sun mukaan 7-8kk. Piirejä itsessään saadaan tehtyä tarpeellinen määrä, mutta niitä ei saada paketoitua.

TSMC luvannut paketointikapasiteetin tuplauksen tänä vuonna. Nvidia teki myös diilin intelin kanssa paketoinnista. Jos kysyntä ei kasva niin ehkä nuo paketointikapasiteetin lisäykset riittävät siihen ettei pulaa tuotteista enää ole 2025? Paketointikapasiteettia ei saa sormia napsauttamalla lisää. Olettaen, että openai käyttää hbm-muisteja niin törmäävät samaan paketointiongelmaan kun nvidia ja amd on jo ostaneet kaiken kapasiteetin. Lähteet intel ja tsmc paketointi aikaisemmin ketjussa. Lähde amd 7kk-8kk per piiri kans ketjussa.

OpenAI kai haluaa kustomoidun inferenssiratkaisun. Opetuspuolella edelleen gpu:ta, mutta käyttäjien pyyntöjen(inferenssi) palveleminen kustomoidulla hinta ja virrankulutusoptimoidulla raudalla. Mielenkiintoista nähdä saako esimerkiksi nvidia myytyä ip:nsa microsoft/open ai akselille, lisensoiko openai broadcom/... tai tekeekö täysin itse. Jos nyt alkavat tekemään rautaa niin tuskin alle kahdessa vuodessa saavat tuotantoon. Amazon, microsoft, google jne. myös jahtaavat kustomoitua inferenssiratkaisua.

Kustomoidun inferenssin ymmärtää, kun miettii että mitä tarkoittaa iso tai edes pieni epätehokkuus tulevaisuudessa kun palvellaan miljoonia/satoja miljoonia/miljardeja ai-avustettuja pyyntöjä per päivä. Olettaen siis, että ai-palvelut päätyvät isolla tavalla tuotantoon.

 

[Kenjinxs]

millos se AI otti terminaattorissa vallan.. ollaanko kohta lähellä?

 

[finWeazel]

millos se AI otti terminaattorissa vallan.. ollaanko kohta lähellä?

Ollaan todella kaukana AGI:sta eli todellisesta keinoälystä(Artificial General Intelligence). Nykyiset neuroverkot ovat hyviä ennustamaan mikä kirjain/sana/pikseli/... tulee seuraavaksi. Pohjautuvat tilastoihin ja painoihin. Ei mitään todellista älyä sisässä. Ei tiedetä miten AGIn voisi rakentaa. Laskentakapasiteettia oletettavasti suurimmissa supertietokoneissa on tarpeeksi AGI:n tekemiseen, mutta ei osata koodata sellaista.

Moneen juttuun tuollainen "tyhmä" ennustaminen tosin toimii. Kuvien generointi, tekstin kääntäminen kielestä toiseen, erilaiset chatbotit jne.

Parempi keskustelu AGI:sta, roboteista jne. täällä Robotit ja tekoäly vie työpaikat

 

[xylitoli]

OpenAI kai haluaa kustomoidun inferenssiratkaisun.

Veikkaisin että hyvin todennäköisesti. OpenAI, ja miksei muutkin vastaavan kokoiset kehittäjät huomaavat potentiaalisesti hyviä algoritmejä, jotka eivät kuitenkaan toimi tehokkaasti nykyisessä parhaassa raudassa, koska siitä puuttuu feature xyz. Jos tuon xyz featuren saisi, niin kyseinen kehittäjä saisi etua.
Ja toisaalta kyseinen xyz ei välttämättä kiinnosta muita kehittäjiä, mikäli heillä eri suuntaisia ideoita tulevaisuuden algoritmeistä.
Tämä ei tietty varmaan ole ainoa syy, mutta joka tapuksessa vaikuttaa olevan kysyntää saada kustom rautaa inferenssiin. Arviota näkynyt että olisi 30mrd markkina (en nyt muista millä aikajaksolla).

 

[finWeazel]

Veikkaisin että hyvin todennäköisesti. OpenAI, ja miksei muutkin vastaavan kokoiset kehittäjät huomaavat potentiaalisesti hyviä algoritmejä, jotka eivät kuitenkaan toimi tehokkaasti nykyisessä parhaassa raudassa, koska siitä puuttuu feature xyz. Jos tuon xyz featuren saisi, niin kyseinen kehittäjä saisi etua.
Ja toisaalta kyseinen xyz ei välttämättä kiinnosta muita kehittäjiä, mikäli heillä eri suuntaisia ideoita tulevaisuuden algoritmeistä.
Tämä ei tietty varmaan ole ainoa syy, mutta joka tapuksessa vaikuttaa olevan kysyntää saada kustom rautaa inferenssiin. Arviota näkynyt että olisi 30mrd markkina (en nyt muista millä aikajaksolla).

Tuohan se syy siihen kustomiin on. 30 miljardia markkinan koko tänä vuonna ja kasvaa tuosta ollen vähintään tuplat 2025. Suurimmat lisensoijat kustom puolella marvel ja broadcom. Nvidia lähtee tuohon ip-lisensointiin myös mukaan. Toinen "uusi" pelaaja tenstorrent. Tarvii aikalailla jakaa kahtia markkina inferenssiin ja opetukseen. Opetus paljon monimutkaisempi, inferenssiraudat melko yksinkertaisia monessa mielessä lähtien siitä, että opetus tarvii kymmeniä tuhansia kiihdyttimiä, yksi piiri voi palvella montaa inferenssikyselyä yhtä aikaa olettaen että muistia on riittävästi.

Tarve ja halu tehdä kustom piirejä puhuu sen puolesta, että yritykset eivät usko AI:n olevan kupla mikä menee nopeasti ohi. Turha tehdä kustom piiriä mikä on valmis tulevaisuudessa ja palvelee isoja massoja jos "AI" ei lähde lentoon.

Why Nvidia Is Entering The $30B Market For Custom Chips

Nvidia could become a tech licensing powerhouse.

www.forbes.com

 

[xylitoli]

Sen puolesta mitä tässä on tullut pyöriteltyä erinnäisiä AI-systeemejä, voin veikata että AI on samanlainen "kupla" kuin mikroprosessori, PC ja kännykät/älypuhelimet.
=Hyödyllisiä ja yleistyvät asteittain kaikkialle ja jokapäiväiseen käyttöön.
=Tapahtuu hype vaihe, jossa osan toimijoista osake kuplaantuu (en osaa arvat onko tämä jo takana vai vasta edessä, vai tapahtuuko useana aaltona.)
=Muutamassa vuodessa (kunkin) kuplavaiheen toimijoita on kaatunut, tullut ostetuiksi jne, vaikutus kursseihin on tasaantunut

Ja sitten tavallaan vasta-argumentti / huomio poikkeavuudesta aiempaan:
--> Nythän suurinpiirtein kaikki suurimmat teknopuolen yritykset ovat tekemässä jotain siivua AI:n suhteen. Näin laajalla rintamalla osallistuminen on ennemminkin tyypillistä vasta kuplavaiheen jälkeisessä ajassa, jolloin tekniikka on saavuttanut vakiintunutta asemaa.

Yleistymiselle jokapäiväiseen käyttöön on tietysti oleellista pystyä tuottamaan AI-palveluja riittävän edullisesti / kilpailukykyiseen hintaan.

 

[finWeazel]

Pudotuspeli alkaa AI-kiihdytinpuolella. Englantilainen graphcore rahallisissa ongelmissa. Ongelmia lisää kiinaa kohtaan olevat pakotteet, jotka iskivät graphcoren kiinan yksikköön. Lisärahoituksen hakeminen ei ole oikein onnistunut. Saapa nähdä miten käy, konkka, joku iso ostaa graphcoren pois, näivettyminen?

Graphcore reportedly explores sale: Arm, OpenAI, and Softbank named as rumored potential buyers

Bleeding AI processor designer reportedly considers strategic options.

www.tomshardware.com

Toisissa uutisissa jim keller ja raja koduri väänsivät peistä siitä, onko cuda ai vallihauta vai ei. Kodurin mielestä cuda ei ole este vaan vaikeus tulee siitä, että pitäisi pointteri ja c-tuki toteuttaa gpu:hun. Osa ongelmaa toki ei pelkkä pointteri vaan muistiosoitusten nopeus isoissa klustereissa. Pointteri voi osoittaa toisen gpu:n tai cpu:n muistiin minkä käpisteleminen on hidasta ja ei olisi suotavaa odotella pitkiä aikoja dataa.

Jim Kellerin mielestä cuda no loputon suo.

Jim Keller Calls NVIDIA's CUDA A "Swamp", Says x86 Was a Swamp Too

Jim Keller has shared a string of posts where he has called out NVIDIA's CUDA for being a swamp & also said the same was true for x86.

wccftech.com

 

[demu]

Dellin lipsautuksen mukaan nVidian tulevat Blackwell B100 ja B200 kuluttaisivat virtaa 1000W/GPU.
Nousu nykyisestä H100/H200:n 700W virrankulutuksesta olisi aika merkittävä.

Nvidia's next-gen AI GPUs could draw an astounding 1000 Watts each, a 40 percent increase — Dell spills the beans on B100 and B200 in its earnings call

A lot of power for an AI and HPC processor.

www.tomshardware.com

 

[finWeazel]

Dellin lipsautuksen mukaan nVidian tulevat Blackwell B100 ja B200 kuluttaisivat virtaa 1000W/GPU.
Nousu nykyisestä H100/H200:n 700W virrankulutuksesta olisi aika merkittävä.

Nvidia's next-gen AI GPUs could draw an astounding 1000 Watts each, a 40 percent increase — Dell spills the beans on B100 and B200 in its earnings call

A lot of power for an AI and HPC processor.

www.tomshardware.com

Toinen huhu on, että b100:en koostuisi useammasta piiristä samassa paketissa. 18.3 selviää, kun jensen pitää GTC-messujen keynoten. 1000W itsessään ei ole mikään negatiivinen tai positiivinen asia. Lopputuloksen haluttavuus riipuu siitä mikä suorituskyky on. Jossain määrin voi miettiä myös sitä miten paljon tilaa suorituskyky vaatii. Viime vuonna tuli kuunneltua podcasteja konesalien rakentamisesta. Niissä tuli ilmi aika selvästi, että gpu konesalit pitää suunnitella jäähdytyksen ja virransyötön osalta eri tavalla kuin cpu konesalit. GPU:t ottavat enemmän virtaa ja tuottavat enemmän lämpöä kuin cpu:t.

Jensen viittaillut siihen että b100:en suorituskyky on "off the charts" ja saisi pienemmällä klusterilla enemmän aikaan. Tämä lienee siinäkin mielessä oleellista, että saataisiin isompi osa kuormasta pysymään muutaman gpu:n sisällä ja nodejen välistä kommunikaatiota vähemmäksi. Bittien liikuttaminenkin nodejen välillä(nvlink, infinityband) maksaa energiaa ennen kuin miettii edes latenssia ja suorituskykyä.

There's No AI Without Nvidia. Meet the CEO Powering the Future

Tech companies can't get enough of Nvidia, the chipmaker powering the AI revolution. Meet the CEO charting the company's future—and the entire industry's along with it.

www.wired.com

Yksi H200 gpu 700W. 8gpu laatikko missä myös cpu:t, verkko yms. mukana 5.6kW. Virrankulutus/Lämmöntuotto konfiguroitavissa jossain määrin, kun piirien kellotaajuuksia yms. voi säätää.

SunbirdDCIM Blog

NVIDIA H200 Power Requirements: Can Your Racks Support Them?

www.sunbirddcim.com

 

[finWeazel]

Cerebras on esitellyt kolmannen generaation piikiekkotason AI-kiihdytintä. Speksit on massiiviset.

Cerebras Intros 3rd Gen Wafer-Scale Chip For AI: 57x Larger Than Largest GPU, 900K Cores, 4 Trillion Transistors

Cerebras systems has unveiled the largest chip ever built for AI, the WSE-3, with 900,000 cores & 57x larger size than the largest GPU.

wccftech.com

Cerebras esitteli myös uutta supertietokoneratkaisuaan: Product - System - Cerebras

 

[finWeazel]

Nvidian GTC keynote missä esittelivät uuden konesaligpu:n



Niin paljon tavaraa etten edes yritä purkaa auki täysin. Blackwell koostuu kahdesta maksimikoon tsmc 4NP teknologialla tehdystä piiristä. Piirit sulautettu yhteen ja piirien välillä 10TB/s kaistaa. Kahdem piirin ratkaisu näkyy yhtenä gpu:na käyttöjärjestelmälle. NVlinkit yms. kans saaneet boostia. Kaksi erilaista blackwell konfiguraatiota. Toisen voi asentaa suoraan hopper-pohjaiseen serveriin ja toinen on natiivi blackwell mitä varten pitää suunnitella/ostaa uusi serveri.

1.8TB/s nvlink on melkein yhtä nopea kuin a100:en muistinopeus. a100:en hbm muistit oli 2TB/s. Jäätävän nopea linkkii tuo nvlink gpu-gpu liikenteeseen. Toki suorituskyky hyytyy kun miettii 72 gpu järjestelmää missä kaikki gpu:t on kytketty toisiinsa kiinni nvlink+nvlink kytkimien avulla.

Lopputuloksena voi rakentaa entistä massiivisemman supertietokoneen

 

[miksu8]

Nvidian A6000-näyttiksellä pääsee hyvin alkuun jos haluaa lokaalisti soveltaa valmiita isompia malleja. Viime sukupolven malli on jopa jotenkin järkevissä hinnoissa.

 

[finWeazel]

Nvidian A6000-näyttiksellä pääsee hyvin alkuun jos haluaa lokaalisti soveltaa valmiita isompia malleja. Viime sukupolven malli on jopa jotenkin järkevissä hinnoissa.

Tän ketjun idea enempi keskustella konesaliraudasta kuin peli gpu pohjaisista korteista. Useampaan otteeseen tullut sanomista, kun hopperista, mi300x:sta tms. yrittänyt geneerisissä gpu-ketjuissa jutella. AI kehitystyölle/testailulle yms. myös omat ketjunsa, jos tekee jotain konkreettista koneoppimisen parissa.

 

[finWeazel]

Mitähän tuollainen 72gpu blackwell räkki maksaa? 2-3miljoonaa? Painoa vajaa 1400kg, 120kW, 72gpu:ta. 36cpu:ta, 13.5TB HBMe3 muistia, 17.28TB LPPDR5x muistia, laskentatehoa 1.44Exafloppia fp4 formaattia käytettäessä

In the case of Nvidia's NVL72, both the compute and NVLink switches are liquid cooled. According to Huang, coolant enters the rack at 25C at two liters per second and exits 20 degrees warmer.

A closer look at Nvidia's 120kW DGX GB200 NVL72 rack system

1.44 exaFLOPs of FP4, 13.5 TB of HBM3e, 2 miles of NVLink cables, in one liquid cooled unit

www.theregister.com

 

[kurkimies]

Mitähän tuollainen 72gpu blackwell räkki maksaa? 2-3miljoonaa? Painoa vajaa 1400kg, 120kW, 72gpu:ta. 36cpu:ta, 13.5TB HBMe3 muistia, 17.28TB LPPDR5x muistia, laskentatehoa 1.44Exafloppia fp4 formaattia käytettäessä

A closer look at Nvidia's 120kW DGX GB200 NVL72 rack system

1.44 exaFLOPs of FP4, 13.5 TB of HBM3e, 2 miles of NVLink cables, in one liquid cooled unit

www.theregister.com

Eiköhän tuo hinta riipu ihan siitä, minkälaista rautaa/ohjelmistoja on kustomoitu ostajalle.

Nvidia debuts massive Blackwell-powered systems

There are several iterations of Nvidia’s existing DGX servers, ranging from 8 Hopper processors to 256 processors and with prices that start at $500,000 and scale to several million. Nvidia is following a similar configuration structure for the Blackwell generation, but no prices are available yet.

NVIDIA DGX Cloud targets generative AI

DGX Cloud instances start at $36,999 per instance per month, with no additional fees for AI software or data transfers. So, that’s $444,000 a year for one instance, and that’s a recurring cost.

 

[finWeazel]

Intel on esitellyt uutta gaudi 3 AI-kiihdytintä. Nopeampi kuin nvidian hopper. Skaalautuu isoihin asennuksiin.

Softa on todella tärkeä osa palapeliä

The OAM design has two central 5nm dies with 96MB of SRAM split between the two, providing 12.8 TB/s of bandwidth. The dies are flanked by eight HBM2E packages, totaling 128GB, that deliver up to 3.7 TB/s of bandwidth. A high-bandwidth interconnect between the two dies provides access to all memory present on both dies, thus allowing it to look and act as a single device (at least as far as the software is concerned - latency might vary). Gaudi 3 also has a x16 PCIe 5.0 controller for communication with the host processor (CPU) and different ratios of CPUs and Gaudi accelerators can be employed.

Intel details Gaudi 3 at Vision 2024 — new AI accelerator sampling to partners now, volume production in Q3

GPUs fall the wayside as Intel goes all-in on Gaudi for AI.

www.tomshardware.com

 

[aleksejjj]

Jim Keller sanoo että Nvidian olisi kannattanut käyttää Ethernetiä siihen että Blackwell GPU sirut liitetään yhteen – olisi voinut säästää miljardeja

Ethernet olisi myös tehnyt asiakkaille helpommaksi portata ohjelmistonsa toisille laitealustoille, mitä Nvidia ei välttämättä halua. Suorituskyvyn osalta varsinkin seuraavan sukupolven Ethernet (400GbE ja 800GbE) olisi kilpailukykyinen Nvidian proprietary InfiniBand (200GbE) kanssa.

AI käyttöön ollaan monen ison firman toimesta kehittämässä Ultra Ethernet väylää.

Of course, Nvidia needs to develop data center platforms to use here and now, which is probably at least part of its desire to spend billions on proprietary technologies. If open-standard technologies like PCIe with CXL and Ultra Ethernet will outpace Nvidia's proprietary NVLink and InfiniBand technologies regarding performance and capabilities, Nvidia will have to redevelop its platforms, so Keller advises (or trolls) that Nvidia should adopt Ethernet. However, this may be years away, so for now, Nvidia's designs continue to leverage proprietary interconnects.

Jim Keller suggests Nvidia should have used Ethernet to stitch together Blackwell GPUs — Nvidia could have saved billions

Suitable for programmability and for porting to other platforms.

www.tomshardware.com

 

[finWeazel]

Jim Keller sanoo että Nvidian olisi kannattanut käyttää Ethernetiä siihen että Blackwell GPU sirut liitetään yhteen – olisi voinut säästää miljardeja

Ethernet olisi myös tehnyt asiakkaille helpommaksi portata ohjelmistonsa toisille laitealustoille, mitä Nvidia ei välttämättä halua. Suorituskyvyn osalta varsinkin seuraavan sukupolven Ethernet (400GbE ja 800GbE) olisi kilpailukykyinen Nvidian proprietary InfiniBand (200GbE) kanssa.

AI käyttöön ollaan monen ison firman toimesta kehittämässä Ultra Ethernet väylää.

Jim Keller suggests Nvidia should have used Ethernet to stitch together Blackwell GPUs — Nvidia could have saved billions

Suitable for programmability and for porting to other platforms.

www.tomshardware.com

Nvidia julkaisi 800GB/s infiniband ja 800GB/s ethernet ratkaisut maaliskuun GTC-messuilla.

The world’s first networking platforms capable of end-to-end 800Gb/s throughput, NVIDIA Quantum-X800 InfiniBand and NVIDIA Spectrum™-X800 Ethernet push the boundaries of networking performance for computing and AI workloads.

Vaikka nvidian referenssiratkaisu käyttää infinibandia niin asiakkaat voivat ostaa nvidian eetterillä olevia ratkaisuja tai käyttää omia verkkokortteja+kytkimiä nvidian sijaan. Nvidian ratkaisuissa on älykkyyttä mikä helpottaa neuroverkkojen kanssa kun osa laskennasta voidaan hoitaa kytkimessä sen sijaan, että data menisi gpu:lle asti. Tyyliin miten läjätään lopputulos usean gpu:n laskennan pohjalta kytkimessä. Säästää verkosta kaistaa kun kytkin suorittaa tulosten yhdistämisen gpu:n sijaan.

NVIDIA Announces New Switches Optimized for Trillion-Parameter GPU Computing and AI Infrastructure

NVIDIA today announced a new wave of networking switches, the X800 series, designed for massive-scale AI.

nvidianews.nvidia.com

72gpu:ta saadaan kytkettyä nvlink:lla yhteen mikä on optimaalisempaa kuin ethernet/infiniband. Blackwell konesalit tuntuvat menevän 72gpu nvlink:lla ratkaisuun. NVL72 paketteja kytketään toisiinsa kiinni infiniband/ethernet:lla missä verkkokortin ei ole pakko olla nvidian valmistama.

Fifth-generation NVLink vastly improves scalability for larger multi-GPU systems. A single NVIDIA Blackwell Tensor Core GPU supports up to 18 NVLink 100 gigabyte-per-second (GB/s) connections for a total bandwidth of 1.8 terabytes per second (TB/s)—2X more bandwidth than the previous generation and over 14X the bandwidth of PCIe Gen5. Server platforms like the GB200 NVL72 take advantage of this technology to deliver greater scalability for today’s most complex large models.

NVLink & NVSwitch for Advanced Multi-GPU Communication

The Most Powerful End-to-End AI and HPC Data Center Platform.

www.nvidia.com

8gpu ja 72gpu järjestelmiä googlen pilveen. 72gpu kytkety yhteen nvlink:lla.

NVIDIA’s newest GPUs based on the NVIDIA Blackwell platform will be coming to Google Cloud early next year in two variations: the NVIDIA HGX B200 and the NVIDIA GB200 NVL72.

The HGX B200 is designed for the most demanding AI, data analytics and high performance computing workloads, while the GB200 NVL72 is designed for next-frontier, massive-scale, trillion-parameter model training and real-time inferencing.

NVIDIA and Google Cloud Collaborate to Accelerate AI Development | NVIDIA Blog

NVIDIA and Google Cloud have announced a collaboration to help startups accelerate the creation of generative AI applications and services.

blogs.nvidia.com