Suurenpieni konesalitason AI-kiihdytinkeskustelu (AMD, Intel, Nvidia,...)

[finWeazel]

Aika mielenkiintoinen ja haastava kokonaisuus kuitenkin kaikille pelureille pallotella. Muistia riittää vain rajallisesti vaikka kaikki kapasiteetti on jo varattu, joten minkä verran mitäkin sukupolvea on järkevä valmistaa? Uutta räkkiä joka on vähintään tuplat tehokkaampi kuin vanha, tulee melkein vuoden välein. Eli ei kannata ostaa todellakaan 4milliä / kpl räkkejä kuukausiksi odottamaan että konesali-infra+ sähkön saatavuus valmistuu jne.

Eiköhän ne osaa sen verran rakentaa valmistuslinjoja kuin osia riittää. Perus hankinta ja valmistusketjujen hallintaa joskin giganttisella skaalalla. Nvidia on hyvä esimerkki tästä. Näkee miten melkein lineaarisesti konesalipuolen tulos kasvanut kvartaalista toiseen. Kysyntää enemmän kuin tarjontaa. Näkee lineaarisesta liikevaihdon kasvusta millä vauhdilla tuotantokapasiteettia saatu lisättyä kvartaalista toiseen. Blackwell epäjatkuvuuskohta kun räkin hinta lähes tuplaantui niin saadaan samastakin voluumista enemmän liikevaihtoa. vera-rubin lienee myös epäjatkuvuuskohta kun räkin hinta pompsahtaa taas ylöspäin.


Googlesta. Googlella kai päitä tippui kun muistipiirejä ei oltu tajuttu tilata etukäteen tarpeeksi. Google rakentaa melko valtavia määriä tpu:ta.

According to the report, Google’s TPU will enter its eighth generation in 2026, with mass production set to begin in Q3 on TSMC’s 3nm node. Production volume is expected to reach 5 million units in 2027 and rise further to 7 million in 2028, the report suggests, adding both Broadcom and MediaTek, as ASIC partners, are actively preparing capacity to meet the demand.

[News] Google Led TPU Innovation with Patent Spike; Broadcom, MediaTek Reportedly Boost Reserved Wafers

As Google intensifies its push for Tensor Processing Units (TPUs), aiming to secure more orders from major tech players, the company’s R&D efforts...

www.trendforce.com

Potkuista googlella:

Microsoft Rages, Google Fires Exec: The "War" For AI Memory Explodes

The ongoing HBM shortage is forcing Google and Microsoft to prostrate themselves at the altars of Samsung, SK hynix, and Micron.

wccftech.com

 

[weetabix]

Kovasti joo höpötetään että kysyntää enemmän kuin tarjontaa, mutta sitten joku Intel istuskelee niiden AI kiihdyttimiensä päällä kun ei saada niitä käyttöön. Toisekseen jos muistia on kolme kertaa enemmän niin veikkaan että hinta nousee 10x lukemiin nykymenolla.

 

[finWeazel]

Kovasti joo höpötetään että kysyntää enemmän kuin tarjontaa, mutta sitten joku Intel istuskelee niiden AI kiihdyttimiensä päällä kun ei saada niitä käyttöön. Toisekseen jos muistia on kolme kertaa enemmän niin veikkaan että hinta nousee 10x lukemiin nykymenolla.

Intelillä ei ole kilpailukykyisiä kiihdyttimiä. AMD:n nykyiset kiihdyttimet eivät skaalaannu yli 8GPU kuormiin. AMD korjaa tilanteen helios räkillä kera mi450:en. 72gpu:ta räkissä ja nopea+joustava verkko niiden välissä. Se kolmas juttu että pelkkä kiihdytin ei riitä vaan pitää olla myös softa joka skaalaa konesalikokoon. Aika on rahaa, konesalin pitää toimia heti, ei ole aikaa odotella 6kk, 12kk että softa valmistuu. AMD ja OpenAI teki diilin paljon etukäteen, että saavat softan ja mallit optimoitua etukäteen ennen kuin koko konesalia on olemassa.

--

Nvidia alleviivaa mun yrittämää pointtia hankinta ja valmistusketjusta. Miksi nvidiaan ei vaikuta yhtä pahasti muisti yms. pula kuin moneen muuhun

Question: Wells Fargo: Supply chain variables seem numerous—1) DRAM pricing, 2) available supply volumes, etc. Please explain.

we prepared for this kind of major ramp-up with partners well in advance. We invested heavily in partners, much of it in the form of prepayments, enabling them to expand capacity. Thanks to long-standing relationships, we believe we are in a strong position.

We are essentially the only semiconductor company in the world that directly purchases DRAM at global scale. People ask, "Why buy DRAM?" The reason is simple: transforming that DRAM into CoWoS supercomputers is extraordinarily difficult. Properly connecting that supply chain like "plumbing" is a major advantage for us. In tight situations like now, having this capability is also fortunate.

NVIDIA Reveals Why the Company Is “Immune” to Memory Shortages — and How The Firm Prepaid Inventory to Keep the AI Boom Running

NVIDIA has responded to the ongoing memory shortages and how the company has positioned itself to ensure that Team Green doesn't compromise.

wccftech.com

 

[finWeazel]

Vera-Rubinin vesijäähdytyksessä käytettävä 45C asteinen vesi mielenkiintoinen asia mikä monelta uutisoijalta mennyt ohi. Säästää valtavasti sähköä kun vettä ei tarvi jäähdyttää jonnekin 10C tienoille. Joka puolelta tuota virrankulutusta yritetään viilata pienemmäksi ja silti vuosi vuodelta konesalit syövät entistä enemmän virtaa.

Vera Rubin NVL72 systems instead use warm-water, single-phase direct liquid cooling (DLC) with a 45-degree Celsius supply temperature

Toinen mielenkiintoinen juttu räkkitasolla toteutettu virrankulutuksen "tasoittaminen". Virrankulutus voi piikata todella paljon kun kuorma konesalissa muuttuu ja tämä voi johtaa jopa sähköverkon romahtamiseen. Tän takia esim. meta joissain konesaleissa ajanut idle-loopissa gpu:ta isolla kuormalla ettei virrankulutus vaihtelisi ja toisaalta xAI käyttää isoja akustoja tasaamaan piikkejä

At the rack level, Vera Rubin NVL72 evens out power swings with power smoothing and incorporates approximately 6x more local energy buffering than Blackwell Ultra, absorbing rapid power transients directly at the source.

Liikenne kaikkien linkkien, väylien, kiihdyttimien yms. osalta salattua. Ratkaisu mahdollistaa "on prem" kaltaisia ratkaisuja missä koneet ovat kuitenkin pilvessä. Mistään välistä ei pääse lukemaan/ryöstämään dataa.

FP64 matriisioperaatioita emuloidaan ajamalla useita iteraatiota pienemmän tarkkuuden laskentayksiköillä

With Blackwell and now Rubin, NVIDIA has evolved this strategy, achieving high FP64 matrix throughput through multiple passes over lower-precision execution units while preserving architectural flexibility for converged workloads.

Linkinpäässä dokumentti missä on paljon jännää tietoa.

Inside the NVIDIA Vera Rubin Platform: Six New Chips, One AI Supercomputer | NVIDIA Technical Blog

Update March 16, 2026: The NVIDIA Vera Rubin platform now has a seventh chip. Learn more about NVIDIA Groq 3 LPX: The Low-Latency Inference Accelerator for the NVIDIA Vera Rubin Platform.

developer.nvidia.com

 

[finWeazel]

OpenAI teki 10 miljardin diilin Cerebrasin kanssa. Cerebras tekee piikiekkotason kiihdytintä jossa muisti on piikiekolla. Tämä lienee cerebrasin isoin diili. Voi miettiä johtuuko tämä diili siitä, että cerebrasin kiihdytin on erinomainen vai onko osasyy diiliin se, että kiihdytin ei tarvitse isoa määrää erillistä muistia. HBM-muistit huhujen mukaan myyty 2027 tuotannon osaltakin lähes loppuun.

OpenAI announced Wednesday that it had reached a multi-year agreement with AI chipmaker Cerebras. The chipmaker will deliver 750 megawatts of compute to the AI giant starting this year and continuing through the year 2028, Cerebras said.

The deal is worth over $10 billion, a source familiar with the details told TechCrunch. Reuters also reported the deal size.

OpenAI signs deal, worth $10B, for compute from Cerebras | TechCrunch

The collaboration will help OpenAI's models deliver faster response times for more difficult or time-consuming tasks, the companies said.

techcrunch.com

 

[saippuakauppias]

Mistään välistä ei pääse lukemaan/ryöstämään dataa.

Pata kattilaa soimaa.

 

[finWeazel]

Pata kattilaa soimaa.

En ymmärrä, haluatko avata? Tämä datansuojaus liittyy esim. googlen sertifioituun pilvi "on prem" ratkaisuun. Toiselta puolelta liittyy siihen, että yritykset voivat ajaa omia malleja pilvessä ilman, että pilvipalvelun tarjoajalla on pääsyä yrityksen malleihin ja dataan. ts. tän taustalla on halu laajentaa pilveä sellaisiin käyttötapauksiin missä aikaisemmin pilvi ei ollut vaihtoehto. Google "on prem"-pilvi sertifioitu esim. pankkien ja yhdysvaltain sotilaspuolen käyttöön.

 

[finWeazel]

xAI sai 1GW ai-konesalin rakennettua ja käyttöön. Huhtikuuhun mennessä 1.5GW ja kai nostetaan 2GW jossain kohtaa. Tuo lienee GB300:ia täynnä ja käytetään uuden grok5:en opettamiseen. Tässä kontekstissa ketunhäntä se, että 1GW on muistikoherenttia kapasiteettia joka ajaa "läpinäkymättömästi" samaa kuormaa. Isompia konesaleja varmasti on, mutta muistikoherenttius ja nopea kommunikaatio puuttuu.

Huvittava juttu, että konesaleissa on siirrytty pois flopseista ja mitataan suorituskykyä gigawatteina.

 

[finWeazel]

Microsoft julkaisi Maia 200 AI-kiihdyttimen. Kiihdyttimellä on tarkoitus ajaa erityisesti inferenssikuormia. Seuraavan sukupolven kiihdytin on jo työnalla

Maia 200 is an AI inference powerhouse: an accelerator built on TSMC’s 3nm process with native FP8/FP4 tensor cores, a redesigned memory system with 216GB HBM3e at 7 TB/s and 272MB of on-chip SRAM, plus data movement engines that keep massive models fed, fast and highly utilized. This makes Maia 200 the most performant, first-party silicon from any hyperscaler, with three times the FP4 performance of the third generation Amazon Trainium, and FP8 performance above Google’s seventh generation TPU. Maia 200 is also the most efficient inference system Microsoft has ever deployed, with 30% better performance per dollar than the latest generation hardware in our fleet today.

Maia 200: The AI accelerator built for inference - The Official Microsoft Blog

Today, we’re proud to introduce Maia 200, a breakthrough inference accelerator engineered to dramatically improve the economics of AI token generation. Maia 200 is an AI inference powerhouse: an accelerator built on TSMC’s 3nm process with native FP8/FP4 tensor cores, a redesigned memory system...

blogs.microsoft.com

Microsoft introduces newest in-house AI chip — Maia 200 is faster than other bespoke Nvidia competitors, built on TSMC 3nm with 216GB of HBM3e

30% more performance per dollar than Maia 100, and faster than Amazon or Google.

www.tomshardware.com

 

[finWeazel]

Nvidialta tuli GTC-messujen yhteydessä uutisia konesaliraudoista

Rubin CPX kuopattu: Nvidia removes Rubin CPX accelerators from its roadmap — Groq 3 LPUs take center stage as CPX is removed

Rubinin cpx:n paikan ottanee Groq:lta lisensoitu kiihdytin: Nvidia Groq 3 LPU and Groq LPX racks join Rubin platform at GTC — SRAM-packed accelerator boosts 'every layer of the AI model on every token' Groq:n next gen kiihdytin integroidaan 3d-paketoinnilla feynman gpu:hun 2028. 2028 tulee myös uusi cpu ROSA. Groq:ssa on mielenkiintoista, että prosessointi tehdään piirille integroidulla erittäin nopealla sram:lla, ei keskusmuistia.

Inside NVIDIA Groq 3 LPX: The Low-Latency Inference Accelerator for the NVIDIA Vera Rubin Platform | NVIDIA Technical Blog

NVIDIA Groq 3 LPX is a new rack-scale inference accelerator for the NVIDIA Vera Rubin platform, designed for the low-latency and large-context demands of agentic systems. Co-designed with the NVIDIA…

developer.nvidia.com

 

[finWeazel]

Mielenkiintoinen video lpu-groq-nvidia taustasta. Yhteistyö alkoikin vähän aikaisemmin siitä, että groq teki kokeen millä integroidaan heidän piirinsä nvlinkin yli gpu:hun ja jaetaan kuormaa näiden kesken. Tuosta yhteistyö sitten lähti ja hyvin nopeasti tuon jälkeen lisensointidiili ja rekry

With language processing units (LPUs) and GPUs in the same data center, developers can optimize for both ultra-low latency and high throughput. LPUs excel at token-by-token and interactive workloads, while GPUs excel at massive parallelism and larger batches. This fireside chat helps developers understand the complementary strengths of LPUs and GPUs.

GPU ♥ LPU: Everything You Wanted to Know S82419 | GTC San Jose 2026 | NVIDIA On-Demand

With language processing units (LPUs) and GPUs in the same data center, developers can optimize for both ultra-low latency and high throughput

www.nvidia.com

 

[Kaotik]

Mielenkiintoinen video lpu-groq-nvidia taustasta. Yhteistyö alkoikin vähän aikaisemmin siitä, että groq teki kokeen millä integroidaan heidän piirinsä nvlinkin yli gpu:hun ja jaetaan kuormaa näiden kesken. Tuosta yhteistyö sitten lähti ja hyvin nopeasti tuon jälkeen lisensointidiili ja rekry

GPU ♥ LPU: Everything You Wanted to Know S82419 | GTC San Jose 2026 | NVIDIA On-Demand

With language processing units (LPUs) and GPUs in the same data center, developers can optimize for both ultra-low latency and high throughput

www.nvidia.com

MIelenkiintoista sinänsä kun kuitenkin vasta kolmas Groqin piiri NVIDIAn roadmapissa lisää NVLINKin mukaan kuvioihin

 

[finWeazel]

MIelenkiintoista sinänsä kun kuitenkin vasta kolmas Groqin piiri NVIDIAn roadmapissa lisää NVLINKin mukaan kuvioihin

Eka iteraatio loppuvuodesta 2026 on erillinen räkki ja kiinni verkon yli. Feynman ja next gen lpu 2028 tuovat nvlink:lla integroidun ratkaisun. Nopeasti tuo eka räkkikin syntynyt kun alle vuodessa groq yhteistyön aloittamisesta räkki konesaleissa käytössä. Ei about 2.5v feynman aikajanakaan kovin hidas ole kun miettii että räkit ja piirit tarvii olla 2027 loppupuolella labrassa takaisin jos nvidia aikoo pitää normaalin 1v kadenssin ja feynmanit konesaleissa käytössä 2028 h2:lla. Vera-rubin tapeout oli kesäkuu 2025, piirit labrassa q4 alussa, nyt on asiakkaiden käsissä samplet+massatuotanto käynnistetty CES:in aikaan. Ekat vera-rubin konesalit pyörähtää tuotantokäyttöön h2 aluissa. Jos feynman menee vera-rubin aikataululla niin alle 1.5v aikana yhteistyön aloittamisesta piiri tapeouttiin, 2.5v jälkeen konesaleissa asennettuna ja tuotannossa. Sairaan nopeaa toimintaa. Toki vaatii, että asiat mene kuin stromsössä, blackwell vaati respinnin, vera-rubin ei. Joskus osuu, joskus ei.

 

[finWeazel]

Googlelta uudet TPU:t. Kaksi eri piiriä, toinen opetukseen ja toinen inferenssiin optimoitu. Mielenkiintoista, että google mainostaa natiivia fp4:sta nimenomaan opetukseen suunnitellun piirin kohdalla. Googlen blogissa on paljon mielenkiintoista tietoa uudesta tpu:sta.

Our eighth generation TPUs: two chips for the agentic era

An overview of Google’s eighth generation TPUs, built for the agentic era.

blog.google

Google Bets On The Agentic AI Era With Its AI Hypercomputer, Merges 8th-Gen TPUs, NVIDIA Rubin, & Axion CPUs Together

Google has announced the AI Hypercomputer, which brings together TPUv8 series, NVIDIA Rubin, & Axion CPUs to power the Agentic AI era.

wccftech.com

 

[finWeazel]

Taitaa alkaa pudotuspeli AI-rautapuolella. Bloombergin artikkelin kun lukee niin rivienvälistä paistaa, että tenstorrent tarvisi rahaa sijoittajilta lisää tai toisena mahdollisuutena myynti. Kiinnostuneita ostajia ainakin intel ja qualcom.

While it entertains interest from would-be buyers, Tenstorrent is continuing to court prospective investors in a funding round, the people added.

Tenstorrent, which designs chips that it says are more efficient at running certain AI workloads, has held conversations with industry players including Intel Corp. and Qualcomm Inc., according to people familiar with the matter.

AI Chip Startup Tenstorrent Draws Takeover Interest From Intel, Qualcomm

Artificial intelligence chip startup Tenstorrent Inc. is drawing early takeover interest from prospective buyers at a moment of renewed momentum for upstarts looking to challenge Nvidia Corp. and Advanced Micro Devices Inc.

www.bloomberg.com

 

[finWeazel]

Piiri/pakettiin integroitu fotoniikka on nyt todellista. Säästää aika hyvin energiaa.

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://x.com/NVIDIAAIInfra/status/2064706125690462665

NVIDIA's First Co-Packaged Optics Switch Lands at Lambda, Cutting 3kW Per Rack and Freeing Power for 3,137 Extra GPUs

The era of Silicon Photonics & Co-Packaged Optics (CPO) is upon us as AI firm Lambda unboxes the first NVIDIA Quantum-X InfiniBand platforms.

wccftech.com

 

[Kaotik]

Piiri/pakettiin integroitu fotoniikka on nyt todellista.

Onhan noita ollut jo ennenkin? NVIDIA käyttäneet TSMC:n COUPE-paketointia mikä tuli vasta hiljattain käyttöön.

 

[finWeazel]

Onhan noita ollut jo ennenkin? NVIDIA käyttäneet TSMC:n COUPE-paketointia mikä tuli vasta hiljattain käyttöön.

Tuo on mun käsityksen mukaan ensimmäinen oikea isompi integrointi eli gb300 nvl72 räkki. Tuo lienee ensimmäisiä oikeita räkkitason järjestelmiä mikä menee konesaliin ja käyttöön. Se mitä seurannut niin co-packaged optics gb300 nvl72 on pienimuotoinen testi. vera-rubin ja sen jälkeisessä ajassa tulee isommin käyttöön.GB300 nvl72:lla testataan kestävyyttä oikeassa käytössä. Isoja epäilyksiä monella taholla, että kestääkö rauta ehjänä vai tulee ongelmia, jos räkit hajoilevat se käy kalliiksi kaikille. Nvidia on kyllä aikaisemmin näyttänyt yksittäisiä piirejä copackaged optics:lla mutta ei kokonaista toimivaa räkkiä asiakkaalle toimitettuna.

Jensen computex sijoittajaeventissä sanoi ettei halua käyttää copackaged optics ratkaisua kuin niissä räkeissä missä kupari ei riitä. gb300:ssa kupari vielä riittää.

 

[finWeazel]

AI piiripuolella hiljaista niin nostetaan ja pidetään tenstorrenttia tapetilla. Huhuissa ollut, että tenstorrent voisi olla myynnissä. Huhuillaan, että qualcom miettii tenstorrentin ostamista 8-10miljardia hinnalla: https://www.tomshardware.com/tech-i...any-at-between-usd8-billion-and-usd10-billion

 

[finWeazel]

Kuinka kalliita ne konesalit sitten oikein ovat? Montako räkkiä menee 1GW konesaliin? Foxconn:lta yhdenlainen numero. Joidenkin analyytikoiden puheissa ollut 1GW vera-rubin ajan hinta 90miljardia. 90 miljardissa pitäisi olla kaikki kustannukset mukana lähtien paljonko maa "keskimäärin" maksaa. FoxCon:in numerosta en ole varma onko kaikki vai ei. Ilmeisesti muistit, ssd:t yms. niin vera-rubin nvl72 räkki hinta tuplat versus gb300 nvl72 räkki.

Foxconn Pegs NVIDIA Vera Rubin AI Datacenter at $47 Billion Per Gigawatt, as Power Bills Hit $1.3B Yearly

NVIDIA's Vera Rubin is entering data centers soon, and the rise of Agentic AI also comes with a mammoth rise in costs.

wccftech.com

 

[finWeazel]

Nvidialta lisätietoa vera-rubin lämpimällä vedellä piirien jäähdyttämisestä. Max 45C sisääntulolämpö nesteellä, suljettu vesikierto ja kaikki osat nestejäähyllä. Ulosmenevä vesi 55C.

In reality, chips can sustain far warmer environments than that instinct suggests. Silicon processors generate enormous internal heat — the coolant entering a fully liquid-cooled chip at 45 degrees Celsius exits at roughly 55 degrees, having absorbed that heat load across the chip surface. Yet performance doesn’t degrade

Coolant — 75% water and 25% propylene glycol — flows through cold plates that sit directly on processors, pulling heat out at the source. Running that coolant at up to 45 degrees Celsius means that in many climates, the facility loop can reject heat without turning on mechanical chillers and noisy fans.

Previous liquid-cooled servers were hybrid: GPUs and CPUs got cold plates, but the rest of the system stayed air-cooled, with finned heat sinks designed to shed heat into moving air. In a fully liquid-cooled server, the cooling for these components needed to be completely redesigned to use liquid.

Hotter Than a Hot Tub: The 45°C Breakthrough to Cool AI’s Biggest Machines

NVIDIA’s latest AI servers can run on coolant warmer than a hot tub — and that counterintuitive choice is one of the biggest efficiency leaps in data center history.

blogs.nvidia.com

 

[finWeazel]

OpenAI ja Broadcom esittelevät inferenssiin optimoitua piiriä. OpenAI:n malleja on jo piirillä ajossa. Järjettömän lyhyessä ajassa kehitetty

Jalapeño was co-developed from initial design to manufacturing tape-out in just nine months, and the custom AI accelerator program represents what we believe to be the fastest ASIC development cycle ever achieved in high-performance advanced semiconductors. That speed reflects deep software-hardware co-development with OpenAI’s engineering teams, Broadcom’s silicon implementation expertise, and the use of OpenAI models to accelerate parts of the design and optimization process.

Jalapeño is a blank-slate design for modern LLM inference, not a general-purpose accelerator adapted from earlier AI workloads. It is informed by the systems OpenAI runs every day across ChatGPT, Codex, the API, and future agentic products, while also being designed for current and future LLMs across the industry.

https://openai.com/index/openai-broadcom-jalapeno-inference-chip/

 

[finWeazel]

Hyvä puhe ai-piirien historiasta ja hieman myös vihjauksia tulevaisuudesta. Selittää auki hyvin muun muassa miten paljon skaalautumisesta ja suorituskykylisästä tehdään arkkitehtuurilla eikä valmistusteknologialla. Miten nvfp4 toimii käytännössä fp8 tarkkuudella ja miten harvat matriisit kannattaa nykytietämyksellä toteuttaa. "moores law is largely dead". Samaan perustunee myös isoilta osin custom-piirit kun voidaan piiri optimoida valitunlaiselle kuormalle jolloin suorituskyky parempi kuin yleisempään laskentaan käyvällä piirillä.

Mistä tulevaisuuden parannukset rautapuolella voisivat löytyä?

Numeroista

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://www.youtube.com/watch?v=oj9-DEPRSOs

 

[Kaotik]

NVIDIAn Kyber NVL144 eli Rubin Ultra -räkit kuulemma törmänneet ongelmiin ja toimituksia viivästetään yli 12 kuukautta vuoden 2028 puolelle. Lisäksi 4 GPU-sirun Rubin Ultrat on peruttu ilmeisesti ja tulee vain 2 sirun versiot.

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://x.com/SemiAnalysis_/status/2073874671498387899

https://www.tomshardware.com/pc-components/gpus/nvidias-kyber-rack-for-rubin-ultra-slips-to-2028

 

[finWeazel]

NVIDIAn Kyber NVL144 eli Rubin Ultra -räkit kuulemma törmänneet ongelmiin ja toimituksia viivästetään yli 12 kuukautta vuoden 2028 puolelle

Nvidian vastine oli, että ovat aikataulussa. Lienee yrittävät vielä parsia kasaan

Nvidia spokesperson denied the SemiAnalysis report, telling Yahoo Finance, "Our roadmap remains intact."

Nvidia denies report its next-generation AI server faces delays, says roadmap is intact

Nvidia is pushing back on a report that its next-generation Kyber server will be delayed by a year.

finance.yahoo.com

 

[finWeazel]

AMD:n advancing AI eventti https://www.amd.com/en/corporate/events/advancing-ai.html keskiviikkona ja torstaina. Ennakkomakua tulevasta cnbc:n kanavalla missä yksinoikeudella päästään katsomaan miltä myöhemmin tänä vuonna shippaava helios-räkki näyttää. tldr, hyvältä näyttää.

Video myös antoi varmistuksen, että täysin toimivia helios räkkejä on rakennettu ja on amd:lla sisäisessä testissä. Myös suljetun vesikierron jäähdytys varmistettiin eli ei haaskaa vettä. En ylläty jos advancing ai päivillä kerrotaan, että asiakkailla on samplet omissa konesaleissa.

AMD is one of the best performing chip stocks of 2026, following a decade-long comeback in data center chips. Now, it’s making its biggest competitive move against Nvidia yet. AMD’s first rack-scale system for AI, Helios, is shipping later this year - and it’s the world’s first competitor to Nvidia’s Grace Blackwell and Vera Rubin systems. Now, Microsoft has signed up to use Helios in its data centers, joining other customers Meta, OpenAI and Oracle. But with a price tag of at least $5 million, analysts estimate Helios will cost at least $1 million more than Nvidia Vera Rubin. CNBC got an exclusive first look inside the 7,000 pound behemoth, and sat down with AMD data center and AI leads to ask how its first-generation AI system can compete with Nvidia - and what sets it apart.

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://www.youtube.com/watch?v=8cO9OTjk5H0

 

[finWeazel]

AMD:n Helios räkin ja ai-kiihdytinpuolen uusimmat uutiset: https://www.amd.com/en/products/rackscale-solutions/helios.html Upea räkki ja rauta sisällä. AMD:lla kiva etu muistimäärässä kaikkiin muihin ai-kiihdyttimiin verrattuna. Tuo muistietu konkretisoitunee ihan oikeaksi suorituskykyeduksi kun pystytään yhdellä räkillä ja myös yhdellä gpu:lla ajamaan isompia malleja. Piirien ja räkkien välinen kommunikaatio ei ole ilmaista.

The AMD Helios rackscale design integrates 72 AMD Instinct™ MI455X GPUs with AMD EPYC™ “Venice” CPUs and AMD Pensando™ “Vulcano” networking using UALink, forming a tightly co-designed architecture optimized for compute, data movement, and system efficiency

The AMD Instinct MI455X is a 40 PFLOPs of FP4 & 20 PFLOPs FP8 compute, which is double the compute capability of the MI350 series, making it a disruptive offering for AI.

In addition to the compute capability, AMD is also going to leverage HBM4 memory for its Instinct MI400 series. The new chip will offer a 50% memory capacity uplift from 288GB HBM3e to 432GB HBM4. The HBM4 standard will offer a massive 19.6 TB/s bandwidth, more than double that of the 8 TB/s for the MI350 series. For comparison, the Rubin GPU comes with 288 GB of HBM4 at 22 TB/s.

AMD Unveils Helios, Its Next-Gen AI Powerhouse With MI455X & 6th Gen EPYC, Challenging NVIDIA's Rack-Scale Dominance

AMD's Helios AI Rack features 72 MI455X GPUs, 256-core EPYC CPUs, 31 TB HBM4, and costs $5-$5.5 million, targeting frontier AI workloads.

wccftech.com

 

[finWeazel]

Nvidian vera-rubin cpu:sta ja gpu:sta paljon enemmän tietoa julkaistu

TLDR versio gpu:sta, 10x nopeampi inferenssissä. Linkin päässä tekniset tiedot miten tähän on päästy. Osa brute force parempaa rautaa, osa asioista vaatinee softapuolella optimointia eikä toimi "out of the box"

NVIDIA Rubin GPUs Bring 10x Increase in Agentic AI Performance Versus Blackwell as Its Architecture Gets Fully Unpacked, Featuring 336 billion Transistors

NVIDIA has fully disclosed its Rubin AI GPU architecture, bringing a monumental increase over Blackwell for the Agentic era.

wccftech.com

NVIDIA Vera Rubin Driving Performance Per Watt, Lowest Token Cost for Partners Worldwide

NVIDIA Vera Rubin is here, and it’s going gigascale. Vera Rubin NVL72 production is ramping up with racks running at partners CoreWeave, Google Cloud, Microsoft Azure and Oracle Cloud Infrastructure. Spanning 350-plus factory sites in 30 countries, Vera Rubin has the largest, most mature...

blogs.nvidia.com

Paljon tietoa vera cpu:sta. En nyt tiedä miten tuota oikein käsittelisi. Yksisäikeiseen suorituskykyyn panostettu, järjettömän nopea IO ja muistit

NVIDIA Vera CPU Is Architected For The Agentic AI Era, as It Delivers Max Single-Core & Single-Thread Performance Versus x86; Full Architectural Breakdown Shows

The NVIDIA Vera CPU is designed for Reinforcement Learning and Agentic AI systems, offering 88 Olympus cores for max single-core performance.

wccftech.com

 

[finWeazel]

Anthropic ostaa 2GW edestä AMD:n helios+mi450:sta. Ensimmäinen gigawatti tuotannossa h12027. Lienee eka gigawatti menee openai:lle h22026 kuten aikaisemmin oli jo julkaistu

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://x.com/AMD/status/2079916944325525799

 

[finWeazel]

AMD kertoi advancing ai eventissä, että helios ja mi450 on tuotannossa. mi500 with next generation memory ensi vuonna ja mi600 2028. Julkaisivat myös uuden tuotteen robottien aivoksi ja devausalustaksi. Samalla tuli myös parempaa tietoa piirien toteutuksesta. Lisää linkin päässä: https://wccftech.com/amd-instinct-m...le-nvidia-rubin-with-432gb-hbm4-40-pflops-ai/

Jännä miten cache arkkitehtuuria muutettu

Monimutkaista paketointia. Hieno

mi500:sta. "isoin hyppy inferenssissä koskaan"

 

[Kaotik]

AMD kertoi advancing ai eventissä, että helios ja mi450 on tuotannossa. mi500 with next generation memory ensi vuonna ja mi600 2028. Julkaisivat myös uuden tuotteen robottien aivoksi ja devausalustaksi. Samalla tuli myös parempaa tietoa piirien toteutuksesta. Lisää linkin päässä: https://wccftech.com/amd-instinct-m...le-nvidia-rubin-with-432gb-hbm4-40-pflops-ai/

Tulee myös meiltä kunhan kerkiän, vähän hektinen työaikataulu toisissa hommissa tällä hetkellä niin on vähän viiveitä välillä

 

[finWeazel]

Samsung kertoi uudesta zHBM muistista mikä tulee ai-piirin päälle. 10x muistitiheys ja 8x nopeampi kuin hbm5. Milloin zHBM tuotanto alkaa ei ole kerrottu, ei ehkä koskaan. HBM5 lienee 2028, olisiko tuo zHBM 2030 jos asiat menevät putkeen?

https://www.bloomberg.com/news/articles/2026-08-04/samsung-reveals-new-3d-memory-roadmap-in-bid-for-ai-tech-lead

Uutta nopeampaa massamuistia myös speksailtu. HBF tulee hbm - perinteinen ssd väliin.

SK hynix’s and SanDisk’s latest specifications allow for HBF to go as high as 512GB, with bandwidth ranging from 0.4TB/s to 3TB/s.

SK hynix, In Collaboration With SanDisk, Unveils The New High Bandwidth Flash (HBF) Standard, Helping To Resolve AI Inference Bottlenecks, Targeting Up To 3TB/s Bandwidth

SK hynix and SanDisk team up on High Bandwidth Flash (HBF), targeting massive 3TB/s bandwidth to supercharge AI inference and break memory barriers

wccftech.com

 

[finWeazel]

SpaceX:n ensimmäinen kvartaaliraportti tuli juuri ulos. Sijoittajapuhelussa elon musk puhui, että ensimmäiset "ai-satelliitit" ammutaan avaruuteen ensi vuonna. SpaceX käyttää vain nvidiaa. Mielenkiinnolla odottelen miten vera-rubin oikeasti (ei) toimii avaruudessa?

Musk also said that the company plans to launch Nvidia's Vera Rubin NVL72 rackscale system both on the ground and in space as part of its Starmind satellite program.

According to Musk, SpaceX will begin launching Starmind satellites next year.

Hankala uskoa, että saavat rakennettua lähes 8GW konesalia 2027 vuonna. Mistä ihmeestä revitään 8GW energiaa,... Melkoinen taikatemppu jos tuo tapahtuu 2027 loppuun mennessä. Toki tuossa on "close to", mutta ei kai se nyt kuitenkaan jotain 5.1GW tarkoita.

According to the CEO, SpaceX expects to end the year with more than 2 gigawatts of compute and anticipates having close to 10 gigawatts of computing capacity by the end of next year.

Elon Musk says SpaceX will build exclusively with Nvidia, touts space-based AI servers

SpaceX says it will build data centers exclusively using Nvidia's graphics chips.

finance.yahoo.com

 

[finWeazel]

AMD ostaa kanadalaisen startupin jonka idea on toteuttaa kielimallikohtaisia optimaalisia piirejä inferenssiin. Ts. piiri ajaa vain yhtä siihen suoraan toteutettua kielimallia. Tällä saadaan järjetön nopeus, mutta ratkaisu on suhteellisen pitkälle kovakoodattu mallin rakenteen suhteen mutta painoja ilmeisesti voidaan muutella("fine tuning")

https://www.bloomberg.com/news/articles/2026-08-06/advanced-micro-devices-to-buy-startup-taalas-for-new-ai-chips

Products | Taalas

Taalas HC1 Technology Demonstrator Runs Llama 3.1 8B model TSMC 6nm | 815mm2 | 53B Transistor 2.5 kW Server Try our chatbot Request API access Instantaneous Inference HC1 demonstrates the power of Taalas hardcore model silicon technology, delivering 17k tokens per second per user on Llama 3.1 8B...

taalas.com