Arm AGI on yhtiön ensimmäinen oma prosessori palvelinmarkkinoille

[Kaotik]

Tähän asti Arm on keskittynyt lisensoimaan omia ytimiään ja muuta IP:tä asiakkaille, mutta AGI lähtee suoraan kilpaan muiden palvelinprosessoreiden kanssa.

Armin prosessoriarkkitehtuuri on löytynyt käytännössä kaikista mobiilipuolen prosessoreista vuosikausien ajan ja viime vuosina arkkitehtuuri on levinnyt myös muihin prosessoriluokkiin aina palvelimia myöden. Palvelinmarkkinat ovat saaneet yhtiön nyt lähtemään myös ensimmäistä kertaa itse kilpailemaan prosessorimarkkinoista.

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://www.youtube.com/watch?v=sqJancqeVbk


Arm AGI on yhtiön uusi palvelinkäyttöön suunnattu prosessori, joka rakentuu kahdesta sirusta. Erityisesti tekoälyagenttikäyttöön suunnattu prosessori sisältää prosessorisirullaan 136 Neoverse V3 -prosessoriydintä, joista kullakin on oma 2 megatavun L2-välimuisti. TSMC:n 3 nanometrin prosessilla valmistettavan prosessorin ydinten perus- ja Boost-kellotaajuudet ovat 3,2 ja 3,7 GHz.



Toiselta sirulta löytyy prosessoriytimiä tukemaan yhteensä 12 muistiväylää, jotka tukevat parhaimmillaan DDR5-8800 nopeuden muisteja. Lisäksi sirulla on yhteensä 96 PCIe Gen 6 -linjaa CXL 3.0 -tuella. Koko kaksisiruisen prosessorin TDP-arvo on asetettu 300 wattiin.

Armin mukaan se on kehittänyt uuden AGI-prosessorinsa yhteistyössä Metan kanssa ja sillä on sen ohella myös muita asiakkaita valmiina tilaamaan valmista tuotetta. Yhtiö mainitsee julkaisupartnereiksi Metan ohella Cerebrasin, Cloudflaren, F5:n, OpenAI:n Positronin, Rebellionsin, SAP:n ja SK Telecomin. Lisäksi kaupallisille markkinoille Arm AGI -palvelimia tuodaan ASRock Rackin, Lenovon ja Supermicron toimesta.

Lähteet: Arm (1), (2)

 

[hkultala]

Tuo ydin (Neoverse V3) on aika huono ydin minkään tekoälyjuttujen ajamiseen.

Tekoälyjutuissa tarvitaan paljon matriiiskertolaskuvääntöä. Tässä sitä ei ole.

SVE2-käskykanta mahdollistaisi hyvin leveät SIMD-vektorit, mutta tässä on leveydeksi valittu pienin sallittu, 128 bittiä (eli 4 kertaa vähemmän kuin esim. Zen5ssa)

Ja tässä ei myöskään ole SME-matriiiskertolaskukäskylaajennosta.

Tässä nyt yritetään tärkeästi rahastaa AI-hypellä markkinoimalla tätä piiriä "AI-piirinä" vaikka oikeasti tässä ei ole siihen sopivaa tekniikkaa.

 

[Kaotik]

Tuo ydin (Neoverse V3) on aika huono ydin minkään tekoälyjuttujen ajamiseen.

Tekoälyjutuissa tarvitaan paljon matriiiskertolaskuvääntöä. Tässä sitä ei ole.

SVE2-käskykanta mahdollistaisi hyvin leveät SIMD-vektorit, mutta tässä on leveydeksi valittu pienin sallittu, 128 bittiä (eli 4 kertaa vähemmän kuin esim. Zen5ssa)

Ja tässä ei myöskään ole SME-matriiiskertolaskukäskylaajennosta.

Tässä nyt yritetään tärkeästi rahastaa AI-hypellä markkinoimalla tätä piiriä "AI-piirinä" vaikka oikeasti tässä ei ole siihen sopivaa tekniikkaa.

Markkinointi antaa typerästi toki ymmärtää että "agenttitouhuihin suunniteltu prosessori" laskisi niitä varsinaisia tekoälylaskuja, mutta niiden homma on toimia työnjohtajina ja organisoijina, ei tekijöinä.

Noissa agenttitekoälypalvelimissa prosessorilta kaivataan ennen kaikkea paljon ytimiä ja säikeitä käsittääkseni, niiden jälkeen kelloja maksimit.

 

[pomk]

Noissa agenttitekoälypalvelimissa prosessorilta kaivataan ennen kaikkea paljon ytimiä ja säikeitä käsittääkseni, niiden jälkeen kelloja maksimit.

Samoja LLM laskuja ne tekee.

 

[Kaotik]

Samoja LLM laskuja ne tekee.

Varmaan niitäkin voidaan laskea, mutta AMD prosessorin roolista Agentic AI -palvelimissa:

As the bulk of AI work transitions to inference, the CPU becomes less organizer and more the results-focused manager. GPUs still perform much of the heavy neural network math. But the CPU picks up the heavy thinking: It collects the data, routes information, interprets results, and decides the final actions. The CPU’s role is more intense in inference with control, coordination, and complex decision-making happening at the same time.

Asiantuntevalta* vaikuttava insinööri kertoo syvällisemmin aiheesta:

The CPU Bottleneck in Agentic AI and Why Server CPUs Matter More Than Ever

How agent orchestration shifts the CPU-GPU ratio, a framework for scoring server CPUs across reasoning and action workloads, applied to 17 datacenter CPUs from Intel, AMD, NVIDIA, AWS, Google and more

www.viksnewsletter.com

*(kokemusta, julkaistut paperit, patentit)

edit: lisättäköön vielä maininta siitäkin että pääasiakas Meta on nimenomaan parittamassa noita omien kiihdyttimiensä kanssa