Paikallisen AI:n kokoonpanot

[MOS6510]

AMD Strix Halo eli AMD Ryzen AI Max+ 395 yhdessä 128GB muistin kanssa on oiva ajoalusta suurempienkin kielimallien ajamiseen. Strix Halosta saa laitteen, jossa voi osoittaa 96 GB muistia GPU:lle kielimallin käyttöön. Koska tässä on edelleen kyse PC:stä, voi laitetta käyttää niin Linuxin kuin Windowsin kanssa. Kielimallien ajoon paras yhdistelmä lienee tällä hetkellä Ubuntu Linux 24.04 + Rocm 7.0-ohjelmisto sekä vLLM itse kielimallien ajamiseen,

Strix Halo-laitteita saa pöytätyöasemana useammaltakin toimittajalta. Frame.Work on myynyt omaa laitettaan jo toista kuukautta, mutta Minisforumin uusi MS-S1 MAX on tullut myyntiin juuri uutena vaihtoehtona Frame.Workille. Frame.Work "barebone" ilman SSD-levyjä maksaa 2359 eur. Toisaalta Minisforumin saa muutaman päivän ajan 200 eur alennuksella kokonaishintaan 2199 eur ja tähän sisältyy myös 2 TB:n SSD. Jos siis tehokas kokoonpano kielimallien testailuun kiinnostaa, niin nyt kannattaa toimia.

200 eur alennuksen saa seuraavalla koodilla:

Copy Your Exclusive Discount Code：S1MAX

Coupon validity period：9.26-10.3 PST​

Minisforum MS-S1 MAX

Minisforum MS-S1 MAX Powered by AMD Ryzen™ AI Max+ 395, integrating Zen5 CPU, RDNA 3.5 GPU, and a next-gen NPU. With 16 cores and 32 threads delivering RTX 4070 Laptop-level GPU performance plus 50 TOPS NPU acceleration, it achieves more efficient AI inference.

minisforumpc.eu

Frame.Workin taas saa tilattua täältä:

Configure Framework Desktop DIY Edition (AMD Ryzen™ AI Max 300 Series)

Choose from AMD and Intel system options, select your preferred memory and storage, operating system, and more customizations. Available in DIY and pre-built configurations.

frame.work

Tästä artikkelista saa käsitystä mihin Strix Halo pystyy:

AMD Ryzen AI Max+ "Strix Halo" Performance With ROCm 7.0 - Phoronix

www.phoronix.com

Edit:
Kotikäyttöön budjetiltaan sopivia ratkaisuja, joissa voi ajaa yhtä suuria kielimalleja ei ole markkinassa järin paljon saatavilla. Strix Halon lisäksi on ainakin Nvidian DGX Spark, jonka ilmoitettu hinta USA:ssa on luokkaa 4000$. Toimitukset eivät ole vielä alkaneet ja suorituskykytestejä ei ole saatavilla. DGX Halo on ARM-prosessoreihin perustuva alusta, joka käyttää omaa sille tehtyä Linux-jakelua.

NVIDIA DGX Spark

A Grace Blackwell AI supercomputer on your desk.

www.nvidia.com

 

[hsalonen]

Tuossa olisi parempi:

NVIDIA DGX Spark

A Grace Blackwell AI supercomputer on your desk.

www.nvidia.com

 

[MOS6510]

Tuossa olisi parempi:

NVIDIA DGX Spark

A Grace Blackwell AI supercomputer on your desk.

www.nvidia.com

Mikä tuossa on parempaa? DGX Spark maksaa melkein tuplat vs Strix Halo, tukee parhaimmillaankin FP4-liukulukuja ja ei ole läheskään niin yleiskäyttöinen kuin Strix Halo, josta voit tehdä vaikka peli-PC:n, kun kielimallien ajaminen ei enää innosta.

 

[hsalonen]

Mikä tuossa on parempaa? DGX Spark maksaa melkein tuplat vs Strix Halo, tukee parhaimmillaankin FP4-liukulukuja ja ei ole läheskään niin yleiskäyttöinen kuin Strix Halo, josta voit tehdä vaikka peli-PC:n, kun kielimallien ajaminen ei enää innosta.

Se AI-suorituskyky - ainakin paperilla. Tämähän oli geneerinen ketju, eikä pelkkä Strix Halo?

 

[MOS6510]

Se AI-suorituskyky - ainakin paperilla. Tämähän oli geneerinen ketju, eikä pelkkä Strix Halo?

DGX Sparkin suorituskykytestejä ei edelleenkään löydy mistään, joten sen suorituskyvystä ei osaa kukaan sanoa mitään. Mutta speksien mukaan se ei tue FP8-quantisoidun kielimallin ajamista.

DGX Sparkia ei myöskään pysty vielä ostamaan. Nvidian forumilla ennakkovarauksen tehneet innokkaat odottavat tuskaisena tietoa toimitusten aloittamisesta.

 

[hsalonen]

DGX Sparkin suorituskykytestejä ei edelleenkään löydy mistään, joten sen suorituskyvystä ei osaa kukaan sanoa mitään. Mutta speksien mukaan se ei tue FP8-quantisoidun kielimallin ajamista.

DGX Sparkia ei myöskään pysty vielä ostamaan. Nvidian forumilla ennakkovarauksen tehneet innokkaat odottavat tuskaisena tietoa toimitusten aloittamisesta.

Saako sitä aloitusviestin Strix Halo -tuotetta tänään kaupoista?

 

[MOS6510]

Saako sitä aloitusviestin Strix Halo -tuotetta tänään kaupoista?

Strix Haloa on toimitettu eri muodoissaan jo kuukausia ja siitä löytyy runsaasti suorituskykytestejä. Minisforumin Strix Halo julkaistiin juuri ja toimitukset alkavat kuukauden päästä. Frame.Workia on toimitettu jo pari kuukautta, joskin kysyntä on niin suurta, että jos tilaat sellaisen nyt, niin saat omasi vuoden lopussa,

DGX Sparkia ei ole toimitettu asiakkaille ensimmäistäkään.

Frame.workin saa tilattua täältä: Configure Framework Desktop DIY Edition (AMD Ryzen™ AI Max 300 Series)

 

[hsalonen]

Ehkä kannattaa vaihtaa ketjun otsikko "Strix Halo -desktopit", tms. , kun vaihtoehtoja kohdataan tällaisella vihamielisyydellä.

 

[MOS6510]

Ehkä kannattaa vaihtaa ketjun otsikko "Strix Halo -desktopit", tms. , kun vaihtoehtoja kohdataan tällaisella vihamielisyydellä.

Puutuin väitteeseesi: "Tuossa olisi parempi". Perusteluksi ei riitä linkki Nvidian tuotesivulle ja perustelemattoman väitteen kyseenalaistaminen ei ole "vihamielisyyttä". On hienoa, jos lokaalien kielimallien ajamiseen on useita vaihtoehtoja, mutta en osta ajatusta, että 2x kalliimpi DGX Spark on automaattisesti "parempi" - etenkin, kun DGX Sparkista ei ole yhtään suorityskykytestiä saatavilla mistään. Julkisten tietojen perusteella se on nopeudeltaan suunnilleen RTX 5070-tasoa.

 

[finWeazel]

Testasin 5090:lla ja macbook pro m4 max:lla ollaman kautta gpt-oss:120b mallia promptilla "kirjoita pitkä tarina keravan kirvesmurhaajasta". 5090:en muistinvähyydestä johtuen macbook pro m4 max oli 4x nopeampi kuin 5090:en. Miten lie nuo amd:n härpättimet jaksaisivat, puolet m4 max:in nopeudesta?

Sivuhuomiona, että imho. tuo 120B malli on niin huono etten edelleenkään käyttäisi lokaaleja malleja versus maksulliset pilvihärpättimet. Varsinkin kun lokaalirauta ja siihen laitettu raha mätänee käsiin, pilvessä rauta päivittyy vuosittain.

5090:en

macbook pro m4 max 128GB

Sama prompti gpt-oss:20b mallilla 5090 215.2token/s ja m4 max 85.5 token/s. Tässä näkee miten raaka suorituskyky puhuu kun muistinmäärä ei tule esteeksi. Tosin m4 max ottean huomioon virrankulutuksen on melko upea vs. 5090. Voipi toki olla, että tuollainen prompti liian keveä ja ei rasita gpu:ta maksimaalisesti. Voi myös olla, että ollamaa ei ole yhtä hyvin optimoitu eri raudoille niin vertailut epäreiluja.

 

[MOS6510]

Sama prompti gpt-oss:20b mallilla 5090 215.2token/s ja m4 max 85.5 token/s. Tässä näkee miten raaka suorituskyky puhuu kun muistinmäärä ei tule esteeksi. Tosin m4 max ottean huomioon virrankulutuksen on melko upea vs. 5090. Voipi toki olla, että tuollainen prompti liian keveä ja ei rasita gpu:ta maksimaalisesti. Voi myös olla, että ollamaa ei ole yhtä hyvin optimoitu eri raudoille niin vertailut epäreiluja.

Phoronix on testannut jotain malleja Strix Halolla ja esim gpt-oss:20b:llä testit antoivat ulos 500 - 1200 tokenia per/s. Alempi luku perustuu ROCm 7:ään ja korkeampi Vulkaniin. Testaan itse kun saan tilaamani Minisforumin.

AMD Ryzen AI Max+ "Strix Halo" Performance With ROCm 7.0 - Phoronix

www.phoronix.com

Joku Reddit-käyttäjä on testannut tuota gpt-oss:120b-mallia Strix Halolla ja saanut Ollamalla tulokseksi 3750 t/s promt eval.

Reddit - The heart of the internet

www.reddit.com

 

[finWeazel]

Phoronix on testannut jotain malleja Strix Halolla ja esim gpt-oss:20b:llä testit antoivat ulos 500 - 1200 tokenia per/s. Alempi luku perustuu ROCm 7:ään ja korkeampi Vulkaniin. Testaan itse kun saan tilaamani Minisforumin.

AMD Ryzen AI Max+ "Strix Halo" Performance With ROCm 7.0 - Phoronix

www.phoronix.com

Joku Reddit-käyttäjä on testannut tuota gpt-oss:120b-mallia Strix Halolla ja saanut Ollamalla tulokseksi 3750 t/s promt eval.

Reddit - The heart of the internet

www.reddit.com

Perustin heiton nopeudesta muistikaistaan. Aika hyvin llm suorituskyky skaalaa muistikaistan suhteen. Halo strix about 256GB/s, m4 max 546GB/s ja 5090:en 1800GB/s (pyöreät ei tarkat numerot, kokoluokka oikea)

Menee omenia ja appelsiineja vertailuksi kun käytetään eri frameworkkeja ja eri prompteja. Mä käytän ollamaa sen helppouden vuoksi vaikka ei ole optimaalisimman nopea. Todellisuudessa en ole noilla lokaaleille löytänyt käyttötarkoitusta kun niiden tuottama laatu ei riitä versus pilvi. Pilvi muutenkin halpaa versus jos pitää ostaa käsiin mätänevää rautaa. Mulla toi m4 max ja 5090:en muista kuin llnm syistä, mutta bonus että voi llm:ia testailla lokaalisti.

Mulle relevantit lokaalit ai-kuormat löytyy davinci resolve, skylum luminar neo, topaz video/photo/gigapixel jne. appseista. mäkillä reissunvarrelta akunvarassa ja kotosalla 5090:lla.

 

[mailbag]

Juu itsekin olen ajoittain kokeillut local malleja koodin tekemiseen mutta kyllä niiden tulos on ainakin yhdellä näyttiksellä niin surkeaa verrattuna GPT-5, claude ja vastaaviin malleihin että itse käytän näyttistä lähinnä kuvien ja VR-kokemusten generoimiseen missä suorituskyky onkin sitten todella hyvä.

 

[Halpuuttaja]

Phoronix on testannut jotain malleja Strix Halolla ja esim gpt-oss:20b:llä testit antoivat ulos 500 - 1200 tokenia per/s.

Toi on prompt processing nopeus. Eli kun annat sille 12000 tokenin pituisen uutisartikkelin ja käskyn kirjoittaa tiivistelmän siitä niin se käsittelee tuon promptin 10 sekunnissa, jos pp = 1200t/s.

Text generation testissä näkyy tulos 73,15 t/s, eli se kirjoittaa ulostaa vastausta promptiisi tuota vauhtia. Tg nopeus tosin putoaa mitä pidempi konteksti kyseessä.