Paikallisen AI:n kokoonpanot

[MOS6510]

Minisforumin AMD Strix Halo-kokoonpano on tullut juuri myyntiin. Koodilla "S1MAX" saa 200 eur alennusta, jolloin paketin hinnaksi tulee 2199 eur. Tämä on satoja euroja vähemmän kuin vastaava Frame.Workin kokoonpano.

Tuo 200 eur alennus ei ole voimassa pitkään, joten jos Strix Halo paikallisen kielimallin ajoalustaksi kiinnostaa, niin nyt kannattaa toimia:

Copy Your Exclusive Discount Code：S1MAX

Coupon validity period：9.26-10.3 PST​

Minisforum MS-S1 MAX

Minisforum MS-S1 MAX Powered by AMD Ryzen™ AI Max+ 395, integrating Zen5 CPU, RDNA 3.5 GPU, and a next-gen NPU. With 16 cores and 32 threads delivering RTX 4070 Laptop-level GPU performance plus 50 TOPS NPU acceleration, it achieves more efficient AI inference.

minisforumpc.eu

Tuolla saa laitteen, jossa voi osoittaa 96 GB muistia kielimallin käyttöön.

Tästä artikkelista saa käsitystä mihin Strix Halo pystyy:

AMD Ryzen AI Max+ "Strix Halo" Performance With ROCm 7.0 - Phoronix

www.phoronix.com

Edit:
Kotikäyttöön budjetiltaan sopivia ratkaisuja, joissa voi ajaa yhtä suuria kielimalleja ei ole markkinassa järin paljon saatavilla. Strix Halon lisäksi on ainakin Nvidian DGX Spark, jonka ilmoitettu hinta USA:ssa on luokkaa 4000$:

NVIDIA DGX Spark

A Grace Blackwell AI supercomputer on your desk.

www.nvidia.com

 

[hsalonen]

Tuossa olisi parempi:

NVIDIA DGX Spark

A Grace Blackwell AI supercomputer on your desk.

www.nvidia.com

 

[MOS6510]

Tuossa olisi parempi:

NVIDIA DGX Spark

A Grace Blackwell AI supercomputer on your desk.

www.nvidia.com

Mikä tuossa on parempaa? DGX Spark maksaa melkein tuplat vs Strix Halo, tukee parhaimmillaankin FP4-liukulukuja ja ei ole läheskään niin yleiskäyttöinen kuin Strix Halo, josta voit tehdä vaikka peli-PC:n, kun kielimallien ajaminen ei enää innosta.

 

[hsalonen]

Mikä tuossa on parempaa? DGX Spark maksaa melkein tuplat vs Strix Halo, tukee parhaimmillaankin FP4-liukulukuja ja ei ole läheskään niin yleiskäyttöinen kuin Strix Halo, josta voit tehdä vaikka peli-PC:n, kun kielimallien ajaminen ei enää innosta.

Se AI-suorituskyky - ainakin paperilla. Tämähän oli geneerinen ketju, eikä pelkkä Strix Halo?

 

[MOS6510]

Se AI-suorituskyky - ainakin paperilla. Tämähän oli geneerinen ketju, eikä pelkkä Strix Halo?

DGX Sparkin suorituskykytestejä ei edelleenkään löydy mistään, joten sen suorituskyvystä ei osaa kukaan sanoa mitään. Mutta speksien mukaan se ei tue FP8-quantisoidun kielimallin ajamista.

DGX Sparkia ei myöskään pysty vielä ostamaan. Nvidian forumilla ennakkovarauksen tehneet innokkaat odottavat tuskaisena tietoa toimitusten aloittamisesta.

 

[hsalonen]

DGX Sparkin suorituskykytestejä ei edelleenkään löydy mistään, joten sen suorituskyvystä ei osaa kukaan sanoa mitään. Mutta speksien mukaan se ei tue FP8-quantisoidun kielimallin ajamista.

DGX Sparkia ei myöskään pysty vielä ostamaan. Nvidian forumilla ennakkovarauksen tehneet innokkaat odottavat tuskaisena tietoa toimitusten aloittamisesta.

Saako sitä aloitusviestin Strix Halo -tuotetta tänään kaupoista?

 

[MOS6510]

Saako sitä aloitusviestin Strix Halo -tuotetta tänään kaupoista?

Strix Haloa on toimitettu eri muodoissaan jo kuukausia ja siitä löytyy runsaasti suorituskykytestejä. Minisforumin Strix Halo julkaistiin juuri ja toimitukset alkavat kuukauden päästä. Frame.Workia on toimitettu jo pari kuukautta, joskin kysyntä on niin suurta, että jos tilaat sellaisen nyt, niin saat omasi vuoden lopussa,

DGX Sparkia ei ole toimitettu asiakkaille ensimmäistäkään.

Frame.workin saa tilattua täältä: Configure Framework Desktop DIY Edition (AMD Ryzen™ AI Max 300 Series)

 

[hsalonen]

Ehkä kannattaa vaihtaa ketjun otsikko "Strix Halo -desktopit", tms. , kun vaihtoehtoja kohdataan tällaisella vihamielisyydellä.

 

[MOS6510]

Ehkä kannattaa vaihtaa ketjun otsikko "Strix Halo -desktopit", tms. , kun vaihtoehtoja kohdataan tällaisella vihamielisyydellä.

Puutuin väitteeseesi: "Tuossa olisi parempi". Perusteluksi ei riitä linkki Nvidian tuotesivulle ja perustelemattoman väitteen kyseenalaistaminen ei ole "vihamielisyyttä". On hienoa, jos lokaalien kielimallien ajamiseen on useita vaihtoehtoja, mutta en osta ajatusta, että 2x kalliimpi DGX Spark on automaattisesti "parempi" - etenkin, kun DGX Sparkista ei ole yhtään suorityskykytestiä saatavilla mistään. Julkisten tietojen perusteella se on nopeudeltaan suunnilleen RTX 5070-tasoa.