AMD julkaisi ohjeet DeepSeek R1 -kielimallin ajoon paikallisesti

[Kaotik]

DeepSeek R1 -kielimalli on ollut viime päivien puheenaihe, joka aiheutti muun muassa lähes biljoonan dollarin loven Yhdysvaltain teknologiayritysten arvoon osakemarkkinoilla.
AMD on julkaissut nyt ohjeet, miten kielimallia voi pyörittää paikallisesti omalla koneella Ryzen AI -prosessoreilla ja Radeon-näytönohjaimilla. Löydät ohjeen lähdelinkin takaa.
Paikallisesti pyöritettävät mallit perustuvat kevyempiin "distill-versioihin" Qwen- ja Llama-malleista ja niitä on saatavilla useina versioina.

Yhtiön David McAfee julkaisi lisäksi suorituskykyvertailun, jonka mukaan Radeon RX 7900 XTX peittoaa DeepSeek R1:n pyörityksessä paitsi NVIDIAn GeForce RTX 4080 Superin, myös GeForce RTX 4090:n yhtä poikkeusta lukuunottamatta.



Lähde: Experience the DeepSeek R1 Distilled 'Reasoning' Models on AMD Ryzen™ AI and Radeon™

 

[Kovaluu]

Mielenkiintoista. Toivottavasti vähän laskee AI hintaa meidän pelaajien korteista kun saadaan mahdollista kilpailua.

 

[Timo 2]

Mielenkiintoista. Toivottavasti vähän laskee AI hintaa meidän pelaajien korteista kun saadaan mahdollista kilpailua.

Pikemminkin päinvastoin. Pelaajien kortit alkaa kelpaamaan tekoälyhommiin ja ne on kahta pahemmin kortilla.

 

[Kovaluu]

Pikemminkin päinvastoin. Pelaajien kortit alkaa kelpaamaan tekoälyhommiin ja ne on kahta pahemmin kortilla.

Eikun Nvidia joutuu laskemaan hintaa ja AMD mahdollisesti mukana jos kilpa menee villiksi.
Vai eikö Nvidia ole ollut parempi siinä?
Edit: Tähän asti nvidian kortit ovat kelvanneet vaikka ovatkin kalliita koska oikeisiin verrattuna halpoja?

 

[Geazrie]

Eikun Nvidia joutuu laskemaan hintaa ja AMD mahdollisesti mukana jos kilpa menee villiksi.
Vai eikö Nvidia ole ollut parempi siinä?
Edit: Tähän asti nvidian kortit ovat kelvanneet vaikka ovatkin kalliita koska oikeisiin verrattuna halpoja?

Eiköhän pelikortit menneet enemmänkin louhijoille kun hinnat menivät aiemmin aivan hulluksi. AI-hommissa pelikortit lienevät harrastepuuhasteluissa toimivia. Eikä se DeepSeek millään armeijalla 4090 (Ti Super-dupereita) sitä tekoälyään kouluttanut.

 

[Kovaluu]

Eiköhän pelikortit menneet enemmänkin louhijoille kun hinnat menivät aiemmin aivan hulluksi. AI-hommissa pelikortit lienevät harrastepuuhasteluissa toimivia. Eikä se DeepSeek millään armeijalla 4090 (Ti Super-dupereita) sitä tekoälyään kouluttanut.

Louhijoillehan ne menivät ennen AI vouhotusta.
Mutta eikös 4090 vientiä rajoitettu Kiinaan rampautettuilla piireihin juuri sen takia että niitä käytetään AI hommiin?

 

[Halpuuttaja]

Se varsinainen Deepseek R1, josta kohkataan nyt kaikkialla on 685 miljardilla parametrillään reippaat 20x suurempi kuin tämä kuvaajassa esiintyvä 32B distill malli.

Eli kotikoneella ei nyt ihan vielä kuintekaan o1 tai Claude 3.5 kilpailijaa pyöritellä.

 

[weetabix]

Sehän riippuu aika pitkälle siitä mitä mallilta haluaa. Ei sille.nyt Internetin kaikkea tietoa tartte syöttää, mutta paikallisesti esim. kaikki paikalliset tiedostot, dokumentit ja ohjeistukset niin pääsee spesifissä käyttötapauksessa jo aika paljon pidemmälle.

Noin yleisesti voisi sanoa (kuten Conputerfile videossaan toi esiin), että deepseek tuo ko. mallien ajon esim. Yliopistotason maksukyvyn ääreen joka aiemmin ei ollut mahdollista (ja malli on tietty avoin ja tutkimuspapereita julkaistu joka on kullanarvoista vs. nämä suljetut mallit).

 

[gratnak]

Se varsinainen Deepseek R1, josta kohkataan nyt kaikkialla on 685 miljardilla parametrillään reippaat 20x suurempi kuin tämä kuvaajassa esiintyvä 32B distill malli.

Eli kotikoneella ei nyt ihan vielä kuintekaan o1 tai Claude 3.5 kilpailijaa pyöritellä.

Vähän asiaa tuntevana, miten käytännössä vaikuttaa toi kevennetty distill malli kuluttajan käytössä?

 

[pomk]

Vähän asiaa tuntevana, miten käytännössä vaikuttaa toi kevennetty distill malli kuluttajan käytössä?

Riippuu käytöstä ja siitä miten onnistunut tuo tislaus on ollut.

Joku ei varmaan edes huomaa eroa, toinen ei voisi sitä edes käyttää samaan käyttötarkoitukseen.

 

[Halpuuttaja]

Vähän asiaa tuntevana, miten käytännössä vaikuttaa toi kevennetty distill malli kuluttajan käytössä?

Isompi malli älykkäämpi, esim. ratkoo todennäköisemmin jonkun matemaattisen ongelman tai koodaustehtävän oikein.

Tuo Alibaban Qwen 2.5 32B malli on kyllä tämän hetken huippu kokoluokassaan ja nämä reasoning finetunet lisäävät kyvykkyyttä.

R1 distill taitaa olla benchmarkeissa parempi kuin Alibaban oma QwQ-32B-Preview, jossa sama reasoning perusidea ja pohjautuu samaan Qwen 2.5 malliin.

 

[PRORAUTA]

Kiinassa tuplaavat 4090 korttien muistin. Siihen puuhaan on ihan valmistuslinjoja. 4090 tuplamuistilla olisi itsellekin sellainen jytky, ette oksat pois. Muistipiirit siis korvataan isomilla. Tuossa hommassa on se riskinä, että Nvidia hankaloittaa tuollaisen muistimodatun mallin toimintaan vähintään ajureiden osalta.

 

[PRORAUTA]

Jos huhut pitävät paikkansa ja Blackwell sarjan RTX6000 kortissa todella 96GB, on se pienille toimijoille todella mielenkiintoinen vaihtoehto. 96GB on jo kohtuu hyvä määrä muistia kortissa. Moni ostaa varmaan kotiinkin sellaisen. Deepseekin mallikirjoa en ole vielä katsellut, että miten suuren mallin siitä tuollaiseen 96GB korttiin voisi laittaa.

 

[Obi-Lan]

Mistään mitään tietämättä Nvidia L4/L40/L40s varmaan sopis AI hommiin paremmin kuin pelikortit?