AMD julkaisi oppaan LLM-kielimallien pyörittämiseen Ryzeneillä ja Radeoneilla

[Kaotik]

NVIDIA julkaisi hiljattain oman tekoälybottinsa, joka hyödyntää LLM-kielimalleja ja pyöriä lokaalisti käyttäjän tietokoneella.
Nyt AMD on julkaissut ohjeet, miten LLM-kielimallien ja siten tekoälybottien pyörittely onnistuu myös Ryzeneillä ja Radeoneilla.
Vaatimuksena on Ryzen-prosessori XDNA-kiihdyttimellä tai Radeon RX 7000 -sarjan näytönohjain.

Lähde: How to run a Large Language Model (LLM) on your AMD Ryzen™ AI PC or Radeon Graphics Card

 

[Halpuuttaja]

Prossulla jos haluaa ajaa niin XDNA-kiihdytys ei varmastikaan ole vaatimus, koska AMD:n vinkkaama LM Studio käyttää llama.cpp:tä joka toimii ihan tavan prossullakin. Redditissä väittävät, ettei llama.cpp edes osaa hyödyntää XDNA:ta.

Reddit - Dive into anything

www.reddit.com

edit: LM Studion sivuilla kertovat vaatimukseksi "Windows / Linux PC with a processor that supports AVX2 (typically newer PCs)"