Olisi tarve päivittää työasemaa sellaiseksi, että isompien LLM:ien lokaali inferenssi onnistuu siedettävällä nopeudella. Kun aloin selvitellä vaihtoehtoja, kävi ilmi että valinnanvaraa on yllättävänkin paljon. Siksi kyselisinkin mille pohjalle porukka täällä lähtisi rakentamaan moista? Alla listattuna joitain rajoitteita ja ajatuksia eri osa-alueista.
GPU:
Pinkkaa ei ole 2x80GB tai 4x48GB kortteihin, joten realismia on ajaa CPU+GPU inferenssiä, silloin kun isommista (kvantisoimattomista) malleista kyse. GPU-päivitys on tarkoitus tehdä vasta Nvidian seuraavien työasemakorttien julkaisun jälkeen (oletetuksena sen tapahtuminen vuodenvaihteen 24/25 tienoilla), ja nitkutella siihen asti nykyisellä V100:lla. Todennäköisesti tuossa päivityksessä sitten tullaan tavoittelemaan nopeus/hinta-suhteeltaan järkevää komboa 80-96 GB VRAM:illa. Jos korttien nykyhinnoittelua katsoo, niin todennäköinen skenaario on 2 kappaletta jotakin työasemakorttia.
RAM:
Määrällisesti muistia tarvitaan nykyaikaisten 70B mallien kanssa 70B * 2 tavua = 140 GB, ja siihen sitten OS:lle ja muulle "ylimääräiselle" tauhkalle omansa, eli käytännössä 192GB on järkevä minimi. Ajettaessa CPU+GPU inferenssiä, käytännön pullonkaula on muistikaista, eli tämän optimointi niin muistikanavien kuin muistien nopeudenkin osalta on yksi avaintekijä tässä kokoonpanossa.
CPU:
Kun nyt järeämpää konetta muutoinkin kootaan, niin ehkä järkevää on lähteä liikenteeseen 16-ytimisistä prossuista. Kokoonpanon ikääntyessä voi sitten tarpeen vaatiessa vaihtaa järeämpää tilalle, kunhan käytettynä niiden hinnat on tulleet vähän alas.
SSD/HDD:
Datat istuu verkkolevyllä 10 Gbe verkon päässä, eli koneelle itsessään ei tarvita kovin kummoista tallennustilaa. Joku perus PCIe 5.0 NVMe 1-2 TB tilalla riittää mainiosti.
Emolevy/kotelo/PSU:
Tarkoitus on koota työpöytäkone, eli räkkiasenteiset laitteet jätetään tällä kertaa hyllyyn. Koska koneella on myös muuta käyttöä, niin yleisesti ottaen modernit liitännät (USB ym.) on plussaa, eli kaikista karsituimmat serverilankut ei houkuttele. Virtalähde ylimitoitetaan niin että kokoonpanoon voi myöhemmin sen puolesta lisätä surutta nuo aiemmin mainitut 2 näytönohjainta.
Jos uutena hankkisi, niin hintaa esim. Threadripper Pro-pohjaiselle kokoonpanolle tulisi helposti 5600e (ALV0), ilman että kauheasti säästelee mistään. Mutta mitä mieltä muut, löytyykö esim. Xeonista tai Epycistä haastajaa?
GPU:
Pinkkaa ei ole 2x80GB tai 4x48GB kortteihin, joten realismia on ajaa CPU+GPU inferenssiä, silloin kun isommista (kvantisoimattomista) malleista kyse. GPU-päivitys on tarkoitus tehdä vasta Nvidian seuraavien työasemakorttien julkaisun jälkeen (oletetuksena sen tapahtuminen vuodenvaihteen 24/25 tienoilla), ja nitkutella siihen asti nykyisellä V100:lla. Todennäköisesti tuossa päivityksessä sitten tullaan tavoittelemaan nopeus/hinta-suhteeltaan järkevää komboa 80-96 GB VRAM:illa. Jos korttien nykyhinnoittelua katsoo, niin todennäköinen skenaario on 2 kappaletta jotakin työasemakorttia.
RAM:
Määrällisesti muistia tarvitaan nykyaikaisten 70B mallien kanssa 70B * 2 tavua = 140 GB, ja siihen sitten OS:lle ja muulle "ylimääräiselle" tauhkalle omansa, eli käytännössä 192GB on järkevä minimi. Ajettaessa CPU+GPU inferenssiä, käytännön pullonkaula on muistikaista, eli tämän optimointi niin muistikanavien kuin muistien nopeudenkin osalta on yksi avaintekijä tässä kokoonpanossa.
CPU:
Kun nyt järeämpää konetta muutoinkin kootaan, niin ehkä järkevää on lähteä liikenteeseen 16-ytimisistä prossuista. Kokoonpanon ikääntyessä voi sitten tarpeen vaatiessa vaihtaa järeämpää tilalle, kunhan käytettynä niiden hinnat on tulleet vähän alas.
SSD/HDD:
Datat istuu verkkolevyllä 10 Gbe verkon päässä, eli koneelle itsessään ei tarvita kovin kummoista tallennustilaa. Joku perus PCIe 5.0 NVMe 1-2 TB tilalla riittää mainiosti.
Emolevy/kotelo/PSU:
Tarkoitus on koota työpöytäkone, eli räkkiasenteiset laitteet jätetään tällä kertaa hyllyyn. Koska koneella on myös muuta käyttöä, niin yleisesti ottaen modernit liitännät (USB ym.) on plussaa, eli kaikista karsituimmat serverilankut ei houkuttele. Virtalähde ylimitoitetaan niin että kokoonpanoon voi myöhemmin sen puolesta lisätä surutta nuo aiemmin mainitut 2 näytönohjainta.
Jos uutena hankkisi, niin hintaa esim. Threadripper Pro-pohjaiselle kokoonpanolle tulisi helposti 5600e (ALV0), ilman että kauheasti säästelee mistään. Mutta mitä mieltä muut, löytyykö esim. Xeonista tai Epycistä haastajaa?
Tuo PBO:n löytyminen BIOSista on kylläkin merkkikohtaista. Se myös varoittelee että takuu menisi, mutta AMD:n mukaan näin ei ole - ylikellotus ei evää takuuta. Jos prosessorin ylikellottaa rikki, takuu evätään - pelkkä PBO:n enablointi ei pitäisi mitään hajottaa.
