Tehokasta AI työasemaa rakentamassa

[jtac]

Olen rakentamassa AI-työasemaa R&D-käyttöön ( budjetti ~20k€ ) ja kaipaisin apua kokoonpanon viimeistelyssä. Tavoitteena on kasata työasema, joka pystyy ajamaan keskikokoisia (13-15B) kielimalleja ja kouluttamaan pienempiä (8B) malleja. Alla alustavat vaatimukset:

• Prosessori: 1–2 CPU, tehot riittävät, ehdotuksia otetaan vastaan, eka ajatus oli threadripper pro 7975wx
• Tallennus: 2 x 4 Tt NVMe (12 000+ MB/s), 10 Tt lisätallennus (HDD tai SSD), RAID0 näille
• Muisti: 128–256 Gt DDR5 RAM
• Verkko: Minimissään 2 x RJ45 1 Gbps+
• Virtalähde:1–2 riittävän tehokasta PSUta
• Näytönohjaimet: 2–4 x RTX 4090 (tai mahdollisesti 5090, kun saatavilla)

Toiveena on päästä mahdollisimman lähelle 100 Gt VRAM, mutta vähintään 48 Gt tasolle kahdella RTX 4090 -kortilla. En kuitenkaan halua käyttää Nvidian enterprise-malliston kortteja (esim. A5000 tai L40s) tässä vaiheessa, vaan haluan rakentaa kokoonpanon ns "kaupan hylly" komponenteista.

Jäähdytyksestä sen verran että pitäisin ajatuksesta että nestejäähdytyksellä saataisiin ilman kiertämään paremmin, en usko että useampi 4090 vierekkän kiertää ilmaa tarpeeksi hyvin eikä se prossun noctua siellä sitä ilmankiertoa edistä. Rupesin siis miettimään miten pitäisi toimia kun torneissa yleensä on maksimissaan tilaa kahdelle 360-420 milliselle radiaattorille.

Mitä komponentteja suosittelisitte tähän kokoonpanoon, ja onko teillä ideoita mahdollisista haasteista tai vaihtoehdoista esimerkiksi jäähdytyksen, koon ja yhteensopivuuden osalta?

Huom! tässä saa käyttää omaa luovuutta ja asiantuntemusta

Kiitos jo etukäteen avusta!

AI-generoitu kuva inspiraatioksi:

 

[jtac]

 

[edup]

Samanlainen homma oli firmalleni työasemaa etsiessäni tuossa pari kuukautta sitten.

Päädyin tällaiseen kokoonpanoon: Ostoskori

Lisänä itsellä vielä RTX 6000 Ada. Oli tosin alunperin tarkoitus kyttäillä seuraavan generaation työasemakortteja, mutta satuin saamaan tämän kyseisen yksilön törkyhalvalla Amazon.de:n Warehouse alennusmyynnistä, ja päädyin sitten ostamaan sen.

Tuo sun hommasi on vahvasti muistikaistarajoitteista. Kannattaa lukaista noiden Threadrippereiden osalta tämä: Reddit - Dive into anything

Itselleni ainakin tuo 7965WX oli ns. sweetspot hinnan ja muistikaistan suhteen, ja epäilen että se saattaisi sinullekin sitä olla tuon 7975WX:n sijaan jos niille lisäcoreille ei jotakin muuta käyttöä ole olemassa.

 

[finWeazel]

Jos ei halua itse rakentaa niin tiny corp:lta saa valmista boxia missä 6x4090. En tiedä toimittavatko eurooppaan.

TinyBox AI accelerator now available starting at $15k, available in AMD 7900XTX and Nvidia RTX 4090 variants

The TinyBox is now on sale after all the drama.

www.tomshardware.com

 

[jtac]

Bizon tekee näitä myös mutta haluaisin mahdollisuuksien mukaan pitää tekeminen Suomessa. Kiitos kuitenkin ehdotuksesta, en ollut tätä nähnyt aiemmin, menee shortlistalle.

 

[Timo 2]

Päädyin tällaiseen kokoonpanoon: Ostoskori

Tosta pari kommenttia.

1. Onko levyn nopeus ehdottoman tärkeä? Eikö n. 7000 MBps nopeuden kc3000, tms pcie 4.0 ssd riitä? 2 tb olisi alta 150 € ja 4 tb 350 €

149,90 € | Kingston Technology FURY Renegade M.2 2000 GB PCI Expres...

SSD / Kingston Technology FURY Renegade, 2000 GB, M.2, 7300 MB/s

datatronic.fi

350,08 € | Kingston Technology FURY Renegade M.2 4000 GB PCI Expres...

2. Jäähyn olisi saanut halvemmalakin

Freezer 4U-M | Multicompatible 4U Single Tower CPU Cooler | ARCTIC

ACFRE00133A | The brand new Freezer 4U-M now available | Successor to the rated Freezer 4U SP3 | Server Cooler 4U | Server Cooler 4HE

www.arctic.de

Arctic Freezer 4U-M Is A Nice 4U Cooler Capable Of Cooling High-End AMD & Intel CPUs Review - Phoronix

www.phoronix.com

3. Muistin nopeus. Työpöytä puolla ideaali on 6000 tai max 6400. Syynä on että unified memory controller ei kulje riittävän nopeasti ja paras suorituskyky saadaan uclk=memclk

Siksi ehkä ennemmin nämä, koska halvemmat ja saatavuutta.

2,089.00 | Kingston Technology FURY Renegade Pro muistimoduuli 256 ...

Muistit / Kingston Technology FURY Renegade Pro, 256 GB, 8 x 32 GB, DDR5, 6000 MHz, 288-pin DIMM, Musta

datatronic.fi

Toisaalta eräs tyyppi sai toimimaan ton threadripperin uclk:n 3300 nopeudella, joka tarkoittaan 6600 muistia. (Mainostetut megaherz on 2x oikeasta lukemasta, koska ddr on lyhenne sanoista double data rate ja sen takia mainosmiehet tuplaa muistin nopeuden.)

SkatterBencher #71: AMD Ryzen Threadripper 7960X Overclocked to 5715 MHz - SkatterBencher

We overclock the AMD Ryzen Threadripper 7960X up to 5715 MHz with the GIGABYTE TRX50 Aero D motherboard and EK custom loop water cooling.

skatterbencher.com

4. Virtalähde on varmasti hyvä ja laadukas, mutta 1600w voi olla liioiteltua ja tämä varmaanbriittäisi myös ihan hyvin.

183,90 € | NZXT C1200 Gold virtalähdeyksikkö 1200 W 24-pin ATX ATX ...

Virtalähteet / NZXT C1200 Gold, 1200 W, 100 - 240 V, 50/60 Hz, 7 - 14 A, Aktiivinen, 120 W

datatronic.fi

N. 30 asteen lämpötilassa

 

[jtac]

Kiitos inputista, budjetti tälle kokoonpanolle on ~20k€ ja tärkein elementti on luotettavuus ja pitkäikäisyys, tämä pudottaa minulla kaikki ylikellotukset ja aliresursoinnit pois, preferoidaan laadukkaita komponentteja yli edullisuuden.

Virtalähteissä olen itse huomannut että ylikokoinen virtalähde == parempi hyötysuhde (koska ne ovat yleensä aina korkeinta luokitusta) => vähemmän melua ja pitempi käyttöikä.

Levyn nopeus on hyvin tärkeä johtuen työn laadusta, kun noita 100+Gt malleja siirrellään ja koulutusdataa viedään eestaas, levyn nopeus nopeasti muuttuu työminuuteiksi.

 

[edup]

Tosta pari kommenttia.

1. Onko levyn nopeus ehdottoman tärkeä? Eikö n. 7000 MBps nopeuden kc3000, tms pcie 4.0 ssd riitä? 2 tb olisi alta 150 € ja 4 tb 350 €

149,90 € | Kingston Technology FURY Renegade M.2 2000 GB PCI Expres...

SSD / Kingston Technology FURY Renegade, 2000 GB, M.2, 7300 MB/s

datatronic.fi

350,08 € | Kingston Technology FURY Renegade M.2 4000 GB PCI Expres...

2. Jäähyn olisi saanut halvemmalakin

Freezer 4U-M | Multicompatible 4U Single Tower CPU Cooler | ARCTIC

ACFRE00133A | The brand new Freezer 4U-M now available | Successor to the rated Freezer 4U SP3 | Server Cooler 4U | Server Cooler 4HE

www.arctic.de

Arctic Freezer 4U-M Is A Nice 4U Cooler Capable Of Cooling High-End AMD & Intel CPUs Review - Phoronix

www.phoronix.com

3. Muistin nopeus. Työpöytä puolla ideaali on 6000 tai max 6400. Syynä on että unified memory controller ei kulje riittävän nopeasti ja paras suorituskyky saadaan uclk=memclk

Siksi ehkä ennemmin nämä, koska halvemmat ja saatavuutta.

2,089.00 | Kingston Technology FURY Renegade Pro muistimoduuli 256 ...

Muistit / Kingston Technology FURY Renegade Pro, 256 GB, 8 x 32 GB, DDR5, 6000 MHz, 288-pin DIMM, Musta

datatronic.fi

Toisaalta eräs tyyppi sai toimimaan ton threadripperin uclk:n 3300 nopeudella, joka tarkoittaan 6600 muistia. (Mainostetut megaherz on 2x oikeasta lukemasta, koska ddr on lyhenne sanoista double data rate ja sen takia mainosmiehet tuplaa muistin nopeuden.)

SkatterBencher #71: AMD Ryzen Threadripper 7960X Overclocked to 5715 MHz - SkatterBencher

We overclock the AMD Ryzen Threadripper 7960X up to 5715 MHz with the GIGABYTE TRX50 Aero D motherboard and EK custom loop water cooling.

skatterbencher.com

4. Virtalähde on varmasti hyvä ja laadukas, mutta 1600w voi olla liioiteltua ja tämä varmaanbriittäisi myös ihan hyvin.

183,90 € | NZXT C1200 Gold virtalähdeyksikkö 1200 W 24-pin ATX ATX ...

Virtalähteet / NZXT C1200 Gold, 1200 W, 100 - 240 V, 50/60 Hz, 7 - 14 A, Aktiivinen, 120 W

datatronic.fi

N. 30 asteen lämpötilassa

Kun puhut muistien kohdalla "ideaalista", tarkoitatko että suorituskyky olisi 6000 MHz kammoilla parempi kuin 6800? Jos näin, niin harmi ettei tämä tieto löytynyt kun aiemmin näitä kyselin.

Virtalähde on ihan tarkoituksella ylimitoitettu, ja jos tämänkin aloittajan tapauksessa on tarkoitus iskeä 4x4090 kiinni, niin kyllä tuo 1200W alkaa melko rajoilla piikkikuormalla olla.

Tuon nvme:n kohdalla painoi niin nopeus, kuin luvattu kirjoituskestävyyskin. Joku muu saattaa painottaa näitä eri tavoin. Joka tapauksessa tuon yksittäisen levyn hinta kokonaisuudessa on käytännössä merkityksetön.

 

[Timo 2]

Kun puhut muistien kohdalla "ideaalista", tarkoitatko että suorituskyky olisi 6000 MHz kammoilla parempi kuin 6800? Jos näin, niin harmi ettei tämä tieto löytynyt kun aiemmin näitä kyselin

Kommentoin nopsaa tähän että kaikki riippuu siitä onko sulla memclk=uclk. Jos en tiedä onko työasemapuolla mahdollista saada korkeampi uclk kellotaajuus, kuin työpöydällä.

Ja jos noita ei aja 1:1 synkassa, niin riittävä nopeus on vasta jossain reilusti yli 7000, ehkä vasta ddr5 8000 nopeudessa.

Virtalähde on ihan tarkoituksella ylimitoitettu, ja jos tämänkin aloittajan tapauksessa on tarkoitus iskeä 4x4090 kiinni, niin kyllä tuo 1200W alkaa melko rajoilla piikkikuormalla olla.

Tuon nvme:n kohdalla painoi niin nopeus, kuin luvattu kirjoituskestävyyskin. Joku muu saattaa painottaa näitä eri tavoin. Joka tapauksessa tuon yksittäisen levyn hinta kokonaisuudessa on käytännössä merkityksetön.

Nää on hyviä pointteja. Itse katson paljolti kuluttajaluokasta ja peleistä käsin, niin painotus on helposti vähän eri.

Kiitos inputista, budjetti tälle kokoonpanolle on ~20k€ ja tärkein elementti on luotettavuus ja pitkäikäisyys, tämä pudottaa minulla kaikki ylikellotukset ja aliresursoinnit pois, preferoidaan laadukkaita komponentteja yli edullisuuden
Virtalähteissä olen itse huomannut että ylikokoinen virtalähde == parempi hyötysuhde (koska ne ovat yleensä aina korkeinta luokitusta) => vähemmän melua ja pitempi käyttöikä.

Levyn nopeus on hyvin tärkeä johtuen työn laadusta, kun noita 100+Gt malleja siirrellään ja koulutusdataa viedään eestaas, levyn nopeus nopeasti muuttuu työminuuteiksi.

siinä tapauksessa tästä ssd

905,00 € | Crucial CT4000T705SSD3 SSD-massamuisti M.2 4 TB PCI Expr...

SSD / Crucial CT4000T705SSD3, 4 TB, M.2, 14100 MB/s

datatronic.fi

The 2TB T705 writes at a blistering 12.1 GB/s for over 18 seconds in pSLC mode. Crucial specifies a cache that’s approximately 11% of user space, which at 220GB matches our findings quite closely. After the cache is exhausted, the drive writes to TLC at around 4 GB/s.

Crucial T705 2TB SSD Review: The Fastest SSD on The Planet

Crucial T705 delivers another first for retail SSDs.

www.tomshardware.com

En tiedä haluutko hdd:tä vai ssd:tä ton kaveriksi. Hdd:nä esim joku wd ultrastar, sata ssd:ksi vaikka näitä

1,585.00 | Samsung PM893 2.5" 7,68 TB Serial ATA III V-NAND TLC

SSD / Samsung PM893, 7,68 TB, 2.5", 550 MB/s, 6 Gbit/s

datatronic.fi

Tai siten laittaa noita kingtonin pcie 4.0 ssd levyjä kaveriksi.

Ja tästä laadukas psu 12v takuulla

589,00 € | Seasonic PRIME-TX-1600 virtalähdeyksikkö 1600 W 20+4 pin...

Virtalähteet / Seasonic PRIME-TX-1600, 1600 W, 100 - 240 V, 50 - 60 Hz, 15 - 10 A, 125 W, 1600 W

datatronic.fi

Ja on muuten hiljainen.
n. 30 asteessa.

Vähän kuumemmassa.

Seasonic Prime TX-1600 Power Supply Review

The Prime TX-1600 is Seasonic's flagship power supply.

www.tomshardware.com