Tehokone tutkimuskäyttöön (~5000€)

[Nitrogen]

Hei,

Tarkoituksena olisi kasata uutta konetta tutkimuskäyttöön, sillä nykyisistä työasemista loppuvat nopeasti tehot ja muisti pyöritellessä isoja kuvantamisdatasettejä (esim. isot tiff stackit tai 3D-datasetit). Lisäksi ohessa voisi pyöritellä välillä pienimuotoista koneoppimista (esim. Deeplabcut). Lafkan puolesta tarjolla olevat valmispaketit kuulostavat omaan korvaan kohtuuttoman hintaisilta suhteessa saatavaan suorituskykyyn (alla pari esimerkkiä), ja siksi olisi hienoa saada vähän osviittaa mitä tuolla rahalla voisi saada erikseen kasattuna.

Lenovo P620, AMD Ryzen Threadripper Pro 5955WX (16C) / 64 GB (4x16) DDR4 / 1 + 4 TB M.2 SSD / NVIDIA RTX 4080 16 GB GDDR6, 5 068 € (alv 0)

Lenovo P620AMD Ryzen Threadripper Pro 5955WX (16C) / 64 GB (2x32) DDR4 / 2 TB M.2 SSD / NVIDIA RTX 3080 Ti 12 GB GDDR6, 5 642 € (alv 0)

Lenovo P7 Intel Xeon W5-3423 (12 C) / Power 1400W / 64 GB (4x16) DDR5 / 2 TB M.2 SSD / 3 x NVIDIA RTX A4000 16 GB GDDR6, 6 790 € (alv 0)

• Tässä ilmeisesti 3 x RTX A4000, mutta ymmärtääkseni nämä eivät tue NVlink ja VRAM poolaudu lainkaan?

Mietiskelin yleisellä tasolla, että:
- Keskusmuistia voisi olla lähtökohtaisesti vähintään 128GB, mieluummin 256GB tai jopa 512GB. DDR4 vs DDR5?
- Näytönohjaimessa voisi olla väh. 24GB VRAM. RTX 4090? Toisaalta vanhasta koneesta löytyy RTX A4000, jonka voi tarvittaessa siirtää uuteen koneeseen, jos rahaa on parempi käyttää muihin komponentteihin.
- 2 x 2 teraa SSD tallennustilaa.
- Kannattaako suosia uusimpia AMD suorittimia?

Kaikki ehdotukset/vinkit otetaan lämmöllä vastaan!

 

[Yann]

Onko koneella kiire? Todennäköisesti alkuvuonna tuleva Mac Studio M4 Ultra voisi olla yksi vaihtoehto, jos ohjelmat vaan toimii siinä. Noissa GPU pystyy käsittääkseni käyttämään RAM muistia ja sen odotetaan peittoavan RTX 4090. Hinta tietty voi olla suolainen varsinkin, jos isompi määrä RAM muistia. Mac Studio M2 Ultra 128 GB maksaa nyt vajaat 6000 euroa, mutta sitä tuskin kannattaa ostaa, kun MacBook Pro 16 M4 Max on sitä nopeampi.

Jos et ehdi odottaa, vaihtoehtona voisi olla MacBook Pro 16 M4 Max 128 GB 1000 GB, joka maksaa noin 6000 euroa ja vaatisi ulkoisen tallennustilan.

 

[lehtv]

No, en ole työasemakomponenttien asiantuntija - mutta. Kuluttajapuolen AMD:t on jo Zen5 arkkitehtuurissa ja tukee DDR5-muisteja sekä PCIe 5.0:aa, kun taas uusimmat 7000-sarjan Threadripperit ovat vielä Zen4 pohjaisia ja DDR4 ja PCIe 4.0 (Muok. eipäs sittenkään, onhan noi Zen4:t DDR5 ja Gen5). 5955WX on puolestaan Zen3 pohjainen, verrattavissa Ryzen 5950X:ään. Hinnan lisäksi siinä syitä harkita normi Ryzenia eli 16C/32T Ryzen 9 9950X.

Threadripperin etuja puolestaan:
- yksi prosessori voi sisältää huomattavasti enemmän ytimiä (jopa 96C / 192T 7995WX, toki tommoset ei mahdu budjettiin)
- tukee paljon suurempaa määrää PCIe kaistoja. Perus ryzenin kanssa voi olla hankala tehtailla jotain kolmen näytönohjaimen setuppia, mutta kaksi menee vielä x8/x8 moodissa
- ECC muistit jos sellaisille on tarvetta

RTX 5090 julkaisua voisi odotella, nyt on aika huono aika hankkia RTX 4090. Sitä huhutaan nyt tammikuuhun 2025.

 

[TommiZeliard]

Hei,

Tarkoituksena olisi kasata uutta konetta tutkimuskäyttöön, sillä nykyisistä työasemista loppuvat nopeasti tehot ja muisti pyöritellessä isoja kuvantamisdatasettejä (esim. isot tiff stackit tai 3D-datasetit). Lisäksi ohessa voisi pyöritellä välillä pienimuotoista koneoppimista (esim. Deeplabcut). Lafkan puolesta tarjolla olevat valmispaketit kuulostavat omaan korvaan kohtuuttoman hintaisilta suhteessa saatavaan suorituskykyyn (alla pari esimerkkiä), ja siksi olisi hienoa saada vähän osviittaa mitä tuolla rahalla voisi saada erikseen kasattuna.

Lenovo P620, AMD Ryzen Threadripper Pro 5955WX (16C) / 64 GB (4x16) DDR4 / 1 + 4 TB M.2 SSD / NVIDIA RTX 4080 16 GB GDDR6, 5 068 € (alv 0)

Lenovo P620AMD Ryzen Threadripper Pro 5955WX (16C) / 64 GB (2x32) DDR4 / 2 TB M.2 SSD / NVIDIA RTX 3080 Ti 12 GB GDDR6, 5 642 € (alv 0)

Lenovo P7 Intel Xeon W5-3423 (12 C) / Power 1400W / 64 GB (4x16) DDR5 / 2 TB M.2 SSD / 3 x NVIDIA RTX A4000 16 GB GDDR6, 6 790 € (alv 0)

• Tässä ilmeisesti 3 x RTX A4000, mutta ymmärtääkseni nämä eivät tue NVlink ja VRAM poolaudu lainkaan?

Mietiskelin yleisellä tasolla, että:
- Keskusmuistia voisi olla lähtökohtaisesti vähintään 128GB, mieluummin 256GB tai jopa 512GB. DDR4 vs DDR5?
- Näytönohjaimessa voisi olla väh. 24GB VRAM. RTX 4090? Toisaalta vanhasta koneesta löytyy RTX A4000, jonka voi tarvittaessa siirtää uuteen koneeseen, jos rahaa on parempi käyttää muihin komponentteihin.
- 2 x 2 teraa SSD tallennustilaa.
- Kannattaako suosia uusimpia AMD suorittimia?

Kaikki ehdotukset/vinkit otetaan lämmöllä vastaan!

Naputtelin kilpailijan noille kahdelle ensimmäiselle:
Threadripper 7960X 4,2/5,3 GHz (24C), DDR5 quad channel 192 Gt (4 * 48 Gt), 2 Tt + 2 Tt, RTX 4080S 16 Gt, 1,5 kW, 4 918 € (alv 25,5 %).

Muistit eivät ole huippunopeat, mutta DDR5-quad kompensoi. Halvempikin virtalähde riittää, jos näytönohjaimia ei ole useita. Prossujäähyn varmaan saisi jostain muualta edullisemmin. Näytönohjainta en ostaisi nyt, koska uudet ovat juuri tulossa ja sinulla on vanha 16 Gt. Prossu ja emo menevät vähän hukkaan ja nostavat turhaan hintaa, jos sinulla ei ole tarvetta suurelle muistikaistalle/monelle näytönohjaimelle. Silloin 9950X voisi riittää. Näin kalliista koneesta kysyisin tarjouksen Datatronicista.

Ostoskori

datatronic.fi

 

[Chroniksu]

Tässä ilmeisesti 3 x RTX A4000, mutta ymmärtääkseni nämä eivät tue NVlink ja VRAM poolaudu lainkaan?

Olet aivan oikeassa. RTX A4000:ssa ei ole NVlink tukea. Sehän on itse asiassa RTX 3070 kanssa lähes identtinen kortti muuten paitsi, että siinä on 16Gt Vramia kun taas RTX 3070:ssa vain 8Gt.

 

[finWeazel]

Lähtisin liikkeelle amd 9950x, 4090, x870e emo( paikat gen5 nvme ssd:lle). Crucial t705 4tb ja sn850x 8TB ssd:t. Muistia saa emosta riippuen 256GB asti.

Jos ei ole kiire niin 5090 ja amd:n 16 core x3d prosessori alkuvuodesta 2025.

Hinta menee kotelo, virtalähde yms. mukaanlaskettuna jonnekin 6ke paikkeille. Ssd:sta helppo nipistää halvemmaksi jos ei levytilalle ja nopeudelle ole maksimaalista tarvetta.

 

[Yann]

Tuossa videolla näkyy hienosti tuo ero, kun malli mahtuu RAM/VRAM-muistiin tai ei mahdu. Siis jos käytät isoja malleja, on tärkeää, että GPU:n käytettävissä on tarpeeksi RAMia. Ero on huikea 1 tunti vs 3 sekuntia. Ajattelen, että Maciin voisi saada halvemmalla enemmän tuota VRAMia, kun se vastaa RAMia siinä. Sanokaa jos olen väärässä, kun nuo GPU:t joissa paljon VRAMia lähtee siitä 5 000 eurosta ylöspäin. Tietty voi olla, että Macilla ei toimi kaikki tarvittavat softat, se pitää selvittää.

 

[Chroniksu]

Ymmärsinkö oikein, että punnitset parhaillaan, että hankkiako M4 Mac mini vaiko vastaavanlainen Windows PC?

Jos tämä on asianlaita niin se riippuu ihan siitä, mihin käyttöön konetta pääasiassa tarvitset. Macin UMA-arkkitehtuuri on todella tehokas, mutta sen GPU-tehot eivät aina pärjää erillisille huipputason NVIDIA- tai AMD-näytönohjaimille. Se näkyy erityisesti 3D-renderöinnissä ja joissain tieteellisissä laskentatehtävissä, missä erilliset näytönohjaimet voivat tarjota enemmän raakaa laskentatehoa.

 

[Yann]

Ymmärsinkö oikein, että punnitset parhaillaan, että hankkiako M4 Mac mini vaiko vastaavanlainen Windows PC?

Jos tämä on asianlaita niin se riippuu ihan siitä, mihin käyttöön konetta pääasiassa tarvitset. Macin UMA-arkkitehtuuri on todella tehokas, mutta sen GPU-tehot eivät aina pärjää erillisille huipputason NVIDIA- tai AMD-näytönohjaimille. Se näkyy erityisesti 3D-renderöinnissä ja joissain tieteellisissä laskentatehtävissä, missä erilliset näytönohjaimet voivat tarjota enemmän raakaa laskentatehoa.

Mac minejä taitaa saada kaksi siihen hintaan kuin noita huipputason PC:tä. Sitten voi rakentaa clusterin.

Se vaan on tosi tärkeää, että malli mahtuu GPU:n muistiin. Jopa vanha M3 Max 128 GB päihittää todella kirkkaasti RTX 4090 24 GB, jos malli ei mahdu VRAMiin, vaan pyörii CPU:lla.

 

[finWeazel]

Tuossa videolla näkyy hienosti tuo ero, kun malli mahtuu RAM/VRAM-muistiin tai ei mahdu. Siis jos käytät isoja malleja, on tärkeää, että GPU:n käytettävissä on tarpeeksi RAMia. Ero on huikea 1 tunti vs 3 sekuntia. Ajattelen, että Maciin voisi saada halvemmalla enemmän tuota VRAMia, kun se vastaa RAMia siinä. Sanokaa jos olen väärässä, kun nuo GPU:t joissa paljon VRAMia lähtee siitä 5 000 eurosta ylöspäin. Tietty voi olla, että Macilla ei toimi kaikki tarvittavat softat, se pitää selvittää.

Applella :lla toimii hyvin koneoppiminen mutta gpu on hidas verrattuna 4090 tai tulossa oleva 5090, muistia toki on paljon. Mulla on macbook pro m4 max 128GB ja ollaman avulla ajanut malleja. Esim. uunituore llama 3.3:70B toimii hyvin ja vie muistia noin 46GB. M4 max realistisesti ehkä jossain 4070 desktop gpu:n tehoissa, lähellä(mutta hitaampi) 4080 mobiilia.

ollama helpoin keino asennella kielimallit + ajaa terminaalissa tai skriptailla ollaman python apia vastaan

library

Get up and running with large language models.

ollama.com

Toki jos käyttää nvidian rapidsia tai muita cuda-sidonnaisia juttuja niin no can do applella. Rapids on oikeasti superhyvä kun tarjoaa esim. gpu kiihdytystä pandasiin.

RAPIDS

Open GPU Data Science. RAPIDS has 128 repositories available. Follow their code on GitHub.

github.com

 

[Timo 2]

- ECC muistit jos sellaisille on tarvetta

Ecc muistit toimii ecc tilassa myös kuluttajaraudalla sillä ovat ihan samoja siruja. Tosin validointi sille ecc:lle puuttuu.

Työasemapuolella on rekisteröidyt/puskuroidut (RDIMM) muistit tuettuna ja saadaan käyttöön ihan toisella tapaa sitä ramia, puhutaan sadoista gigoista jopa 2 TB.

 

[Yann]

Applella :lla toimii hyvin koneoppiminen mutta gpu on hidas verrattuna 4090 tai tulossa oleva 5090, muistia toki on paljon. Mulla on macbook pro m4 max 128GB ja ollaman avulla ajanut malleja. Esim. uunituore llama 3.3:70B toimii hyvin ja vie muistia noin 46GB. M4 max realistisesti ehkä jossain 4070 desktop gpu:n tehoissa, lähellä(mutta hitaampi) 4080 mobiilia.

ollama helpoin keino asennella kielimallit + ajaa terminaalissa tai skriptailla ollaman python apia vastaan

library

Get up and running with large language models.

ollama.com

Toki jos käyttää nvidian rapidsia tai muita cuda-sidonnaisia juttuja niin no can do applella. Rapids on oikeasti superhyvä kun tarjoaa esim. gpu kiihdytystä pandasiin.

RAPIDS

Open GPU Data Science. RAPIDS has 128 repositories available. Follow their code on GitHub.

github.com

Jos tekee jotain uraauurtavaa tutkimusta, ja käyttää kielimalleja, niin silloin noiden haluaa nimenomaan pyörivän lokaalisti.
Llama 3.3 70B on lähellä GPT-4o:ta koodin generoimisessa ainakin tämän vertailun perusteella.

Llama 3.3 70B vs GPT-4o – Which is better for coding? - Bind AI

Meta recently launched the Llama 3.3 70B-instruct model - and while it's not an earth-shattering release - it does have its perks among other LLM models (cue: pricing). The model succeeds the Llama 3.2 that launched in November. The previous Llama models were lauded for their efficiency, and the...

blog.getbind.co