DIY Serriserveri 36c/72t, 512Gb RAM

[V31751]

Nyt on taas kamppeet kotelon sisäpuolella Johtohelvetin siistimistä enää oikeastaan sitten tiedossa ja sitten vaan kovaa ajoa! On tota johtookin aivan liikaa setvittäväks ja kotelossa ei pahemmin läpivientejä oo, että ruma tulee varmaan Pari Samsungin muistikampaa pitää kaiketi ostaa ja myydä nuo Hynixit pois, jollen saa takuuvaihtoa ruinattua niille

 

[identitettivaras]

Noista muisteista, olen siis lukenut että tietyt muistit eivät toimi muiden kanssa, mutta toimivat yksinään? Mikä nopeudet ja päälatenssit näissä on?

Käsittääkseni eri nopeuksiset muistit toimivat hitaimman nopeudella automaattisesti aina kaikill alustoilla, mutta jos latenssit ja jännitteet esimerkiksi eivät täsmää, eivät sekalaiset muistit välttämättä toimi. Serverimuistit yleensä ovat alhaisten nopeuksien takia hyvin luotettavia. Ja tuollaisilla emoilla yleensä ei saa noita manuaalisesti säädettyä.

Itse kanssa on tässä to-do listalla lga 3647 kone. Aina välillä katselen olisko paremman pään skylaket tarpeeksi edullisia. Noiden hinnat on vähän hitaammin kehittyneet kuin olin alunperin ajattelun. Nää serveri-skenen vehkeet ovat pikku hiljaa muuttuneet siitä mitä muinoin. Todella harmi että AMD pitää serverit ja työasemaraudan edelleen niin erillään.

 

[V31751]

Noista muisteista, olen siis lukenut että tietyt muistit eivät toimi muiden kanssa, mutta toimivat yksinään? Mikä nopeudet ja päälatenssit näissä on?

Käsittääkseni eri nopeuksiset muistit toimivat hitaimman nopeudella automaattisesti aina kaikill alustoilla, mutta jos latenssit ja jännitteet esimerkiksi eivät täsmää, eivät sekalaiset muistit välttämättä toimi. Serverimuistit yleensä ovat alhaisten nopeuksien takia hyvin luotettavia. Ja tuollaisilla emoilla yleensä ei saa noita manuaalisesti säädettyä.

Itse kanssa on tässä to-do listalla lga 3647 kone. Aina välillä katselen olisko paremman pään skylaket tarpeeksi edullisia. Noiden hinnat on vähän hitaammin kehittyneet kuin olin alunperin ajattelun. Nää serveri-skenen vehkeet ovat pikku hiljaa muuttuneet siitä mitä muinoin. Todella harmi että AMD pitää serverit ja työasemaraudan edelleen niin erillään.

Itekin tuota "uutta" 3647 kantaa kattelin, kun Huananzhi siihen julkaisi uuden emon, mutta kaikki osat olis maksanut vähintään tuplat mitä tähän niin päädyin ostaan tätä vanhaa kantaa. Kuvat järjestyksessä Hynix kampa, Samsung, Kingston

 

[V31751]

Ja tuollaisilla emoilla yleensä ei saa noita manuaalisesti säädettyä.

En oo varmaan koskaan nähnyt näin laajaa BIOS:sta missään emolevyssä Aika varovasti saa varmasti sorkkia, kun mitään takeita ei ole, että väärien jälkeen palautuisi oletuksille tai saako CMOS patterilla nollattua. En uskalla ihan hirveästi muutella vielä mitään ennen ku oon ostanut jonkun ohjelmointityökalun, että saa ehkä sillä viimeistään ajettua uuden BIOSin, jos meneekin rikki. Mitä netistä lukenut niin monilla mennyt väärillä muistiasetuksilla jotkut kiinaemolevyt sellaiseen kuntoon, että eivät ole saaneet enää koskaan boottaamaan uudestaan..

 

[jamituohino]

Aina välillä katselen olisko paremman pään skylaket tarpeeksi edullisia. Noiden hinnat on vähän hitaammin kehittyneet kuin olin alunperin ajattelun

Ainakin Xeon Gold 6138 hinnat ovat todella matalat. 23€/kpl ALVeineen ja posteineen Ebaysta. Kahdella semmoisella riittää vääntöä yllättävän paljon.

 

[xarot]

Tupla-Xeon 8180 ja tuollainen uusi Huananzhin emo olisi kiva kokeilla. On vaan PCIe 3.0...

 

[V31751]

Tupla-Xeon 8180 ja tuollainen uusi Huananzhin emo olisi kiva kokeilla. On vaan PCIe 3.0...

Mitä siihen pcie väylään meinasit laittaa johon ei riitä 16 GB/s kaista?

 

[dot1q]

(Thunderbolt 4 kortin, ehkäpä?)

 

[xarot]

Levyt tulee ekana mieleen joita varten haluaisi varautua tulevaisuutta ajatellen. Vaikka leikkikaluksihan tuollainenkin menisi, kun erilliselle palvelinkoneelle ei ole oikein tilaa.

 

[V31751]

Itelle tuntuu NVME jo tarpeeksi nopealta, mutta ei kait siinä

 

[JeanS]

Kohtuu tyyris tollainen Xeon 8180

https://www.proshop.fi/CPU/Dell-Intel-Xeon-Platinum-8180-25-GHz-prosessori-CPU-28-ydintae-25-GHz/2677823

Ei taida saada rahalle vastinetta vs Xeon Gold 6138

 

[xarot]

Kohtuu tyyris tollainen Xeon 8180

https://www.proshop.fi/CPU/Dell-Intel-Xeon-Platinum-8180-25-GHz-prosessori-CPU-28-ydintae-25-GHz/2677823

Ei taida saada rahalle vastinetta vs Xeon Gold 6138

eBaysta jotain 300€/pala plus kustit ja alvit.

 

[V31751]

Samantien kannattaa hankkia sitten vaikka tämmönen Lenovo ThinkSystem SR950 kun menee hyvät prossut haaskuuseen jos ei min maksaa niitä täyttä kahdeksaa kappaletta

https://www.lenovo.com/us/en/p/servers-storage/servers/mission-critical/thinksystem-sr950-v3/len21ts0023#models

Tai jos itse haluaa rakennella niin 8kpl näitä Supermicron X11Opi:tä vaan laittelee riviin

X11OPi-CPU | Motherboards | Products | Supermicro

Toki X11Opi on kyllä ihan surkea, kun siinä on vaan 3.0 Pcie x16

 

[V31751]

Patent pending

 

[V31751]

Alkais olemaan oikeasti valmis ainakin tähän kohtaan

Maalaan vielä jossain välissä varmaan kopan sivupaneelit mattamustalla sisäpuolelta, mutta toisaalta tarkoitus olisi vähän äänieristettä laitella niihin, että sinänsä turha rupeama.

Parempi näyttis tarvii vielä ostaa tähän, kunhan löytyy sopivaan hintaan jostain. Esim joku 3060Ti tms.

Painaa muuten sen verran tää, että sais melkein trukilla siirrellä

 

[Härkönen]

Onko sulla näyttis ruuvattu pykälää liian ylös takapaneeliin vai miten noin pahasti kortti mutkalla?

 

[V31751]

Onko sulla näyttis ruuvattu pykälää liian ylös takapaneeliin vai miten noin pahasti kortti mutkalla?

Eikai?

 

[Härkönen]

Ok, tuossa yhdessä kuvassa vaan näyttää roikkuvan, mutta voi kuvakulmakin tietty vääristää.

 

[V31751]

Ok, tuossa yhdessä kuvassa vaan näyttää roikkuvan, mutta voi kuvakulmakin tietty vääristää.

Joo kyllä se vähän roikkuu siinä, mutta ei ihan noin pahasti miltä kuvassa näyttää Pitääköhän ostaa joku tämmönen GPU tunkki

 

[V31751]

Mun pitää vielä ostella tähän TPM2.0 moduuli, niin saa senkin ominaisuuden käyttöön sitten. Emolevystä löytyy 20pin (19pin) TPM2.0 liitäntä, mutta hieman kuumottaa, että onko se kytketty standardin mukaan eli pitää hieman kiinalaisilta kysellä tehtaalta, että mitä siihen uskaltaa tuikata.

 

[nyystero]

Täällähän on hyvä meininki, kannattaa ihmeessä perehtyä Proxmoxiin tai muihin virtualisointialustoihin, siinä ainakin tuosta määrästä muistia avuksi (mulla 64gb + 32gb palvelimilla ja tuntuu menevän melko nopeaa)

Ei henkilökohtaista kokemusta mutta windowsillakin pläräily ja jopa pelaaminenkin luulisi onnistua jos laittaa sille vm:lle GPU-passthrough, sitten voi pyörittää niitä muita kontteja/virtuaalikoneita taustalla

 

[V31751]

Täällähän on hyvä meininki, kannattaa ihmeessä perehtyä Proxmoxiin tai muihin virtualisointialustoihin, siinä ainakin tuosta määrästä muistia avuksi (mulla 64gb + 32gb palvelimilla ja tuntuu menevän melko nopeaa)

Ei henkilökohtaista kokemusta mutta windowsillakin pläräily ja jopa pelaaminenkin luulisi onnistua jos laittaa sille vm:lle GPU-passthrough, sitten voi pyörittää niitä muita kontteja/virtuaalikoneita taustalla

Ite en oikeastaan tarvis muuta kuin 1-3 tiedostopalvelinta, joihin pääsee puhelimella käsiksi reissun päältä ja sitten tarvittaessa kaveriporukalle pyörittää servuja jos/kun jotain raskaampaa halutaan pelailla. Tässä on vielä yksi 16Gt/s NVME paikka vapaana ja sitten iso kasa noita PCIe väyliä joihin saa lisää NVME levyjä laiteltua, kun tallennuskapasiteettia tarvitsee nostaa. Siihen päälle sitten toki on täysin tyhjänä 10kpl 6Gbps SATA portteja. Tää kotelo vaan tuli mulle aikoinaan käytettynä ilmaiseksi ja siitä puuttuu kaikki kiinnityshärpäkkeet esim. DVD/Blu-Ray asemille, joten jos niitä meinaan laittaa niin vaatii pientä rakentelua sekin.

 

[V31751]

Nousi Cinebench 24 pisteet aika hyvin, kun tavarat on kotelossa sisällä ja on tuo patenttiviritys 140mm puhaltamassa raikasta ilmaa suoraan toiselle VRM:lle.

 

[nyystero]

Ite en oikeastaan tarvis muuta kuin 1-3 tiedostopalvelinta, joihin pääsee puhelimella käsiksi reissun päältä ja sitten tarvittaessa kaveriporukalle pyörittää servuja jos/kun jotain raskaampaa halutaan pelailla. Tässä on vielä yksi 16Gt/s NVME paikka vapaana ja sitten iso kasa noita PCIe väyliä joihin saa lisää NVME levyjä laiteltua, kun tallennuskapasiteettia tarvitsee nostaa. Siihen päälle sitten toki on täysin tyhjänä 10kpl 6Gbps SATA portteja. Tää kotelo vaan tuli mulle aikoinaan käytettynä ilmaiseksi ja siitä puuttuu kaikki kiinnityshärpäkkeet esim. DVD/Blu-Ray asemille, joten jos niitä meinaan laittaa niin vaatii pientä rakentelua sekin.

Esim TrueNAS voi virtualisoida ja laittaa vaikka HBA kortin passthrough sille, mulla on Pterodactyl Panel asennettuna yhdelle vm:lle josta näppärä hallinnoida pelipalvelimia, vähän työmaa asentaa(laitoin myös domainin ja cloudflare zero trust) mutta erittäin hyvä kun saa pyörimään.

 

[V31751]

Esim TrueNAS voi virtualisoida ja laittaa vaikka HBA kortin passthrough sille, mulla on Pterodactyl Panel asennettuna yhdelle vm:lle josta näppärä hallinnoida pelipalvelimia, vähän työmaa asentaa(laitoin myös domainin ja cloudflare zero trust) mutta erittäin hyvä kun saa pyörimään.

Toi Pterodactyl Panel vaikuttaa melko kätevältä