Palvelin 10 Gb/s verkkoon (tiedostopalvelin, sivussa virtuaalikoneita ja sekalaista)

[penalty]

Pitäisi kasata yhdelle "osastolle" sisäinen 10 GB/s verkko ja tähän palvelin ensisijaisesti tiedostopalvelinkäyttöön. Katselin alustavasti ihan kuluttajarautaa mutta vaihtoehtona saa suositella myös sopivaa alun perinkin serverikäyttöön tarkoitettua, mikäli tarpeet täyttävä rauta löytyy sieltä puolelta siedettävään hintaan.

Asrock Taichi Ultimate -emolevyissä olisi Aquantia AQC107 -verkkopiiri integroituna, erillisissä korteissa käytetään näköjään samaa piiriä ja nämä kortit maksavat sen verran paljon ettei halpis-emo + erillinen verkkokortti tule sen halvemmaksi kuin premium-emo samalla piirillä. Tämän takia kiikarissa on alustavasti:

- Asrock X470 Taichi Ultimate (tuleekohan Jimm's kautta ostettaessa riittävän uusi BIOS 3000-sarjan Ryzeneille?)
- AMD Ryzen 5 tai 7 3000-sarjasta, myöhemmin optio yli 6/8-ytimisille malleille
- 32 GB eli 2kpl 16 GB DDR4 kampoja, mitä näille kannattaa ostaa?
- jokin pikku-ssd systeemilevyksi
- 6 kpl 1 TB sata-ssd
- 6 kpl 8 TB mekaaniset levyt (on jo käytössä serverihuoneessa, omalla levytornillaan)

- käyttöjärjestelmänä (Debian?) Linux ja datalevyt ZFS pooleina, kaikki data peilattuna ja snapshotit mutta ei copy on write, kompressointi yms erikoisempia ominaisuuksia käytössä

Onko tähän asti jees? Täydentäkääs! Ja muutama läppäri Thunderbolt-liitännällä löytyy tuolta myös, joten onko noissa 10 Gb/s Thunderbolt-verkkokorteissa käytännön eroja etenkin luotettavuuden ja yhteensopivuuden suhteen?

 

[Tepe]

- Asrock X470 Taichi Ultimate (tuleekohan Jimm's kautta ostettaessa riittävän uusi BIOS 3000-sarjan Ryzeneille?)
- AMD Ryzen 5 tai 7 3000-sarjasta, myöhemmin optio yli 6/8-ytimisille malleille
- 32 GB eli 2kpl 16 GB DDR4 kampoja, mitä näille kannattaa ostaa?

Veikkaan, että noissa vähän myydyissä emoissa on alkuperäinen bios, eli kannattaa lisätä se bios-päivitys ostoskoriin, kun tuossa ei flashbackia ole.

Asrock tukee unbuffered ECC:tä, vaikkei tukea sertifioitu olekaan. Tuettuna on tavallinen Ryzen ilman näytönohjainta, mutta APU:ista vain Ryzen Pro -mallit. Noissa kammoissa taitaa olla paras saatavuus:

Kingston 16GB (1 x 16GB) Server Premier DDR4 2666MHz, ECC, CL19, 1.20V - 105,00€

 

[penalty]

Veikkaan, että noissa vähän myydyissä emoissa on alkuperäinen bios, eli kannattaa lisätä se bios-päivitys ostoskoriin, kun tuossa ei flashbackia ole.

Asrock tukee unbuffered ECC:tä, vaikkei tukea sertifioitu olekaan. Tuettuna on tavallinen Ryzen ilman näytönohjainta, mutta APU:ista vain Ryzen Pro -mallit. Noissa kammoissa taitaa olla paras saatavuus:

Kingston 16GB (1 x 16GB) Server Premier DDR4 2666MHz, ECC, CL19, 1.20V - 105,00€

Kiitos, BIOS-päivitys lisätty. Samaten nuo muistit vaikuttavat fiksulta valinnalta, hintaa tulee +50% muistien osalta mutta ei tunnu missään, ja tunnetusti ZFS on ECC-muistien kanssa se optimaalisin yhdistelmä

 

[hese_e]

Kytkimet ja muiden koneiden verkkoon saaminen käy vähän kalliiksi. 10Gb ethernet kortit maksaa noin 100€/kpl, sfp+ kortteja saa muutamalla kympillä. Kytkimille tulee myös hintaa.

 

[Viinasta]

Jäi aloituksesta hieman hämäräksi että mitä tässä nyt yritetään.
- onko "osastolla" jo valokuidut tai uudet eetteripiuhat seinissä ja kiinni kytkimissä?
- onko tiedostopalvelin jotain muutakin kuin tiedostopalvelin?
- about kuinka monta käyttöpistettä että voisi edes arvioida käyttöä?

Mut jos näillä alkuun

 

[penalty]

Kytkimet ja muiden koneiden verkkoon saaminen käy vähän kalliiksi. 10Gb ethernet kortit maksaa noin 100€/kpl, sfp+ kortteja saa muutamalla kympillä. Kytkimille tulee myös hintaa.

Jäi aloituksesta hieman hämäräksi että mitä tässä nyt yritetään.
- onko "osastolla" jo valokuidut tai uudet eetteripiuhat seinissä ja kiinni kytkimissä?
- onko tiedostopalvelin jotain muutakin kuin tiedostopalvelin?
- about kuinka monta käyttöpistettä että voisi edes arvioida käyttöä?

Kalliiksihan tuo sinänsä tulee, mutta tuo "osasto" käsittelee raakaa reality capture -dataa ja yksittäisten projektien datamäärät ovat todella massiivisia. Tämä rauta maksaa itsensä takaisin hyvin kohtuullisessa ajassa, koska muutoksen jälkeen ei enää tarvitse kopioida yksittäisten projektien dataa verkkolevyn ja työasemien välillä hitaan gigabitin ethernetin yli jotta niitä voisi käyttää. Tiedostopalvelimen lisäksi muuta käyttöä tulee ilmaantumaan myös kyseisen aineiston käyttöön tai automatisoituun prosessointiin liittyvän devauksen aikana ja testauksessa, joten ihan nuhaisinta prosessoria ei viitsi hommata. Tarvittaessa tuohon saa sitten roolin muuttuessa toiset 32 gigaa muistia ja roppakaupalla lisää ytimiä ns. kohtuulliseen hintaan.

Kytkimeksi olisi katsottuna QNAP hallitsematon 12 kpl 10GBase-X SFP+ & 8 kpl 10GBase-T RJ-45 kytkin, hinta vajaat 500€. Kaapelointi menee ehkä uusiksi, toisaalta nykyiset vedot ovat varsin lyhyitä joten nekin voivat hyvällä tuurilla toimia. Olemme kuitenkin varautuneet vetämään nykyaikaisemman ethernet-kaapeloinnin nykyisen tilalle noihin muutamaan vierekkäiseen huoneeseen jotka ovat nyt nostamassa nopeutta. Kourut löytyy, ei mutkia matkalla joten helppo homma. Käyttäjiä tulee vain muutamia, mutta tosissaan datamäärät ovat valtavia ja sen puolesta kuinka dataa käytetään on lokaali ssd ollut tähän asti ainoa vaihtoehto.

 

[JiiPee]

Jos tuota itte olisin pykäämässä niin katseet suuntautuisi kyllä threadripper puolelle. Tuosta lelualustasta loppuu pcie linet heti. Tarviit tuohon kuitenkin jonkun raid kortin että kaikki levyt saat kiinni, sen nyt toki saisi ylimpään pcie slottiin.

Tainoh saattaa siinä just riittää linet jos laittaa jonkun romun näytönohjaimen piirisarjan kautta, eihän tällä muuta virkaa ole kuin näyttää kuvaa että saa sen asennuksen tehtyä ja mahdollisia ongelmia ratkottua lokaalisti.

Laittaisin kyllä lisäksi toisen 10 kikasen kortin tuohon ja bondaisin ne yhdeksi 20 kikaseksi niin ei yksi clientti saa tukittua sitä serverin kaistaa.

 

[Viinasta]

Olisko kyse jostain 4k live streamista tai pelurien nollaviiveestä. Massiiviset datamäärät viittaisivat kuvankäsittelyyn. En oikein enää ymmärrä mitä tässä haetaan kun halvinta kytkintäkin kehissä.

 

[penalty]

Jos tuota itte olisin pykäämässä niin katseet suuntautuisi kyllä threadripper puolelle. Tuosta lelualustasta loppuu pcie linet heti. Tarviit tuohon kuitenkin jonkun raid kortin että kaikki levyt saat kiinni, sen nyt toki saisi ylimpään pcie slottiin.

Tainoh saattaa siinä just riittää linet jos laittaa jonkun romun näytönohjaimen piirisarjan kautta, eihän tällä muuta virkaa ole kuin näyttää kuvaa että saa sen asennuksen tehtyä ja mahdollisia ongelmia ratkottua lokaalisti.

Laittaisin kyllä lisäksi toisen 10 kikasen kortin tuohon ja bondaisin ne yhdeksi 20 kikaseksi niin ei yksi clientti saa tukittua sitä serverin kaistaa.

Ei ole tarvetta näin järeälle toteutukselle näin pienellä käyttäjämäärällä. Muuten tämä olisi kyllä huomioimisen arvoista. Mekaaniset levyt tulevat kahteen ulkoiseen koteloon usb3-piuhojen päähän, Linux näkee näissä olevat levyt jokaisen erillisenä ja raid-toteutus tehdään zfs-tiedostojärjestelmän työkaluin jolloin rauta-raid olisikin täysin turha.

Käyttäjiä on vain se muutama yhteensä, ja yhtä aikaa verkkolevyllä olevia aineistoja käsitellessä luku sekä kirjoitus ovat purskemaisia mutta silloin sitä kaistaa pitääkin olla käytettävyyden säilyttämiseksi. Aineistojen siirtämistä tietysti on jonkin verran mutta ei yhden pitäisi vielä kaistaa tukkia, levyjärjestelmä on kuitenkin pullonkaulana ensin. Loppujen lopuksihan tässä on tarkoitus vain hankkiutua eroon nykyisestä verkon 100 MB/s pullonkaulasta ja erottaa tämä suurempaa kaistaa vaativa liikenne pois muun firman käyttämältä tiedostopalvelimelta.

 

[Viinasta]

Kertoisitko mihin käyttötarkoitukseen alunperin tätä ideoit?

 

[penalty]

Olisko kyse jostain 4k live streamista tai pelurien nollaviiveestä. Massiiviset datamäärät viittaisivat kuvankäsittelyyn. En oikein enää ymmärrä mitä tässä haetaan kun halvinta kytkintäkin kehissä.

Tuossa samassa viestissä missä mainitsin tuon kytkimen, sivusin hieman tuota tarkempaa käyttötarkoitusta. Tavallaan hyvin erikoistunutta kuvankäsittelyä on kyseessä, massiivisten fotogrammetria-, laserkeilaus- ja vastaavien aineistojen käsittelyä tarkemmin ilmaistuna. Tuo osasto joka tuottaa ja käsittelee tätä dataa on vain muutaman käyttäjän kokoinen joten mitään raskainta rautaa ei siksi tarvita. Itse olen varsinaisesti softa r&d -hommissa kehittämässä noiden pistepilviaineistojen tuontia Unity Engine -pohjaisiin virtuaalitodellisuussovelluksiin ja tähän tarvittavaa automatisoitua prosessointia, joutuu vaan pikkufirmassa aina välillä tekemään jotain ihan muutakin

 

[Viinasta]

Tuossa samassa viestissä missä mainitsin tuon kytkimen, sivusin hieman tuota tarkempaa käyttötarkoitusta. -- vaan pikkufirmassa aina välillä tekemään jotain ihan muutakin

Asiallisia vastauksia asiallisiin kysymyksiin.