NAS rakentelut

[dun]

Juuri eilen pyöräytin yhden 4 x WD Red 1Tb NASsin tuolla rungolla kotona pyörimään, FreeNAS käyttiksenä. Eipä tuosta huonoa ole sanomista, hoitaa hommansa. Meinasin myös kasata osista NASsin, mutta eipä jaksanut. Tuolla mennään hamaan tulevaisuuteen, tilaa pitää varmaan jossain vaiheessa laajentaa tai hommata toinen microserver rinnalle.

ECC-muistit taitaa olla välttämättömyys pitemmässä juoksussa, itse en lähtisi rakentamaan ilman niitä.

ZFS:n kanssa tai normikäytössä kotona muutenkaan ecc:llä ei oikeasti kotikäytössä ole tuon taivaallista väliä. Jos normimuistilla virheen mahdollisuus on keskimäärin 0,83 tai vähemmän, ecc muistilla se on jo lähellä nollaa. Nämä luvut on tosin 2013 vuodelta milloin viimeiset dataan perustuvat testit löytyy ja siinäkin näkyi että virheenkorjaus perusmuistillakin on parantunut huomattavasti (lähde: Advantages of ECC Memory)

Joten tarviiko ecc muistia? Ei välttämättä. Miksi zfs (esim. freenas) ei tarvitse ecc muistia (koska levy tarkaillee jokaista kirjoitusta levylle ja korjaa virheet lennosta jos se näkee niitä, tätä ei tapahdu softa eikä hardis raidilla sitten). Käytänkö minä ECC:tä? Kyllä, koska rauta jota ajan tukee sitä ja muisti näyttää olevan isoilla muistitikuilla (32gb+) halvempaa kuin normaalisti kuluttaja-asiakkaille näkyvissä ei ecc muisteissa (mutta nopeudet on huomattavasti heikommat).

 

[Gobi]

ZFS:n kanssa tai normikäytössä kotona muutenkaan ecc:llä ei oikeasti kotikäytössä ole tuon taivaallista väliä. Jos normimuistilla virheen mahdollisuus on keskimäärin 0,83 tai vähemmän, ecc muistilla se on jo lähellä nollaa. Nämä luvut on tosin 2013 vuodelta milloin viimeiset dataan perustuvat testit löytyy ja siinäkin näkyi että virheenkorjaus perusmuistillakin on parantunut huomattavasti (lähde: Advantages of ECC Memory)

Joten tarviiko ecc muistia? Ei välttämättä. Miksi zfs (esim. freenas) ei tarvitse ecc muistia (koska levy tarkaillee jokaista kirjoitusta levylle ja korjaa virheet lennosta jos se näkee niitä, tätä ei tapahdu softa eikä hardis raidilla sitten). Käytänkö minä ECC:tä? Kyllä, koska rauta jota ajan tukee sitä ja muisti näyttää olevan isoilla muistitikuilla (32gb+) halvempaa kuin normaalisti kuluttaja-asiakkaille näkyvissä ei ecc muisteissa (mutta nopeudet on huomattavasti heikommat).

Palvelin se on tiedostopalvelinkin, siksi ECC. Vaikka NAS on kyseessä niin ei se käytä kaikkea muistia pelkästään välimuistittamiseen, täälläkin kysellään muiden palvelujen pyörittämisestä NASsissa jotka saatta horjuttaa käyttistä. Ja ZFS ei nyt ainoa "tiedostomuoto" ole NAS käytössä. Ehkä kotona ei välttämättä tarve, itse käytän koska tulee palvelinten mukana.

 

[Mictian]

Ylläpito poistakoon jos rikkoo sääntöjä mainostaa, mutta moinen pannu olisi tarjolla: Myydään - IBM System X 3690 X5

 

[dun]

Jeps jeps. Vedin pelkästään snapshot siirron jaetusta vapaasta sisällöstä, 66h 30min tasan siirtyi ja dedup päätyi olemaan 1.25. Backupeilla pääsi dedupissa jo 1.69 ilman snapshotteja, mutta huh huh. Ainakaan nykyisellä raudalla ei kannata deduppia käyttää muuta kuin backup dataseteillä.

Tulisi nyt uusi rauta, niin pääsisi leikkimään vähän tehokkaamalla laitteistolla...

 

[Bahamies]

Flashasin LSI:n HBA-korttiin IT-firmiksen, laitoin ZFS-poolien levyt siihen kiinni ja... Ei boottaa enää. Käyttis on SSD:llä, joka on suoraan emossa kiinni. Levy löytyy ja Ubuntu meinaa bootata, mutta kaatuu aina emergency modeen. Veikkaisin, että ongelma liittynee siihen, että osa levyistä otettiin emolevystä irti ja nyt ne ovat kiinni eri sloteissa HBA-kortissa, joka varmaan sotki jotakin kriittistä Ubuntun boottaamisen kannalta.

Vinkkejä miten tuota lähtisi korjaamaan? Mielellään tietenkin niin, että ei tarvitsisi asentaa kaikkea uudestaan. En ole ehtinyt tehdä vielä mitään backupeja käyttistä varten, joten sellaisia ei ole.

 

[samim]

Palautat tilanteen alkuperäiseen, ja koitat boottia.

Jos toimii, sitten se kortti kiinni ja uusi testi.

Jos vieläkin toimii, yksi levy kerrallaan siirtäen sinne HBA-kortin puolelle.

Epäilen, että joku osa käyttiksestä ei oo siellä SSDllä.

 

[Bahamies]

Palautat tilanteen alkuperäiseen, ja koitat boottia.

Jos toimii, sitten se kortti kiinni ja uusi testi.

Jos vieläkin toimii, yksi levy kerrallaan siirtäen sinne HBA-kortin puolelle.

Epäilen, että joku osa käyttiksestä ei oo siellä SSDllä.

Onneksi ei tarvinnut tuohon ryhtyä.

Virhe löytyi fstabista. En tiedä miksi, mutta kun poistin yhden levyn mountin fstabista (Transmission latauksia varten varattu levy) ja boottasin, niin kaikki toimi jälleen. Laitoin sitten tuon ihan saman rivin uudestaan fstabiin ja rebootti toimi normaalisti.

 

[andyks]

Kaivattaisiin vähän ideoita ja ajatuksia NAS/Homeserver setupille...

Unraid nyt käytössä, mutta vähän Unraidissa tökkii sen maksullisuus, vanha linux-versio pohjalla, hitaus kaikissa kirjoitus ja lukuoperaatioissa yms...
Lisäksi Unraidin btrfs cachepoolissa on jotain mätää joka aiheuttaa cache-levyille VM/Docker käytössä luokkaa 10-20GB/h kirjoituksia vaikka dataa ei varmasti tule kuin max. muutama megatavu. Tämän ratkaisin tekemällä cachepoolin SSD-levyistä ZFS-mirrorin. Innostuin hieman tuosta ZFS:n pakkauksesta ja snapshoteista ja ajatus myös itse data-levyistä ZFS-poolina alkoi kiinnostaa.
Unraidin käyttöliittymä on kieltämättä hyvä, mutta en koe järkeväksi maksaa Unraidista jos levyt ovat ZFS:nä... Lisäksi hölmöä että pitää heittää arraylle yksi vanha romu SSD/HDD jotta voi käyttää Dockeria ja VM:ää.

Mikä siis voisi olla järkevä vaihtoehto softan kannalta?
Tarvetta useille Docker-konteille ja 2-3:lle (Linux) virtuaalikoneelle. Hienoa olisi jos kaikille VM:ille ja Docker konteille saisi omat datasetit/zvolit ja näin toisistaan irralliset snapshotit.
Vaihtoehtoja joita olen miettinyt:

Proxmox
+ Paras vm-tuki
+ Toimivin ZFS on Linux (?)
- Ei käyttöliittymää poolin, jakojen, dockerien yms. hallintaan.

Freenas
+ Hyvät hallintatyökalut pooleille, jaoille yms.
+ Paras tuki ZFS:lle
- Surkea vm-tuki
- Docker ei pyöri hostissa vaan vaatii vm:n.

Openmediavault
+ Hyvä käyttöliittymä yms. levyjen ja jakojen hallintaan
+ Debian pohjainen, hyvä tuki NIC:ille yms
- ZFS-tuki ilmeisesti vähän heikohko ja vaatii vanhemman kernelin käyttöä (pilaako tämä hyvän tuen lisälaitteille?
- Huonohko vm-tuki
- Uudessa versiossa ei enää omaa Docker-hallintatyökalua.
- Uusin OMV5 Beta, OMV4 jo aika vanha...?

Tällä hetkellä olen kallistumassa Proxmoxiin hostina ja FreeNASiin vm:nä sen alla, mutta arveluttaa tuo NASin ajo virtuaalikoneena.
Taannoin kokeilin ajaa Ubuntua Proxmoxin vm:nä, eikä HDD passthroughlla saanut S.M.A.R.T:ia toimimaan lainkaan. Vaatii ilmeisesti koko controllerin passthrough:n, mutta nykyisessä CPU:ssa (i5 2500K) ei ole VT-D tukea joten en tiedä toimiiko?
Kaiken ajaminen suoraan Proxmoxissa voisi olla "fiksuinta", mutta jakojen ja käyttäjien yms. konffaaminen ilman minkäänlaista GUI:ta ei houkuttele...

 

[dun]

Näyttää siltä että Supermicrolla ei ole alle 1kk toimitusajalla koko euroopassa saatavilla tota haluaamaani emoa. Voi elämän kevät, no saapa nähdä mitä sieltä saa jos vaihtaa pakettia. Hinta tosiaan pomppaa kyllä

Edit1: Tilasin sitten 2 kpl lisää levyjä, teen nyt 6 levyn uuden pakan kun tulevat ja toivon että tuo raidz expansion tulee saataville, saapahan pooliin 2 x kapasiteetin nyt kun sa 6 levyä (2 pariteettilevyä). Expansion kun tulee, niin voin sitten laajentaa vielä + 2 levyllä yksitellen.

Edit2: Suunnitelma näyttää siltä, että kun saan kaksi uutta levyä käyttöön ja pakan tehtyä, niin teen poolin löytämälläni asetuksilla, mutta jätän dedupin kokonaan käytämättä. Sen aiheuttama nopeushaitta (ainakin nykyisellä raudalla) oli niin merkittävä, että ei ole mitään järkeä odottaa 4 levyn ssd-kiihdytettyä poolia 35MB/s nopeuksilla vaikka kuinka säästäisi tilassa (taino, jos mennään yli 2x säästön yli, niin sitten, ehkä). Itsellä kipuraja pakkaan kirjoittaessa on se 70-100MB/s, koska sen verran pitää löytyä kirjoitusnopeutta tässä taloudessa tai rahat menee hukkaan.

Edit3: Taino, kai se dedup voisi olla mahdollinen jos 6 levyn boolin lisäksi hommaa sitten 2 levyn mirror poolin johon enabloi dedupin. Hm.. Pitää pohtia asiaa sitten kun saa budjetin kasaan 2 x 10-20TB levyille.

 

[muumio]

Eikö proxmox ole myös maksullinen vai rajaako maksullinen lisenssi vain jotain turhia ominaisuuksia pois? Ei ole tullut koskaan tutkittua tarkemmin kun rakentelen mieluummin systeemit itse tarpeeseen sopivaksi.

 

[Loisteho]

Ihan ilmainen tuo Proxmox on, enterprise repo ja tuki ovat maksullisia, mutta harrastelijat harvemmin tarvitsevat kumpaakaan. Muuta eroa ei ole ilmaisen ja maksullisen version välillä, kyseessä kun on kuitenkin avoimen koodin projekti.

 

[Joku_242]

Onko ideoita, mistä saisi edullisesti ECC-muisteja tukevan emon ja prossun (tai prossut) ZFS:n pyörittämiseen? Saa olla vanhempaakin rautaa, nopeudeksi riittää jos gigainen eetteri saruroituu.



Nykyinen NAS-kokoonpano/kotiserveri on dual Opteron -kokoonpano, jossa on ohjaimena PCI-X -väylään menevä Supermicron AOC-SAT2-MV8. Tämä on muuten pelittänyt ihan mukavasti, mutta ilmeisesti ohjaimen ajurit eivät pidä siitä, että pistää virtuaalikoneita ajoon, ja se alkaa heittää ata erroria.

Pelkän ohjaimen vaihtaminen ei valitettavasti ole aivan niin yksinkertaista, kun emolla (Supermicro H8DAE) ei olekaan PCIe -paikkaa, vaan joku ihmeen DPMI 2.0, joka näyttää samalta. Tuli sitten turhaan hommattua IBM M1015 -ohjain, ellei sitten mene hyötykäyttöön uudessa kokoonpanossa.

 

[HarriK]

Onko ideoita, mistä saisi edullisesti ECC-muisteja tukevan emon ja prossun (tai prossut) ZFS:n pyörittämiseen? Saa olla vanhempaakin rautaa, nopeudeksi riittää jos gigainen eetteri saruroituu.

Ebaysta käytettyä enterpriseroinaa. Löytyy ainakin saksalaisia ja englantilaisia kauppoja joissa on kaikenlaista kampetta. Tai sitten metsästää noita Intelin prosumer piirisarjallisia settejä torista, huutonetistä ja täältä.

100MB/s verkkosiirto menee kyllä ihan millä vaan alle 10v vanhalla raudalla.

 

[hsalonen]

Onko ideoita, mistä saisi edullisesti ECC-muisteja tukevan emon ja prossun (tai prossut) ZFS:n pyörittämiseen? Saa olla vanhempaakin rautaa, nopeudeksi riittää jos gigainen eetteri saruroituu.



Nykyinen NAS-kokoonpano/kotiserveri on dual Opteron -kokoonpano, jossa on ohjaimena PCI-X -väylään menevä Supermicron AOC-SAT2-MV8. Tämä on muuten pelittänyt ihan mukavasti, mutta ilmeisesti ohjaimen ajurit eivät pidä siitä, että pistää virtuaalikoneita ajoon, ja se alkaa heittää ata erroria.

Pelkän ohjaimen vaihtaminen ei valitettavasti ole aivan niin yksinkertaista, kun emolla (Supermicro H8DAE) ei olekaan PCIe -paikkaa, vaan joku ihmeen DPMI 2.0, joka näyttää samalta. Tuli sitten turhaan hommattua IBM M1015 -ohjain, ellei sitten mene hyötykäyttöön uudessa kokoonpanossa.

Kiinasta saa X79:n 50€, 6-ydin Xeon E5:n 12€ ja DDR3 ECC REG 4x4GB muisteja 28€. Nämä on halvimmat hinnat halvimmille kaupoille. Kai sen kympin jäähynkin sieltä löytää. 16€ saa Snowmanin (jota en ole vielä kokeillut). Lisäksi pitää hankkia näytönohjain.

Hinnan voi kaksinkertaistaa esim. hankkimalla hyvän 8-ydin Xeonin, tuplaamalla muistin ja etsimällä paremman emolevyn. Silti joutunee hankkimaan sen verkkokortin ja näytönohjaimen, että saa palvelimen perustoimintoja.

Ihan hyvin on nyt vuoden ajan nurkassa ajanut palvelin, joka on noista kalliimmista osista koottu. ESXi on testattu, Dockeria kokeilen juuri ja en ole vielä päässyt alkuun. ESXi vaati Intelin NIC:in, niin ostin 30€ kortin eBaystä.

 

[dun]

Muuten, miten olette ratkaisseet ongelman rack raudan ja kotiraudan sijoittamisesta. Vähän miettinyt 9U suljettavaa kaappia jonne lattialle sijoittaisin mini-itx kopan ja upsin ja kiskoihin sitten 24 paikan kytkimen ja ehkä 1U serverin tai kaksi. Tarkoitus olisi äänieristää ja filtteröidä räkkikoppa?

 

[Joku_242]

Kiinasta saa X79:n 50€, 6-ydin Xeon E5:n 12€ ja DDR3 ECC REG 4x4GB muisteja 28€. Nämä on halvimmat hinnat halvimmille kaupoille. Kai sen kympin jäähynkin sieltä löytää. 16€ saa Snowmanin (jota en ole vielä kokeillut). Lisäksi pitää hankkia näytönohjain.

Hinnan voi kaksinkertaistaa esim. hankkimalla hyvän 8-ydin Xeonin, tuplaamalla muistin ja etsimällä paremman emolevyn. Silti joutunee hankkimaan sen verkkokortin ja näytönohjaimen, että saa palvelimen perustoimintoja.

Ihan hyvin on nyt vuoden ajan nurkassa ajanut palvelin, joka on noista kalliimmista osista koottu. ESXi on testattu, Dockeria kokeilen juuri ja en ole vielä päässyt alkuun. ESXi vaati Intelin NIC:in, niin ostin 30€ kortin eBaystä.

Katselin noita eBayssä, mutta hieman epäilytti tuon hintaiset LGA2011 -emot.

Päädyin sitten tilaamaan Saksan eBaystä Supermicron LGA1155 -emon 40 eurolla posteineen. Prossu ja muistit toki valitettavasti maksoivat enemmän, kuin LGA2011. LGA1155-kannassa kun joutuu käyttämään puskuroimatonta ECC:tä.

 

[hsalonen]

Katselin noita eBayssä, mutta hieman epäilytti tuon hintaiset LGA2011 -emot.

Päädyin sitten tilaamaan Saksan eBaystä Supermicron LGA1155 -emon 40 eurolla posteineen. Prossu ja muistit toki valitettavasti maksoivat enemmän, kuin LGA2011. LGA1155-kannassa kun joutuu käyttämään puskuroimatonta ECC:tä.

Ihan hyvin ne toimii, mutta verkkopiiri on halvin Realtek ja SATA3/USB3-tuki voi puuttua. Yllättäen M.2 NVME löytyy lähes kaikista, kun se on halpa vetää.

Minulla on kaveri, joka ajelee 1155-kannassa vielä ehkä jopa samaa Supermicron emolevyä ja E3-1230:sta. Unbuffered ECC sopii myös normaaleihin DDR3-muistipaikkoihin, niin sen hinta on käytettynä kaksinkertainen. Lisäksi hänellä on siinä kiinni 2080 Ti.

Itse ostaisin kyllä kiinalaisen emolevyn myös NAS-käyttöön, mutta kannattaa vaan hankkia sille oma SATA-kortti ja oma verkkokortti ja kun vielä näytönohjain olisi kiva (vähintään asennuksen ajaksi), niin sivukuluja tulee.

Nuo vähän laadukkaammat emot, mitä itsellä on nyt käytössä, kestävät kyllä ja häviävät sen ajan emolevyille lähinnä vaan virransyötössä. Lisäksi ne on uusia tehtaalta, niin niissä voi olla käyttöikää vielä jäljellä enemmän kuin käytetyssä 8v vanhassa emolevyssä.

 

[Joku_242]

Ihan hyvin ne toimii, mutta verkkopiiri on halvin Realtek ja SATA3/USB3-tuki voi puuttua. Yllättäen M.2 NVME löytyy lähes kaikista, kun se on halpa vetää.

Minulla on kaveri, joka ajelee 1155-kannassa vielä ehkä jopa samaa Supermicron emolevyä ja E3-1230:sta. Unbuffered ECC sopii myös normaaleihin DDR3-muistipaikkoihin, niin sen hinta on käytettynä kaksinkertainen. Lisäksi hänellä on siinä kiinni 2080 Ti.

Itse ostaisin kyllä kiinalaisen emolevyn myös NAS-käyttöön, mutta kannattaa vaan hankkia sille oma SATA-kortti ja oma verkkokortti ja kun vielä näytönohjain olisi kiva (vähintään asennuksen ajaksi), niin sivukuluja tulee.

Nuo vähän laadukkaammat emot, mitä itsellä on nyt käytössä, kestävät kyllä ja häviävät sen ajan emolevyille lähinnä vaan virransyötössä. Lisäksi ne on uusia tehtaalta, niin niissä voi olla käyttöikää vielä jäljellä enemmän kuin käytetyssä 8v vanhassa emolevyssä.

Sinänsä mulla onkin jo levyohjain, joten se ei olisi ollut ongelma. Lähinnä ongelmaksi muodostuisi näytönohjaimen (johon sinänsä kävisi myös vanha PCI-väyläinen kortti jos emossa moinen paikka on), verkkokortin ja levyohjaimen mahduttaminen samalle emolle. Ainakin tuossa näyttää olevan vain kaksi slottia:

1X(X79 M2 Motherboard LGA2011 M ATX USB 2.0 PCI-E NVME M.2 SSD UnterstüTzun T6Z4 | eBay

Mitä emoja muuten tarkoitit niillä vähän laadukkaammilla?

Menin kuitenkin jo tilaamaan X9SCI-LN4F -emon. Lähinnä muistien hinta tuntui tosiaan hieman pahalta...

 

[hsalonen]

Sinänsä mulla onkin jo levyohjain, joten se ei olisi ollut ongelma. Lähinnä ongelmaksi muodostuisi näytönohjaimen (johon sinänsä kävisi myös vanha PCI-väyläinen kortti jos emossa moinen paikka on), verkkokortin ja levyohjaimen mahduttaminen samalle emolle. Ainakin tuossa näyttää olevan vain kaksi slottia:

1X(X79 M2 Motherboard LGA2011 M ATX USB 2.0 PCI-E NVME M.2 SSD UnterstüTzun T6Z4 | eBay

Mitä emoja muuten tarkoitit niillä vähän laadukkaammilla?

Menin kuitenkin jo tilaamaan X9SCI-LN4F -emon. Lähinnä muistien hinta tuntui tosiaan hieman pahalta...

Jotain tuollaista on joo halvimmat, tulee vielä ALV päälle, kun tulli ottaa omansa:
https://www.aliexpress.com/item/4000057384352.html

Minulla on tällainen, josta maksoin yli 100€ (ALV:n kanssa) joskus vuosi sitten:
US $75.5 |HUANANZHI X79 LGA2011 DDR3 PC Desktops LGA 2011 Computer Motherboards Suitable for server ECC ECC REG RAM-in Motherboards from Computer & Office on AliExpress
Hinta vaan laskee.. Toivottavasti ei laatu myös.

Niillä on myös malli, jossa on enemmän paikkoja:
US $88.79 |HUANANZHI deluxe X79 LGA 2011 DDR3 PC Motherboards Computer Motherboards Suitable for server RAM desktop RAM M.2 SSD-in Motherboards from Computer & Office on AliExpress

Tämä nyt vaan, jos joku muu rakentelee näistä jotain..

16GB muisteja sai 18€/kpl tämän foorumin myyntiosiosta viime viikolla ja vieläkin kaivertaa mieltä, kun ei tullut yhtään ostettua. Hinta oli kohdallaan. Ja myyjällä oli yli 50 palikkaa.. Tämä oli ehkä virhe, ehkä ei. Se vaan sai katselemaan noiden emojen hintoja taas kerran ja siksi nyt tiedän suunnilleen, paljon ne maksavat. En minä näitä muuten seuraa

--

Tietenkin emolevyn merkki on Huananzhi ja Zhi tarkoittanee tähteä ja koronavirus lähti Huanan Seafood Marketista..
Niillä on kotisivut:
华南金牌官网

Että tässä mielessä Supermicro on turvallisempi ostos

 

[Joku_242]

Ihmeen halvalla kyllä myyvät uusia x79-emoja, ovatkohan tyyliin ostaneet Intelin piirisarjavarastot tyhjiksi sen jälkeen kun prossujen valmistus loppui?

Ns. "normaalien" valmistajien LGA2011 -emot kyllä ovat käytettynä hämmentävän kalliita, luokkaa 200e... Kummallista, että joku maksaa ikivanhasta raudasta tuollaisia hintoja.

 

[andyks]

Kaivattaisiin vähän ideoita ja ajatuksia NAS/Homeserver setupille...

Proxmox
+ Paras vm-tuki
+ Toimivin ZFS on Linux (?)
- Ei käyttöliittymää poolin, jakojen, dockerien yms. hallintaan.
.....
.....

Ainakin toistaiseksi nyt valitsin pelkän Proxmoxin. ZFS konffaus CLI:ltä on helppoa.
Hieman "visuaalisuutta" serverin konffaukseen asensin tuomaan Webmin:n ja sille ZFS manager pluginin.

Käytännössä siis NAS=Proxmox. Samba toimii, mutta on tuo jakojen ja filujen oikeuksien kanssa kikkailu aika raskasta Unraid/FreeNAS verrattuna. Ehkä en ole vain vielä keksinyt minkälaisella konfiguroinnilla kaikki toimisi aina heittämällä.

Myös suurin osa Docker konteista pyörii nyt suoraan Proxmox:ssa. Alkukonffaukset CLI:ltä ja Portainerilla seuranta/jälkihoito. Ehkä pitäisi tehdä Docker-compose filet vielä kuitenkin.

Proxmoxissa nyt ainoastaan yksi Ubuntu 18.04 VM, jossa vain Homeassistant sekä muutama sen addon (docker-kontteja nekin). Ehkä pitäisi nekin siirtää suoraan Proxmoxiin, jotta VM:n ylimääräinen "overhead" jäisi pois.

Proxmoxin oma WebUi on ihan kivannäköinen, mutta loppupeleissä aika vajaavainen. Esim. ZFS-hallinta ei käytännössä onnistu sillä lainkaan. En oikein ole keksinyt mitä lisäarvoa sillä saan... Webmin on monipuolisempi.

Ehkä pitäisi vielä kerran vetää koko kone sileäksi ja asentaa pelkkä Ubuntu/Debian ja hoitaa virtuaalikoneilla leikkimiset qemulla ja virt-managerilla X11 yli...

 

[andyks]

Jotain tuollaista on joo halvimmat, tulee vielä ALV päälle, kun tulli ottaa omansa:

Minulla on tällainen, josta maksoin yli 100€ (ALV:n kanssa) joskus vuosi sitten:

Hinta vaan laskee.. Toivottavasti ei laatu myös.

Niillä on myös malli, jossa on enemmän paikkoja:

Että tässä mielessä Supermicro on turvallisempi ostos

Pitäisi omakin NAS päivittää jossain vaiheessa 5-10Gbit/s yhteyksille. Nykyisessä emossa vain yksi PCIe, jonka vie Dellin SATA-ohjain, joten pitänee vähän enemmänkin uusia rautaa samalla.
Tekisi mieli samalla saada myös reilusti lisää potkua (i5-2500K), sekä enemmän muistia mieluusti ECC:nä (nyt 16Gb non-ecc).

Kiinalaisia X79 emoja katselin ja melkein tilasinkin, mutta pari asiaa jäi epäselväksi
- Toimiiko ko. emot ilman näytönohjainta? Jos perusasennuksen jälkeen vaihtaisi näytönohjaimen tilalle jonkin PCIe-SFP+ kortin. Jos ei toimi ilman, on pakko alkaa katsoa 3xPCIe16 emoja jotta saa näyttis+SFP+SATA yhtaikaa kiinni.
- Onko missään näistä emoissa mahdollista enabloida Intel VT-d?
Tämän videon kommenteista löytyy ikävä ao. maininta. Mistään muualta en ole löytänyt asiasta mitään tietoa.

DavidtheDoom
This is exactly what I've been looking for, did you manage to do VT-d passthrough on this board? Would love to be able to host a my FreeNAS inside the Proxmox + Win-game server with GPU passed through. Seems like CPU supports VT-d but boards are usually hit and miss.
Craft Computing
This board does not support VT-d.

 

[hsalonen]

Pitäisi omakin NAS päivittää jossain vaiheessa 5-10Gbit/s yhteyksille. Nykyisessä emossa vain yksi PCIe, jonka vie Dellin SATA-ohjain, joten pitänee vähän enemmänkin uusia rautaa samalla.
Tekisi mieli samalla saada myös reilusti lisää potkua (i5-2500K), sekä enemmän muistia mieluusti ECC:nä (nyt 16Gb non-ecc).

Kiinalaisia X79 emoja katselin ja melkein tilasinkin, mutta pari asiaa jäi epäselväksi
- Toimiiko ko. emot ilman näytönohjainta? Jos perusasennuksen jälkeen vaihtaisi näytönohjaimen tilalle jonkin PCIe-SFP+ kortin. Jos ei toimi ilman, on pakko alkaa katsoa 3xPCIe16 emoja jotta saa näyttis+SFP+SATA yhtaikaa kiinni.
- Onko missään näistä emoissa mahdollista enabloida Intel VT-d?
Tämän videon kommenteista löytyy ikävä ao. maininta. Mistään muualta en ole löytänyt asiasta mitään tietoa.

Katson huomenna tuon virtualisaation, mutta on biosissa ainakin valinta "Intel Virtualization Technology". Voi olla oletuksena pois päältä.

Pistin tosiaan kerran ESXin ja Intelin verkkokortin, niin kyllä toimi ilman näytönohjainta. On kyllä hankala tutkia mahdollisia virhetilanteita, jos kone ei käynnistykään itsekseen sammutuksen jälkeen. Ja ESXi käynnistyy hitaasti..

Tai no.. tätä /proc/cpu näyttää:

~$  egrep  -i "svm|vmx" /proc/cpuinfo
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d

..ja lscpu:

~$ lscpu
Architecture:        x86_64
CPU op-mode(s):      32-bit, 64-bit
Byte Order:          Little Endian
CPU(s):              16
On-line CPU(s) list: 0-15
Thread(s) per core:  2
Core(s) per socket:  8
Socket(s):           1
NUMA node(s):        1
Vendor ID:           GenuineIntel
CPU family:          6
Model:               62
Model name:          Intel(R) Xeon(R) CPU E5-2650 v2 @ 2.60GHz
Stepping:            4
CPU MHz:             1559.319
CPU max MHz:         3400.0000
CPU min MHz:         1200.0000
BogoMIPS:            5187.93
Virtualization:      VT-x
L1d cache:           32K
L1i cache:           32K
L2 cache:            256K
L3 cache:            20480K
NUMA node0 CPU(s):   0-15
Flags:               fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm cpuid_fault epb pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms xsaveopt dtherm ida arat pln pts md_clear flush_l1d

Emona tosiaan tuo vihreä Huanan. Veikkaisin, että halvemmillakin toimii, mutta tällä toimii minulla. Veljellä on tästä 2018 versio, mutta se on käytössä pelaamiseen.

Niillä on myös mATX-emolevy, mutta se maksaa saman kuin tuo isompi. Ja tässä on RealTek, jota ESXi ei tue:

00:05.0 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 VTd/Memory Map/Misc (rev 04)
00:05.2 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 IIO RAS (rev 04)
..
07:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 0c)

Linuxissa kaikki toimii hienosti ja nyt on mainituista syistä Ubuntu Server. On myös yksi hackintosh-projekti, mutta olen ollut laiska ja se on alkuvaiheessa.

--

Jos palvelin on päällä 24/7, niin v2 Ivy Bridge Xeonit ovat energiatehokkaampia. Pelaamiseen pitäisi olla maksimikellotaajuudet, mutta palvelinta pyörittää niillä L-prosessoreillakin kivasti. Esim:
US $59.98 30% OFF|Intel Xeon E5 2650L V2 Desktop Processor 2650L V2 Ten Cores 1.7GHz 25MB L3 Cache LGA 2011 Server Used CPU-in CPUs from Computer & Office on AliExpress
US $19.88 |Intel Xeon Processor E5 2630L V2 CPU 2.8 LGA2011 Six Core Server processor e5 2630L V2 E5 2630LV2-in CPUs from Computer & Office on AliExpress

edit: tosin dmesg näyttää tältä:

[    1.947254] AMD IOMMUv2 driver by Joerg Roedel <jroedel@suse.de>
[    1.947296] AMD IOMMUv2 functionality not available on this system

Jatkan tutkimista viikonloppuna..

edit2: nyt näyttää tältä:

[    0.000000] DMAR: IOMMU enabled

Ei pitäisi kyllä yöllä konffata, mutta katson viikonloppuna, saanko näytönohjaimen passthrough virtuaalikoneelle, kun olen vähän vähemmän väsynyt.

edit3: VT-d asetuksia pääsi säätämään Northbridgen menuista. Pitäisi olla päällä kaikki emolevyn puolesta. Katson viikonloppuna enemmän hackintosh-koneesta, kun se GPU passthrough on tässä yhteydessä olennaista.

 

[Joku_242]

Yksi kaveri väitti, ettei noissa Kiinaemoissa yleensä olisi oikeaa x79-piirisarjaa, vaan vanhoista toimistokoneista kerättyjä piirejä. Onko kukaan täällä moisen omistava vilkaissut piirisarjan siilin alle?

 

[Rossifumi]

Yksi kaveri väitti, ettei noissa Kiinaemoissa yleensä olisi oikeaa x79-piirisarjaa, vaan vanhoista toimistokoneista kerättyjä piirejä. Onko kukaan täällä moisen omistava vilkaissut piirisarjan siilin alle?

Pitää ainakin osittain paikkansa.

Tässä Linuksen videossa on x79 kiinan emo, jossa on kaksi prossukantaa. Tämähän ei siis ole mahdollista x79 piirisarjan kanssa.

 

[andyks]

edit3: VT-d asetuksia pääsi säätämään Northbridgen menuista. Pitäisi olla päällä kaikki emolevyn puolesta. Katson viikonloppuna enemmän hackintosh-koneesta, kun se GPU passthrough on tässä yhteydessä olennaista.

Kiitos näistä Tämähän vaikuttaa hyvältä.
Pitää hieman koittaa tutustua tarkemmin noihin emoihin ja miettiä josko laittaisi tilaukseen. Saisi halvalla reilusti ytimiä ja muistia ZFS ja VM käyttöön.

Miksiköhän noissa Kiinan X79 emoissa kaikissa näkyy olevan vain yksi SATA3 portti ja loput ( yleensä 5kpl) SATA2 portteja? Onko M2 sloteissa myös SATA3 väylä vai pelkkä NVME?

Kovasti tahtoo loppua serverikäytössä nuo väylät näissä kesken. Dellin H310 HBA:n 8xSATA on varattuna itse datalevyille ja käyttis+VM+docker yms. pyörii nyt mirroroiduilla SSD-levyillä SATA3 väylässä. SATA2 on näille jo liikaa pullonkaula.
Ainahan voisi vaihtaa SATA-SSD:t M.2-levyiksi, mutta taitaa noista PCIe väylistä joku pudota pois pelistä jos ottaa molemmat M2 käyttöön? Ja teraisten SSD-levyjen uusimisesta tulee kohtuuttomasti kustannuksia.

Ehkä joku Supermicron oikea serveriemo 5xPCIe x8 väylin ja usealla SATA3 väylällä olisi kokonaisuudeltaan kuitenkin kustannustehokkaampi ratkaisu... Hieman vain tökkii maksaa pelkästä emolevystä 200-300e ja laittaa siihen sitten ~50e CPU

 

[hsalonen]

Kiitos näistä Tämähän vaikuttaa hyvältä.
Pitää hieman koittaa tutustua tarkemmin noihin emoihin ja miettiä josko laittaisi tilaukseen. Saisi halvalla reilusti ytimiä ja muistia ZFS ja VM käyttöön.

Miksiköhän noissa Kiinan X79 emoissa kaikissa näkyy olevan vain yksi SATA3 portti ja loput ( yleensä 5kpl) SATA2 portteja? Onko M2 sloteissa myös SATA3 väylä vai pelkkä NVME?

Kovasti tahtoo loppua serverikäytössä nuo väylät näissä kesken. Dellin H310 HBA:n 8xSATA on varattuna itse datalevyille ja käyttis+VM+docker yms. pyörii nyt mirroroiduilla SSD-levyillä SATA3 väylässä. SATA2 on näille jo liikaa pullonkaula.
Ainahan voisi vaihtaa SATA-SSD:t M.2-levyiksi, mutta taitaa noista PCIe väylistä joku pudota pois pelistä jos ottaa molemmat M2 käyttöön? Ja teraisten SSD-levyjen uusimisesta tulee kohtuuttomasti kustannuksia.

Ehkä joku Supermicron oikea serveriemo 5xPCIe x8 väylin ja usealla SATA3 väylällä olisi kokonaisuudeltaan kuitenkin kustannustehokkaampi ratkaisu... Hieman vain tökkii maksaa pelkästä emolevystä 200-300e ja laittaa siihen sitten ~50e CPU

Nyt menee oikeasti huomisille tuo IOMMU-säätö, on tuntikirjailuja ym. töitä vielä tänään. Lisäksi jatkuva boottailu ja BIOS:in tutkiminen käy uptimen päälle Taidan laittaa sen hackintosh-projektini kakkoskoneen paikalle ja tutkia sitä. Docker on tulossa palvelimelle kun kaveri toimittaa kontteja tänne hostattavaksi, mutta koska saan siitä nolla euroa, se ilmestyy omaan verkkaiseen tahtiin..

95% emolevyissä on pelkkä M.2 NVME, se yksi Huananin mATX-emolevy on poikkeus. LGA2011 on niin täysi PCI Express-väyliä, että siitä on vedetty noita monta ja 50€ emolevyssäkin on m.2-paikka. Taitaa prosessorista tulla 40 ja emolevystä 8. Vertailun vuoksi perus-Ryzenistä tulee 20 ja AM4-emolevystä 8..

En kyllä ole vielä molempiin M2:iin laittanut kerralla, siihen yhteenkin harvemmin. Itse ottaisin nuo SATA-väylät NAS:iin kortilta.

Siellä se palvelin on nurkassa ollut vuoden. Välillä päivitelty muistia. Ei ongelmia. Tai no, ESXi ei tykännyt verkkokortista, mutta ostin Intelin NIC käytettynä ja se ratkaisi ongelmat.

--

Kaikella on edelleen riskinsä ja en itse kellottele palvelinta (pelikonetta voisin) ja noiden hinta on laskenut koko ajan, niin ehkä siellä säästetään nyt komponenteista.

Tämä tyyppi osti sen halvimman emolevyn, mutta käytti sitä pelaamiseen:


Lähinnä vaan kannattaa katsoa nuo rautaosiot, kun hänellä on ainakin hyvä kamera. Myös Zetteri tällä foorumilla on tehnyt videoita, mutta PlexHD on tuohon verrattuna kallis ja ei ole enää hyvää hinta/laatu-suhdetta. Se on muutenkin vähän halvan tuntuinen.

Videosta huomasin, ettei olekaan kytketty M.2:sta ihan halvimmassa mallissa.

--

Kuitenkin, jos SATA2 kelpaa ja haluaa vaan halvan setin NAS:ia varten virheenkorjaavalla muistilla, tuo videossa esim. ollut bundle lähtisi satasella. 200€ saa sitten jo 8-10 ydintä, paremman emolevyn ja vähintään 32GB muistia.

 

[Joku_242]

Kovasti tahtoo loppua serverikäytössä nuo väylät näissä kesken. Dellin H310 HBA:n 8xSATA on varattuna itse datalevyille ja käyttis+VM+docker yms. pyörii nyt mirroroiduilla SSD-levyillä SATA3 väylässä. SATA2 on näille jo liikaa pullonkaula.
Ainahan voisi vaihtaa SATA-SSD:t M.2-levyiksi, mutta taitaa noista PCIe väylistä joku pudota pois pelistä jos ottaa molemmat M2 käyttöön? Ja teraisten SSD-levyjen uusimisesta tulee kohtuuttomasti kustannuksia.

LGA2011 -prossussa tuskin loppuu PCIe -väylät kesken.

Enemmän ongelma taitaa olla fyysisten slottien puute.

 

[valurauta]

Vieläkö HP:n Microserver on pätevä alusta NAS-rakenteluille? G10 näyttäisi olevan ~350€ Amazon.de:stä: https://www.amazon.de/dp/B072X2YJ2N

G7 N54L tosin pelittää edelleenkin moitteetta. Kannattaako sitä edes päivittää uuteen?

Oletteko muuten mitanneet NAS-boxien tehonkulutusta? Sillä, että viekö purkki esim. 100W vai 30W idlenä alkaa olla jonkinlaista merkitystäkin (ts. 1000 vs 300 kWh/v, 100€ vs 30€/v).

 

[andyks]

LGA2011 -prossussa tuskin loppuu PCIe -väylät kesken.

Enemmän ongelma taitaa olla fyysisten slottien puute.

Tämäpä se ongelma näissä Kiinan levyissä onkin vs. aidot serveri/workstation emot.

95% emolevyissä on pelkkä M.2 NVME, se yksi Huananin mATX-emolevy on poikkeus. LGA2011 on niin täysi PCI Express-väyliä, että siitä on vedetty noita monta ja 50€ emolevyssäkin on m.2-paikka. Taitaa prosessorista tulla 40 ja emolevystä 8. Vertailun vuoksi perus-Ryzenistä tulee 20 ja AM4-emolevystä 8..

En kyllä ole vielä molempiin M2:iin laittanut kerralla, siihen yhteenkin harvemmin. Itse ottaisin nuo SATA-väylät NAS:iin kortilta.

Tuosta PCI Express-väylien määrästä johtuen voisi kuvitella että molemmille M.2 sloteille olisi omat PCIe-väylänsä, mutta muistelisin lukeneeni että toinen M.2-paikka oli jaettu PCIe-slotin kanssa... Tosin saatan sekoittaa johonkin AM4 emoonkin, niissähän käytännössä kaikissa on jaettu.

Mieluusti omaankin laittaisin kaikki SATA-väylät korteilla, mutta kohtuuhintaisissa korteissa yleensä vain tuo 2x4SATA-väylää tarjolla ja yhden kortillisen haluan varata itse "arkisto"-levyille ja toista korttia ei ainakaan 2xPCIe-väylän emoon mahdu kun toisen varaa 10gbe-kortti.
Ja koska nämä Xeonit ovat ilman GPU:ta, mielellään yhteen slottiin laittaisi jonkin vanhan GPU:n mahdollisia ongelmatilanteita varten ja voisihan kohtuuhinnalla saada GPU:n josta olisi hyötyä Plex:n transkoodauksessakin.
Ja tässä mielessä helposti siitä 3xPCIe x16 tulee minimi.

Kuitenkin, jos SATA2 kelpaa ja haluaa vaan halvan setin NAS:ia varten virheenkorjaavalla muistilla, tuo videossa esim. ollut bundle lähtisi satasella. 200€ saa sitten jo 8-10 ydintä, paremman emolevyn ja vähintään 32GB muistia.

SATA2 riittäisi hdd:lle, mutta ajattelin pitää varauksen että tarvittaessa saa koko SATA-kortin passthroughna jollekin VM:lle, joten käytännössä boottaava SSD-mirror on oltava emon SATA-väylissä.

Tosin voisihan niitä SATA3 väyliä saada lisää ehkä esim. tälläiselläkin
US $32.72 18% OFF|IOCREST 4 Port SATA III 6G Mini PCI Express Marvel 88SE9215 controller Card SATA3.0 mini pci express ssd adapter card-in Add On Cards from Computer & Office on AliExpress

Hieman AliExpressiä selattuani aloin miettiä pitäiskös sittenkin harkita näitä ns. "X99-emolevyjä". Näissä olisi valmiiksi 8xSATA3-väylää tarjolla. Lisäksi tässä mallissa on mahdollisuus tiettyjen Xeonien kanssa käyttää myös DDR3-muistia joten saisi suht halvalla sen 32-64GB ECC RAMmia.
US $101.36 22% OFF|HUANANZHI X99 motherboard with dual M.2 NVME slot support both DDR3 and DDR4 LGA2011 3-in Motherboards from Computer & Office on AliExpress

Tosin tuostakin on taas paha sanoa toimiiko IOMMU/VT-x...

 

[dun]

Ja pöh, tilasin vielä 2 kpl odotellessa lisää levyjä. Ironwolffeissa parin viikon toimitusaika myös. Puuh.
On tämäkin kun joutuu odottamaan kk kaupalla rautaa. Toivottavasti on odotuksen ja budjetin arvoista...

 

[andyks]

Vieläkö HP:n Microserver on pätevä alusta NAS-rakenteluille? G10 näyttäisi olevan ~350€ Amazon.de:stä: https://www.amazon.de/dp/B072X2YJ2N

G7 N54L tosin pelittää edelleenkin moitteetta. Kannattaako sitä edes päivittää uuteen?

Oletteko muuten mitanneet NAS-boxien tehonkulutusta? Sillä, että viekö purkki esim. 100W vai 30W idlenä alkaa olla jonkinlaista merkitystäkin (ts. 1000 vs 300 kWh/v, 100€ vs 30€/v).

Itse ehkä en päivittäisi.

Jos N54L tehot riittävät omaan käyttöön ei tuo uudempi tuo käytännössä mitään uutta.

Jos taas haluaa NAS:lla tehdä muutakin kuin jakaa filejä (VM, Docker tms..) tai esim. vaihtaa levyjärjestelmän ZFS:ään, on tuo uudempikin Microserver tehoiltaan ja muistiltaan aika onneton. (Lähes) samalla rahalla saa reilusti enemmän potkua esim. yllämainituista X79-alustoista tai Ryzen-pohjaisesta ratkaisusta.

Tosin onhan tuo Microserverin formfactor aivan lyömätön.
Jos kaipaa pientä NAS:ia ja löytyy seikkailumieltä, voisi tuohon G7:ään yrittää mahduttaa jonkin modernimman ITX-emon. Taitaa muuten itseltäkin vielä löytyä nurkista vanha emolevy-vikainen G7 jonka saa halvalla hakea projektiksi.

Oma G7 N54L NAS neljällä levyllä vei idlenä n. 35-40W.
Nyt i5-2500K pohjainen NAS kuudella levyllä haukkaa idlenä 65W, josta n. 10W ottaa Dell H310 HBA.

Joskus tuijottelin tarkkaankin NAS:n kulutusta, mutta sitten tulin järkiini.
Sähkölämmitteisessä talossa NAS:n kulutusta on turha huomioida n. 6kk ajalta kun kaikki kuitenkin muuttuu lämmöksi. Tämä huomioiden yo. yhtälöstäsi tulee 50€ vs 15€. Oma NAS kuluttaa nyt siis n. 650kWh = 65€ / 2 = 32.5€. Vaikka tuosta saisi puolet niistettyä pois, ei säästöillä saisi edes kahta lounasta.
Niin kauan kuin pysytään siellä max n.100W lukemissa, maksan mielelläni toimivasta ja tehokkaasta NAS:sta sen muutaman kympin vuodessa.
Enterprise-grade serverit nopeilla levyillä ja ~200-300W idle-kulutuksilla alkaa sitten jo ehkä mennä vähän yli omassa käytössä.

 

[Gobi]

Vieläkö HP:n Microserver on pätevä alusta NAS-rakenteluille? G10 näyttäisi olevan ~350€ Amazon.de:stä: https://www.amazon.de/dp/B072X2YJ2N

G7 N54L tosin pelittää edelleenkin moitteetta. Kannattaako sitä edes päivittää uuteen?

Oletteko muuten mitanneet NAS-boxien tehonkulutusta? Sillä, että viekö purkki esim. 100W vai 30W idlenä alkaa olla jonkinlaista merkitystäkin (ts. 1000 vs 300 kWh/v, 100€ vs 30€/v).

Juurikin tuo Gen10 löytyy täältä, ihan pätevän oloinen jos tuohon 350€ sen saa. Osa taitaa silti suosia Gen7 tai 8 tämän 10 sijaan, iLo puuttuu uusista. Eilen sammutin NASsin ja laitoin samalla energiamittarin eteen, 30W näyttäisi imaisevan idlessä ja 48W kun yksi tiedosto siirtyy.

Edit. Miksi en kasannut osista? Noita romuja on jo rassattavana ihan liikaa, tarkoitus ei ole kumminkaan harrastaa NASsia, vaan käyttää sitä. Microserver valmis paketti ja sen voi unohtaa betonirakenteisen kellarin +18C lämpötilaan huoletta.

 

[dun]

Juu, näissä microservereissä eniten harmittaa se että ne on rakennettu 4 slotin järjestelmäksi. Samassa kokoluokassa saa kuitenkin 8x 3.5" ulkoinen + 4 x 2.5" sisäinen järjestelmiä (jotka tosin maksaa jonkin verran siten, esim. Silverstone DS380). Itse tosin aloitin G7 N36L:llä, jossa riitti jo tehot linux + mdmraidille ihan hyvin. ZFS:ää sillä ei pyörittänyt. Seuraava päivitys oli i3-4130T@2.9Ghz 8GB DDR3 ECC kapistus kun vanhan G7:n ddr3 muistit siirtyi uuteen koneeseen suoraan. Sillä on porskutettu näihin päiviin asti. Engergiankulutus on ollut n. 10-20W sisällä alkuperäiseen G7 N36L:ään verrattuna. Nyt tulee taas 10-20W korotus tuohon nähden kun tulee käytöön (toivottavasti pian) Epyc 3251 ja 64GB DDR4 ECC(optio vielä toiselle mokomalle, mutta 128gb alkaa menemään jo kotikäytössä vähän yli)... Mutta jos loppuu kesken niin emo tukee 512GB asti.

Joten aloittakaa vain romuista jota löytyy. Mini-itx:stä kandee ehkä pysytellä erossa ja ostaa micro-atx koppa (Silverstonella löytyy semmoinenkin) samalla setillä. Mutta jos taas pieni, sievä ja hiljainen on kiikarissa, niin sitten pitää maksaa rahaa. Muuten voi mennä ylijäämällä ja maksaa 10% siitä mitä oma järjestelmä maksaa ilman levyjä.

Edit: Syy, miksi siis harmitti tuo 4 järjestelmä on se että raid6 järjestelmää siihen ei saa kovin halvalla rakennettua riittävällä kapasiteetilla, 6-8 levyn järjestelmään taas pärjää n. 100€ 3-6TB levyillä (tarjouksista riippuen), jolloin saa mekaanista varmuutta ja kapasiteettia edullisemmin kuin ostamalla isompia kalliimpia levyjä. Tosin pienen laskurupeaman jälkeen tulee aika nopeasti selväksi että jos pärjää esim. 10,5TB levyjärjestelmällä, niin jopa 2 levyn Qnapilla selviää kohtuu edullisesti (laajenusvara on 0). Jos taas haluaa laajennettavuutta, niin kannattaa maksaa pikkuisen enemmän siitä varasta, koska noita levyjä saa hankittua (riippuen tietenkin tiedostojäjrestelmästä ja käyttiksestä jälkeenpäin yksitellen ja laajennettua). ZFS on ainoa poikkeus tässä, siinä pitää ostaa kaikki haluamansa levyt kerralla (esim. 8 x 1TB levyt ja sitten levyjen rikkoutuessa tai levytilaa tarvittaessa vaihtamalla yksitellen tai kaikki kerrallana isompiin ja kun kaikki on taas samaa kapasiteettia niin isontamalla poolia). Itse tein aikoinaan moisen 1tb levyistä siirtyessäni uusiin 2tb levyihin (välissä olin jo rikkoutuneiden levyjen tilalle ostanut aina nas levyn 2tb). Kun viimeiset 1tb mitä sattuu levyt hajosi, niin sain sitten kerralla kapasiteetin nostettua pykälää ylöspäin. 8 levyn järjestelmässä kapasitettinousu olisi vain reilusti merkittävämpi raid6 (zfs z2) poolissa.

Kokonaiskustannus:

QNAP/Asustor/Synology/keksi brändi:

• Laite: 200€ (2 x 3,5")
  
• Levyjärjestelmä: 780€
• Max kapasiteetti: 10,5TiB

QNAP/Asustor/Synology/keksi brändi:

• Laite: 400€ (4 x 3,5")
  
• Levyjärjestelmä: 1560€
• Max kapasiteetti: 21TiB

Itsekyhätty kiina ihme/roju:

• Laite: 300-400€ (8-12 x 3,5")
  
• Levyjärjestelmä: 4680€ tai jos 21TiB riittää, niin 960€ ja jää vielä 4 kpl levypaikkoja täyttämättä.
  
• Kapasiteetti: 105TiB

Eli pienellä matematiikalla laskettuna (2020/H1):

Nas lätyt, halvin toimitettuna hinta.fi:stä

• WD Red
• Seagate Ironwolf
• Thosiba n300

2TB nas lätty: 85€ (WD red)
3TB nas lätty: 105€ (WD red)
4TB nas lätty: 120€ (WD red)
6TB nas lätty: 180€ (Thoshiba n300)
8TB nas lätty: 220€ (Thoshiba n300)
10TB nas lätty: 320€ (Thoshiba n300)
12TB nas lätty: 390€ (Seagate Ironwolf)

Haluttu kapasiteetti ja hinta (max 4 levyä):

• 10,5TiB (RAID1) = 780€ (kestää yhden levyrikon)
  
• 10,5TiB (RAID10) = 720€ (kestää teoriassa 2 levyrikkoa jos osuu eri raid1 platterille)
• 10,5TiB (RAID6) = 720€ (kestää 2 levyrikkoa)

Maksimikapasiteetti (mukana olevilla yksittäisillä levykapasiteeteilla):

• RAID1: 21TiB = 1560€ (2 erilistä 10,5TiB poolia: D ja E -asemat käytännössä)
• RAID10: 21TiB = 1560€ (1 pooli: D-asema)
• RAID6: 21TiB = 1560€ (1 pooli: D-asema)

Haluttu kapasiteetti ja hinta (max 8 levyä):

• 10,5TiB (RAID1) = 780€ (kestää yhden levyrikon)
• 10,5TiB (RAID10) = 720€ (kestää teoriassa 2 levyrikkoa jos osuu eri raid1 platterille)
• 10,5TiB (RAID6) = 680€ (kestää 2 levyrikkoa)

Maksimikapasiteetti (mukana olevilla yksittäisillä levykapasiteeteilla):

• RAID1: 42TiB = 3120€ (4 erilistä 10,5TiB poolia: D, E, F ja G -asemat käytännössä)
• RAID10: 42TiB = 3120€ (1 pooli: D-asema, tai niin montako kuin käyttöjärjestelmä tukee)
• RAID6: 63TiB = 3120€ (1 pooli: D-asema, tai niin montako kuin käyttöjärjestelmä tukee)
• RAID6: 42TiB = 1760€ (1 pooli: D-asema, tai niin montako kuin käyttöjärjestelmä tukee)
• RAID6: 21TiB = 960€ (1 pooli: D-asema, tai niin montako kuin käyttöjärjestelmä tukee)

 

[hsalonen]

Juu, näissä microservereissä eniten harmittaa se että ne on rakennettu 4 slotin järjestelmäksi. Samassa kokoluokassa saa kuitenkin 8x 3.5" ulkoinen + 4 x 2.5" sisäinen järjestelmiä (jotka tosin maksaa jonkin verran siten, esim. Silverstone DS380). Itse tosin aloitin G7 N36L:llä, jossa riitti jo tehot linux + mdmraidille ihan hyvin. ZFS:ää sillä ei pyörittänyt. Seuraava päivitys oli i3-4130T@2.9Ghz 8GB DDR3 ECC kapistus kun vanhan G7:n ddr3 muistit siirtyi uuteen koneeseen suoraan. Sillä on porskutettu näihin päiviin asti. Engergiankulutus on ollut n. 10-20W sisällä alkuperäiseen G7 N36L:ään verrattuna. Nyt tulee taas 10-20W korotus tuohon nähden kun tulee käytöön (toivottavasti pian) Epyc 3251 ja 64GB DDR4 ECC(optio vielä toiselle mokomalle, mutta 128gb alkaa menemään jo kotikäytössä vähän yli)... Mutta jos loppuu kesken niin emo tukee 512GB asti.

Joten aloittakaa vain romuista jota löytyy. Mini-itx:stä kandee ehkä pysytellä erossa ja ostaa micro-atx koppa (Silverstonella löytyy semmoinenkin) samalla setillä. Mutta jos taas pieni, sievä ja hiljainen on kiikarissa, niin sitten pitää maksaa rahaa. Muuten voi mennä ylijäämällä ja maksaa 10% siitä mitä oma järjestelmä maksaa ilman levyjä.

Edit: Syy, miksi siis harmitti tuo 4 järjestelmä on se että raid6 järjestelmää siihen ei saa kovin halvalla rakennettua riittävällä kapasiteetilla, 6-8 levyn järjestelmään taas pärjää n. 100€ 3-6TB levyillä (tarjouksista riippuen), jolloin saa mekaanista varmuutta ja kapasiteettia edullisemmin kuin ostamalla isompia kalliimpia levyjä. Tosin pienen laskurupeaman jälkeen tulee aika nopeasti selväksi että jos pärjää esim. 10,5TB levyjärjestelmällä, niin jopa 2 levyn Qnapilla selviää kohtuu edullisesti (laajenusvara on 0). Jos taas haluaa laajennettavuutta, niin kannattaa maksaa pikkuisen enemmän siitä varasta, koska noita levyjä saa hankittua (riippuen tietenkin tiedostojäjrestelmästä ja käyttiksestä jälkeenpäin yksitellen ja laajennettua). ZFS on ainoa poikkeus tässä, siinä pitää ostaa kaikki haluamansa levyt kerralla (esim. 8 x 1TB levyt ja sitten levyjen rikkoutuessa tai levytilaa tarvittaessa vaihtamalla yksitellen tai kaikki kerrallana isompiin ja kun kaikki on taas samaa kapasiteettia niin isontamalla poolia). Itse tein aikoinaan moisen 1tb levyistä siirtyessäni uusiin 2tb levyihin (välissä olin jo rikkoutuneiden levyjen tilalle ostanut aina nas levyn 2tb). Kun viimeiset 1tb mitä sattuu levyt hajosi, niin sain sitten kerralla kapasiteetin nostettua pykälää ylöspäin. 8 levyn järjestelmässä kapasitettinousu olisi vain reilusti merkittävämpi raid6 (zfs z2) poolissa.

Kokonaiskustannus:

QNAP/Asustor/Synology/keksi brändi:

• Laite: 200€ (2 x 3,5")
  
• Levyjärjestelmä: 780€
• Max kapasiteetti: 10,5TiB

QNAP/Asustor/Synology/keksi brändi:

• Laite: 400€ (4 x 3,5")
  
• Levyjärjestelmä: 1560€
• Max kapasiteetti: 21TiB

Itsekyhätty kiina ihme/roju:

• Laite: 300-400€ (8-12 x 3,5")
  
• Levyjärjestelmä: 4680€ tai jos 21TiB riittää, niin 960€ ja jää vielä 4 kpl levypaikkoja täyttämättä.
  
• Kapasiteetti: 105TiB

Eli pienellä matematiikalla laskettuna (2020/H1):

Nas lätyt, halvin toimitettuna hinta.fi:stä

• WD Red
• Seagate Ironwolf
• Thosiba n300

2TB nas lätty: 85€ (WD red)
3TB nas lätty: 105€ (WD red)
4TB nas lätty: 120€ (WD red)
6TB nas lätty: 180€ (Thoshiba n300)
8TB nas lätty: 220€ (Thoshiba n300)
10TB nas lätty: 320€ (Thoshiba n300)
12TB nas lätty: 390€ (Seagate Ironwolf)

Haluttu kapasiteetti ja hinta (max 4 levyä):

• 10,5TiB (RAID1) = 780€ (kestää yhden levyrikon)
  
• 10,5TiB (RAID10) = 720€ (kestää teoriassa 2 levyrikkoa jos osuu eri raid1 platterille)
• 10,5TiB (RAID6) = 720€ (kestää 2 levyrikkoa)

Maksimikapasiteetti (mukana olevilla yksittäisillä levykapasiteeteilla):

• RAID1: 21TiB = 1560€ (2 erilistä 10,5TiB poolia: D ja E -asemat käytännössä)
• RAID10: 21TiB = 1560€ (1 pooli: D-asema)
• RAID6: 21TiB = 1560€ (1 pooli: D-asema)

Haluttu kapasiteetti ja hinta (max 8 levyä):

• 10,5TiB (RAID1) = 780€ (kestää yhden levyrikon)
• 10,5TiB (RAID10) = 720€ (kestää teoriassa 2 levyrikkoa jos osuu eri raid1 platterille)
• 10,5TiB (RAID6) = 680€ (kestää 2 levyrikkoa)

Maksimikapasiteetti (mukana olevilla yksittäisillä levykapasiteeteilla):

• RAID1: 42TiB = 3120€ (4 erilistä 10,5TiB poolia: D, E, F ja G -asemat käytännössä)
• RAID10: 42TiB = 3120€ (1 pooli: D-asema, tai niin montako kuin käyttöjärjestelmä tukee)
• RAID6: 63TiB = 3120€ (1 pooli: D-asema, tai niin montako kuin käyttöjärjestelmä tukee)
• RAID6: 42TiB = 1760€ (1 pooli: D-asema, tai niin montako kuin käyttöjärjestelmä tukee)
• RAID6: 21TiB = 960€ (1 pooli: D-asema, tai niin montako kuin käyttöjärjestelmä tukee)

Silverstonelta tulee mATX-kotelo muuten rakenteluihin, jossa on 3 hotswappia edessä ja kai 3 paikkaa sisällä:

 

[dun]

Silverstonelta tulee mATX-kotelo muuten rakenteluihin, jossa on 3 hotswappia edessä ja kai 3 paikkaa sisällä:

Voin varauksetta suositella näitä kahta pakettia, mielestäni parhaita paketteja tower-tyyppisesti:

• Silverstone DS380 (mini-itx/dtx): SilverStone INTRODUCTION：DS380
  8 kpl 3,5" hotswap edessä
  
  
  
  4 x 2,5" oikealla ylhäällä
  
  

• Silverstone CS380 (micro-atx): SilverStone INTRODUCTION：CS380
  8 x 3,5" + 2 x 5,25"
  
  

Tuo CS380 on fyysisesti tilavampi ja laajennusvaraa huomattavasti enemmän sisäisesti, mutta ilman adapteria 5,25" slotteihin, enempää levyjä tohon ei saa näkyviin.

Edit: Esim. DS380 + 300-450W SFX power + mini-itx emo 2 sataporttia + HBA 8-sata/sas -kortti ei oo paha hinta rungoksi

 

[Yeenoghu]

Nas lätyt, halvin toimitettuna hinta.fi:stä

• WD Red
• Seagate Ironwolf
• Thosiba n300

2TB nas lätty: 85€ (WD red)
3TB nas lätty: 105€ (WD red)
4TB nas lätty: 120€ (WD red)
6TB nas lätty: 180€ (Thoshiba n300)
8TB nas lätty: 220€ (Thoshiba n300)
10TB nas lätty: 320€ (Thoshiba n300)
12TB nas lätty: 390€ (Seagate Ironwolf)

Vinkki: 12 TB levy 299€ + kulut: 12TB MG07ACA12TE SATA III kovalevy (HDD) - 299.12 €

 

[Joku_242]

Edit: Syy, miksi siis harmitti tuo 4 järjestelmä on se että raid6 järjestelmää siihen ei saa kovin halvalla rakennettua riittävällä kapasiteetilla, 6-8 levyn järjestelmään taas pärjää n. 100€ 3-6TB levyillä (tarjouksista riippuen), jolloin saa mekaanista varmuutta ja kapasiteettia edullisemmin kuin ostamalla isompia kalliimpia levyjä.

Tarviiko neljän levyn poolissa vielä raid6:tta? Pienemmällä määrällä levyjä todennäköisyys, että kaksi levyä rikkoutuu samaan aikaan on selvästi pienempi, kuin isommalla poolilla.

 

[muumio]

Vinkki: 12 TB levy 299€ + kulut: 12TB MG07ACA12TE SATA III kovalevy (HDD) - 299.12 €

RAID6 tai vastaavaat + todella isot levyt niin siinä naurattaa kun levyrikko tulee eteen ja rebuild kestää.. kestää.. ja kestää

 

[dun]

Nyt sain paketin pöydälle. Pari yötä aikaa kasailla... Jos tuuri käy, niin nykyinen käyttis boottaa tänään...

Edit: uudet kiintikset on vielä matkalla. Eli pakkaa ei pääse vielä rakentamaan uusiksi...

 

[dun]

Vielä talteen cpu testi ennen kuin vanha sotaratsu pääsee teuraalle (Intel i3-4130T@2,9Ghz). Eli kyseessä on yksi tyypillinen ajo koneelta, eli useita tiedostoja konvertoidaan jostain bittivirta/resoluutiosta johonkin testattuun hyvään muotoon (esim. 4k => 480p web-jako sukulaisille messengerissä yms.). Tässä tapauksessa otettu 720p sukellusvideo/allasvideo (8min ja päälle) Nikonin kameralta ja käännetään 1080p muotoon (koska miksei, laatu ei parane pätkääkään) matroska-konttiin.

Testin aikana koneessa ei muuta rasitusta päällä ja kaikki 4 threadia 100% käytössä.

Testitiedosto:

$ du -h testivideo.mov
1,1G    testivideo.mov

# ffmpeg enkoodaus-asetukset:
#/bin/bash

# Muuttujat
INPUT_FILE=$1

# Applikaatio
ffmpeg \
  -y \
  -i "$INPUT_FILE" \
  -s hd1080 \
  -c:v libx264 \
  -b:v 9000k \
  -c:a libmp3lame \
  -b:a 192k \
  ${INPUT_FILE%.*}.mkv

Klippi käännösaikaisesta tuloksesta:

$ time konvertaa_1080p testivideo.mov
ffmpeg version 3.4.6-0ubuntu0.18.04.1 Copyright (c) 2000-2019 the FFmpeg developers
  built with gcc 7 (Ubuntu 7.3.0-16ubuntu3)
  configuration: --prefix=/usr --extra-version=0ubuntu0.18.04.1 --toolchain=hardened --libdir=/usr/lib/x86_64-linux-gnu --incdir=/usr/include/x86_64-linux-gnu --enable-gpl --disable-stripping --enable-avresample --enable-avisynth --enable-gnutls --enable-ladspa --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libflite --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libgme --enable-libgsm --enable-libmp3lame --enable-libmysofa --enable-libopenjpeg --enable-libopenmpt --enable-libopus --enable-libpulse --enable-librubberband --enable-librsvg --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libspeex --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvorbis --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzmq --enable-libzvbi --enable-omx --enable-openal --enable-opengl --enable-sdl2 --enable-libdc1394 --enable-libdrm --enable-libiec61883 --enable-chromaprint --enable-frei0r --enable-libopencv --enable-libx264 --enable-shared
  libavutil      55. 78.100 / 55. 78.100
  libavcodec     57.107.100 / 57.107.100
  libavformat    57. 83.100 / 57. 83.100
  libavdevice    57. 10.100 / 57. 10.100
  libavfilter     6.107.100 /  6.107.100
  libavresample   3.  7.  0 /  3.  7.  0
  libswscale      4.  8.100 /  4.  8.100
  libswresample   2.  9.100 /  2.  9.100
  libpostproc    54.  7.100 / 54.  7.100
Guessed Channel Layout for Input Stream #0.1 : mono
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'testivideo.mov':
  Metadata:
    major_brand     : qt
    minor_version   : 537331968
    compatible_brands: qt  niko
    creation_time   : 2014-12-10T15:48:40.000000Z
  Duration: 00:08:14.49, start: 0.000000, bitrate: 18575 kb/s
    Stream #0:0(eng): Video: h264 (High) (avc1 / 0x31637661), yuvj420p(pc, bt470bg/unknown/bt470m), 1920x1080 [SAR 1:1 DAR 16:9], 18185 kb/s, 23.98 fps, 23.98 tbr, 24k tbn, 47.95 tbc (default)
    Metadata:
      creation_time   : 2014-12-10T15:48:40.000000Z
    Stream #0:1(eng): Audio: pcm_s16le (sowt / 0x74776F73), 24000 Hz, mono, s16, 384 kb/s (default)
    Metadata:
      creation_time   : 2014-12-10T15:48:40.000000Z
Stream mapping:
  Stream #0:0 -> #0:0 (h264 (native) -> h264 (libx264))
  Stream #0:1 -> #0:1 (pcm_s16le (native) -> mp3 (libmp3lame))
Press [q] to stop, [?] for help
[libx264 @ 0x5576a5a82e80] using SAR=1/1
[libx264 @ 0x5576a5a82e80] using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2 AVX FMA3 BMI2 AVX2
[libx264 @ 0x5576a5a82e80] profile High, level 4.0
[libx264 @ 0x5576a5a82e80] 264 - core 152 r2854 e9a5903 - H.264/MPEG-4 AVC codec - Copyleft 2003-2017 - http://www.videolan.org/x264.html - options: cabac=1 ref=3 deblock=1:0:0 analyse=0x3:0x113 me=hex subme=7 psy=1 psy_rd=1.00:0.00 mixed_ref=1 me_range=16 chroma_me=1 trellis=1 8x8dct=1 cqm=0 deadzone=21,11 fast_pskip=1 chroma_qp_offset=-2 threads=6 lookahead_threads=1 sliced_threads=0 nr=0 decimate=1 interlaced=0 bluray_compat=0 constrained_intra=0 bframes=3 b_pyramid=2 b_adapt=1 b_bias=0 direct=1 weightb=1 open_gop=0 weightp=2 keyint=250 keyint_min=23 scenecut=40 intra_refresh=0 rc_lookahead=40 rc=abr mbtree=1 bitrate=9000 ratetol=1.0 qcomp=0.60 qpmin=0 qpmax=69 qpstep=4 ip_ratio=1.40 aq=1:1.00
Output #0, matroska, to 'testivideo.mkv': time=-577014:32:22.77 bitrate=  -0.0kbits/s speed=N/A  
  Metadata:
    major_brand     : qt
    minor_version   : 537331968
    compatible_brands: qt  niko
    encoder         : Lavf57.83.100
    Stream #0:0(eng): Video: h264 (libx264) (H264 / 0x34363248), yuvj420p(pc, progressive), 1920x1080 [SAR 1:1 DAR 16:9], q=-1--1, 9000 kb/s, 23.98 fps, 1k tbn, 23.98 tbc (default)
    Metadata:
      creation_time   : 2014-12-10T15:48:40.000000Z
      encoder         : Lavc57.107.100 libx264
    Side data:
      cpb: bitrate max/min/avg: 0/0/9000000 buffer size: 0 vbv_delay: -1
    Stream #0:1(eng): Audio: mp3 (libmp3lame) (U[0][0][0] / 0x0055), 24000 Hz, mono, s16p, 192 kb/s (default)
    Metadata:
      creation_time   : 2014-12-10T15:48:40.000000Z
      encoder         : Lavc57.107.100 libmp3lame
frame= 1037 fps=9.3 q=28.0 size=   42338kB time=00:00:42.43 bitrate=8173.4kbits/s speed=0.38x

Puolessa välissä kääntämistä muistinkäyttö ja top:

$ free -hm
              total        used        free      shared  buff/cache   available
Mem:           7,7G        3,2G        2,6G         53M        1,9G        4,2G
Swap:           15G        1,1G         14G

Tasks: 404 total,   1 running, 342 sleeping,   0 stopped,   0 zombie
%Cpu(s):  3,6 us,  3,9 sy,  0,7 ni, 84,9 id,  6,6 wa,  0,0 hi,  0,2 si,  0,0 st
KiB Mem :  8090828 total,  2597396 free,  3384648 used,  2108784 buff/cache
KiB Swap: 16777212 total, 15671292 free,  1105920 used.  4360456 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                                                                
 2700 user123+  20   0 1734520 563876  27764 S 342,1  7,0  68:55.79 ffmpeg

Aika joka kääntämiseen meni (minuuteissa):

frame=11856 fps= 10 q=-1.0 Lsize=  554463kB time=00:08:14.49 bitrate=9185.4kbits/s speed=0.428x   
video:544565kB audio:9659kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 0.043091%
[libx264 @ 0x5576a5a82e80] frame I:51    Avg QP:20.02  size:185589
[libx264 @ 0x5576a5a82e80] frame P:2998  Avg QP:23.10  size: 83692
[libx264 @ 0x5576a5a82e80] frame B:8807  Avg QP:25.26  size: 33753
[libx264 @ 0x5576a5a82e80] consecutive B-frames:  0.9%  0.2%  0.2% 98.8%
[libx264 @ 0x5576a5a82e80] mb I  I16..4:  8.9% 73.2% 17.9%
[libx264 @ 0x5576a5a82e80] mb P  I16..4:  3.1% 17.2%  1.8%  P16..4: 47.1% 18.4% 10.6%  0.0%  0.0%    skip: 1.9%
[libx264 @ 0x5576a5a82e80] mb B  I16..4:  0.5%  2.8%  0.1%  B16..8: 40.7%  4.9%  0.9%  direct:22.3%  skip:27.8%  L0:44.1% L1:48.8% BI: 7.1%
[libx264 @ 0x5576a5a82e80] final ratefactor: 21.72
[libx264 @ 0x5576a5a82e80] 8x8 transform intra:79.3% inter:76.5%
[libx264 @ 0x5576a5a82e80] coded y,uvDC,uvAC intra: 78.5% 97.3% 75.8% inter: 32.1% 70.4% 17.8%
[libx264 @ 0x5576a5a82e80] i16 v,h,dc,p: 13% 20% 20% 47%
[libx264 @ 0x5576a5a82e80] i8 v,h,dc,ddl,ddr,vr,hd,vl,hu: 15% 19% 33%  4%  5%  5%  6%  5%  7%
[libx264 @ 0x5576a5a82e80] i4 v,h,dc,ddl,ddr,vr,hd,vl,hu: 21% 23% 23%  5%  6%  5%  6%  5%  5%
[libx264 @ 0x5576a5a82e80] i8c dc,h,v,p: 55% 19% 14% 12%
[libx264 @ 0x5576a5a82e80] Weighted P-Frames: Y:7.1% UV:4.8%
[libx264 @ 0x5576a5a82e80] ref P L0: 43.3% 11.1% 29.5% 15.6%  0.5%
[libx264 @ 0x5576a5a82e80] ref B L0: 83.4% 13.7%  2.9%
[libx264 @ 0x5576a5a82e80] ref B L1: 93.3%  6.7%
[libx264 @ 0x5576a5a82e80] kb/s:9021.48

real   19m15,083s
user   73m51,711s
sys   0m24,769s

# koko vielä
$ du -h testivideo.m*
542M    testivideo.mkv
1,1G    testivideo.mov

 

[j7u]

Edit: uudet kiintikset on vielä matkalla. Eli pakkaa ei pääse vielä rakentamaan uusiksi...

Toivotaan limppujen olevan ehjiä.
Omasta 4 sarjasta 1 oli heti rikki ja nyt 1 v jälkeen näkyy olevan yli 2000 bad block toisella levyllä.
No opetushan on se ettei pidä siikakeittimen levyjä hankkia.

 

[dun]

Toivotaan limppujen olevan ehjiä.
Omasta 4 sarjasta 1 oli heti rikki ja nyt 1 v jälkeen näkyy olevan yli 2000 bad block toisella levyllä.
No opetushan on se ettei pidä siikakeittimen levyjä hankkia.

Juu, testaan kaikki merkistä riippumatta. Syy miksi otin ironwolffeja ei ollut hinta vaan se että muutkin pakan levyt on samanlaisia ja saan identtisistä levyistä muodostettua poolin(t).

Jos 8:sta levystä 3 levyä menee rikki, menetän kaiken datan poolista, mutta tuon lisäksi on backup pooli, jossa data on kertalleen vielä snapshotattuna. eli en ole kovin huolissani jos seagate, wd tai toshiba kusahtaa. Noista eniten on kusahtanut wd:n levyjä itsellä (tosin niitä on myös ollut eniten, pitkään kartoin seagaten levyjä, mutta pari vuotta sitten hommasin kun olivat halvimpia. Harmi ettei nyt ollut tarjouksessa, mutta eipä se mitään.

 

[dun]

Heh, eli cpu vääntöä tuli n. 4x lisää ja cpu cooler äänettömällä/passiivisena cpu ilmoittaa omien sensoriensa mukaan 44c lämpötilan. Ei huono, tosin alle 5min ei taida lämmöt vielä nousta...

# CPU:n nopeus kun sama encodaus.
real    4m40,344s
user    72m14,152s
sys     0m15,998s

Edit: Huoh, zfs pooli ei importtaudu eikä nouse. Levyt ei myöskään näy kernelille. Mikähän tohon korttiin iski... Toivottavasti ei mennyt paskaksi.

 

[dun]

No niin, nyt sain toimimaan levytkin, kesti vain aika kauan että nousi. Harmi ettei indikoi mitenkään että mitä tekee. ZFS luuli että oli uncraceful shutdown kyseessä ja buildasi DDT:n uusiksi (kesti varmasti yli 20min). Nyt pääsee testailemaan.

Tähän mennessä cpu nopeus kasvoi mitattavassa muodossa 4.125 kertaiseksi. Eli ei ollenkaan paha. Levynopeus pitää testata seuraavaksi, mutta ei ollenkaan hassu päivitys vaikka aika extreme ihan omasta syystä onkin. Kiitos Silverstonen ja Supermicron (tuli defaulttina molemmat melkein äännettömillä tuulettimilla), nyt en kuule 2 metrin päässä olevasta pöpelistä enää kuin pikkuisen levyjen rapinaa kun iso kirjoitus lähtee käyntiin. 3 x 120mm tuuletimet on alimmilla kieroksilla ja prossun lämpötila cpu sensorin mukaan on kiva 22c ja korkeimmillaan nähnyt sen 44c ilman että cpu cooleri edes alkaa nostamaan kieroksia enemmän (pikkuisen nostaa ja sen huomaa kun laittaa korvan kiinni).

Ajoinpa kokeeksi testin (dedup ei ole päällä, cache ssd poistettu):

# Tiedoston siirto ssd > ZFS pakka
$ pv CentOS-8-x86_64-1905-dvd1.iso > ssd_zfs/CentOS-8-x86_64-1905-dvd1.iso
Vanha: 6,65GiB 0:00:31 [ 219MiB/s] [=====================================>] 100%
Uusi: 6,65GiB 0:00:24 [ 276MiB/s] [=====================================>] 100%

# Tiedoston siirto ZFS > ssd
$ pv CentOS-8-x86_64-1905-dvd1.iso > zfs_ssd/CentOS-8-x86_64-1905-dvd1.iso
Vanha: 6,65GiB 0:00:49 [ 136MiB/s] [=====================================>] 100%
Uusi:  6,65GiB 0:00:05 [1,13GiB/s] [=====================================>] 100%

# Tiedoston siirto ZFS > ZFS
$ pv CentOS-8-x86_64-1905-dvd1.iso > zfs_zfs/CentOS-8-x86_64-1905-dvd1.iso
Vanha: 6,65GiB 0:01:48 [62,5MiB/s] [=====================================>] 100%
Uusi:  6,65GiB 0:00:16 [ 409MiB/s] [=====================================>] 100%

Että että, ei huonompi päivitys. Seuraavaksi sitten odotellaan uudet levyt ja rakennetaan pakka uusiksi. Kuvankaappaus koneesta ja sen käyttämistä resursseista...

 

[dun]

RAID6 tai vastaavaat + todella isot levyt niin siinä naurattaa kun levyrikko tulee eteen ja rebuild kestää.. kestää.. ja kestää

Just oli läheltäpiti tilanne kun päivitin emon, muistit ja prossun. Onneksi ZFS:llä selviää hyvin kun on raid6 (z2) ja heittää rahaa liekkiin Eli kun oli cpu:ta ja muistia (64gb näytti olevan taikasana), niin poolin DDT ja pooli itsessään rakensi itsensä aika haipakkaan. Oliis muuten tarjolla 2015 hommattu (ehkä rikki, enää en ole varma kun näin syyn mahdolliselle patterin oikosululle, eli emon kello nollautuu jos virrat katoaa) i3-4130T@2.9Ghz, 8GB DDR3 ECC ja Asrock Ipmi:llä varustettu mini-itx emo (voin pistää kuvia jos kiinnostaa). Löytyy Espoosta ja Sellon autohallissa on tarvittaessa tarjolla. PM:llä tarjoukset, testitulokset vrt. AMD Epyc 3251@2,5Ghz löytyy tästä threadista: Arvostelu: Uusi omarakenteinen Nas (ZFS on Linux)

Nyt vain odottelen +4 levyä että saa 8 levyn pakan vihdoin aikaiseksi.

 

[Joku_242]

Just oli läheltäpiti tilanne kun päivitin emon, muistit ja prossun. Onneksi ZFS:llä selviää hyvin kun on raid6 (z2) ja heittää rahaa liekkiin Eli kun oli cpu:ta ja muistia (64gb näytti olevan taikasana), niin poolin DDT ja pooli itsessään rakensi itsensä aika haipakkaan.

Ihan uteliaisuudesta, mitä tapahtui? Ei kai poolia tarvi rakentaa uudestaan, jos kovalevyjä ei vaihdeta? Senkun importtaa poolin uudessa kokoonpanossa...

EDIT: Ei mitään, jäi linkki huomaamatta kännykän näytöllä räpeltäessä...

 

[mRkukov]

RAID6 tai vastaavaat + todella isot levyt niin siinä naurattaa kun levyrikko tulee eteen ja rebuild kestää.. kestää.. ja kestää

5* 4TB raid6 ja levyn lisäys ei juuri kauempaa kestänyt kuin mitä yhden levyn lukeminen vie.

Täytyy jossain kohtaa kirjoitella tänne vähän omasta "setupista". On aika viritys kyllä (2x6c,128GB,...).

 

[dun]

Piti vähän säätää, tämä AMD Zen+ generaation cpu / emo yhdistelmä ei oikein toimi Dell Perc H310 kortin kanssa ennen kuin pakotti nykyisellä firmis/bios combolla pci-e väylän toimimaan pci-e 2.0 nopeudella. Auto-asetuksella kortti vain tippui kernelistä...

Nopeudet on ihan samat kuin aikaisemminkin, joten ZFS:n pakkaan asetus ei ainakaan nopeuden puolesta vaikuttanut.

Ajoin myös plexmediaserverin web-playerillä testiä ja en tiedä mikä kyykkäsi, mutta kun oli 6 x chrome ikkunaa auki ja eri video pyörimässä jokaisessa, niin alkoi pätkimään. Cpu loadi ei ollut millään corella kummassakaan koneessa (clientillä eikä serverillä) mitenkään korkea, mutta heti kun sulki yhden ikkunoista pois, kaikki videot pyöri normisti ilman pätkimisiä. Pelkästään 6:n ikkunan avaus ja koti-sivulle meno plexillä aiheutti pätkimistä, joten jokin resurssi loppui tai sisäinen raja tuli vastaan. Levynkäyttö oli kilotavuissa, eli edes megatavuja ei siirtynyt ja dataa siirtyi verkkopiuhaa pitkin n. 114Mbit maksimissaan, sekin tosin heilui jonkin verran. Eli kai ihan ok tulos, tiedä sit mikä tuossa oli. Mutta jos ei tule kysymyksiä tai kommentteja, niin taitaa olla aika pitkälti tässä tämä arvostelu.

 

[andyks]

RAM ei loppunut? Millä transkoodaat? Jos HW transkoodaus, loppuiko GPU:sta potku? Mihin transkoodaat? Eihän ko. kohteesta loppunut potku?
Eihän pätkiminen johtunut clientin päästä? 6 ikkunaa videota Chromella ei ole enää mikään ihan kevyt operaatio...