NAS rakentelut

  • Keskustelun aloittaja Keskustelun aloittaja dun
  • Aloitettu Aloitettu
X11SCL-iF

Pitkään emmin noita Epyc embedded alustoja (saa kans Damiconilta) ja sitä Asrock Rack emoa. Jotenkin oli vaan liikaa säätöä tai epävarmuuksia suuntaan tai toiseen. Xeoni tulee jonkun satasen halvemmaksi jne.

Eli vähän jäi harmittamaan että toki AMD’n pitäisi näinä päivinä olla se valinta, mutta noi ”kotiserverien” emot ei ehkä ole vielä ihan loppuun asti hiottuja tai saatavuus surkea.
Itsellä oli xeoni pitkään ykkösvalinta lähinä sen takia että saisi 10Gbps nicin emolta suoraan, mutta kotikäytössä 4 x 1gbs linkit riittää (4Gbps agerointiin ihan passelisti 10Gbps switchillä). AMD:n valitsin tosta postauksesta lukemalla, mutta se oli n. 2 x tehokkaampi mitä intelillä oli tarjolla, niin ei ollut järin vaikea valinta + vie vähemmän virtaa.
 
En tajunnutkaan miten paljon vääntöä noissa uudemmissa Epyceissä onkaan. Oletko testannut tuon toimivuuden jollain korkeamman bitraten tiedostolla (50-100mbps)? Vaikuttaako HDR Tone Mapping mitenkään rasitukseen? Vaikuttaa sen verran mielenkiintoiselta, että jos joskus päivittelen kokoonpanoa, niin ei tarvitse juosta tuon iGPU:n perässä enää tai varata slottia näytönohjaimelle. Jotenkin minun mielestä ihan älytöntä, että AMD:n prossut ovat vaan niin järeitä, että HW transkoodaus alkaa vaikuttaa turhalta.

Tammikuussa on yleensä hyvin tavaraa alennuksessa, mutta jos sitä nyt malttaisi kuitenkin...
Koevideon otin täältä: Jellyfish Bitrate Test Files

Eipä näytä transkoodaus hirveästi imevän tehoa (videon alussa taitaa bulkkina transkoodata, koska coret hyppää hetkellisesti 100%)...

jellyfish-100-mbps-hd-h264.mkv => 720p@2Mbps
1609623243969.png


jellyfish-250-mbps-4k-uhd-h264.mkv => 720p@2Mbps (coret 100% userspace rasituksessa n. 8-10s, muuten idle). Mitkään käynnissä olevat palvelut ei häiriinny ja video ei nyi missään vaiheessa.
1609623721844.png

Rasitus (kestää 8-10s alussa):
1609623875901.png


jellyfish-400-mbps-4k-uhd-hevc-10bit.mkv => 720p@2Mbps (coret 100% userspace rasituksessa ensimmäiset 20s, alussa nykii ennen kuin transkoodaus tasaantuu n. 10s kohdalla. Sitten 20s kohdalla coren rasitus putoaa, kun koko video on pituudeltaan transkoodattu.
1609624046522.png
 
Koevideon otin täältä: Jellyfish Bitrate Test Files

Eipä näytä transkoodaus hirveästi imevän tehoa (videon alussa taitaa bulkkina transkoodata, koska coret hyppää hetkellisesti 100%)...

Aika vääntävä prossu, jos Jellyfishia jaksaa noin notkeasti transkoodata.

Kokeilin huvikseni oman settini rajoja. Kuusi streamia sain toimimaan yhtäaikaisesti ilman pätkimistä (lähdetiedosto 4K 60mbps elokuva transkoodattuna 720p 4mbps). Sellainen tympeä rajoite tässä näyttää vielä olevan, että jos käyttää elokuvan PGS-tekstityksiä, niin ne laittavat prossun kyykkyyn jo kahden streamin jälkeen. Jos käyttää SRT-tekstiyksiä tai ei tekstitystä ollenkaan, niin pääsee tuohon kuuteen streamiin. Tuo PGS-tekstityksien käyttö vaatisi enemmän tehoa prossulta, koska niiden polttamiseen Plex käyttää CPU:a. Tulee rajat nopeasti vastaan heti kun tarvitaan prosessorilta vääntöä, kun se sattuu olemaan i3 8100...

Tämä kyllä pistää miettimään, että onko HW transkoodaus oikeastaan järkevää enää. Toimiessaan prossun iGPU:lla tuo mahdollistaa ihan uskomattoman suorituskyvyn raudan hintaan nähden, mutta vaatii aika paljon säätöä/tuuria/ymmärrystä, että tästä saa kaiken irti. Myös tuo tekstitystiedostojen käytön rajoitteellisuus transkoodatessa on keskeinen rajoite ainakin minun mielestäni. Jos vaan Intel ei olisi niin onnettomasti perässä prossupuolella, niin olisi kiva ostaa joku käytetty i7 8700 tai i9 9900 tähän jatkoksi, mutta jotenkin tuntuu että ei tuossa päivityssuunnassa ole oikein järkeä pidemmän päälle. Parin vuoden päästä löytyy varmasti kohtuuhintaan käytettyjä Epyc- ja Threadripper settejä, joilla saa luotettavamman suorituskyvyn (ei kikkailua tekstitystiedostotyyppien kanssa) ja paljon lisää laskentatehoa kauttaaltaan koko palvelimeen.

Muutama vuosi sitten CPU-transkoodaus vaikutti lähinnä typerältä idealta, mutta nyt AMD näyttää tehneen siitäkin ihan oikean vaihtoehdon.
 
Aika vääntävä prossu, jos Jellyfishia jaksaa noin notkeasti transkoodata.

Kokeilin huvikseni oman settini rajoja. Kuusi streamia sain toimimaan yhtäaikaisesti ilman pätkimistä (lähdetiedosto 4K 60mbps elokuva transkoodattuna 720p 4mbps). Sellainen tympeä rajoite tässä näyttää vielä olevan, että jos käyttää elokuvan PGS-tekstityksiä, niin ne laittavat prossun kyykkyyn jo kahden streamin jälkeen. Jos käyttää SRT-tekstiyksiä tai ei tekstitystä ollenkaan, niin pääsee tuohon kuuteen streamiin. Tuo PGS-tekstityksien käyttö vaatisi enemmän tehoa prossulta, koska niiden polttamiseen Plex käyttää CPU:a. Tulee rajat nopeasti vastaan heti kun tarvitaan prosessorilta vääntöä, kun se sattuu olemaan i3 8100...

Tämä kyllä pistää miettimään, että onko HW transkoodaus oikeastaan järkevää enää. Toimiessaan prossun iGPU:lla tuo mahdollistaa ihan uskomattoman suorituskyvyn raudan hintaan nähden, mutta vaatii aika paljon säätöä/tuuria/ymmärrystä, että tästä saa kaiken irti. Myös tuo tekstitystiedostojen käytön rajoitteellisuus transkoodatessa on keskeinen rajoite ainakin minun mielestäni. Jos vaan Intel ei olisi niin onnettomasti perässä prossupuolella, niin olisi kiva ostaa joku käytetty i7 8700 tai i9 9900 tähän jatkoksi, mutta jotenkin tuntuu että ei tuossa päivityssuunnassa ole oikein järkeä pidemmän päälle. Parin vuoden päästä löytyy varmasti kohtuuhintaan käytettyjä Epyc- ja Threadripper settejä, joilla saa luotettavamman suorituskyvyn (ei kikkailua tekstitystiedostotyyppien kanssa) ja paljon lisää laskentatehoa kauttaaltaan koko palvelimeen.

Muutama vuosi sitten CPU-transkoodaus vaikutti lähinnä typerältä idealta, mutta nyt AMD näyttää tehneen siitäkin ihan oikean vaihtoehdon.
Ai, ei se mielestäni ole ollut enää 10 vuoteen huono vaihtoehto. Edellisellä 11W amd:llä pystyi vääntämään jo yhtä fullhd:ta hyvin (jos pysyi alle 35Mbps, prossu oli julkaistu siis 2010), sitten päviitin (2013)35W inteliin ja sillä pystyi jo useampaa fullhd:ta heittämään lennosta. Tällä nykyisellä 40W prossulla (käytännössä koko koneen virrankulutus on ollut bootti ssd:n kanssa 50W) pystyy hyvin pyörittämään mitä lystää. Nimellisesti AMD EPYC 3251 on 55W prossu. Eli käytännössä 8 coren mobiiliprossu.

Sanoisin että läppärien 15W-35W prossut vuodesta 2015 riittää hyvin transkoodaukseen (ei ainakaan itsellä ole tullut vastaan prossua joka ei transkoodaukseen pystyisi).
 
Ai, ei se mielestäni ole ollut enää 10 vuoteen huono vaihtoehto. Edellisellä 11W amd:llä pystyi vääntämään jo yhtä fullhd:ta hyvin (jos pysyi alle 35Mbps, prossu oli julkaistu siis 2010), sitten päviitin (2013)35W inteliin ja sillä pystyi jo useampaa fullhd:ta heittämään lennosta. Tällä nykyisellä 40W prossulla (käytännössä koko koneen virrankulutus on ollut bootti ssd:n kanssa 50W) pystyy hyvin pyörittämään mitä lystää. Nimellisesti AMD EPYC 3251 on 55W prossu. Eli käytännössä 8 coren mobiiliprossu.

Sanoisin että läppärien 15W-35W prossut vuodesta 2015 riittää hyvin transkoodaukseen (ei ainakaan itsellä ole tullut vastaan prossua joka ei transkoodaukseen pystyisi).

Itse pidän vuonna 2021 rimana "hyvälle vaihtoehdolle" sitä, että 4K HEVC elokuvan transkoodaaminen ei ole ongelma. Ei niitä streameja tarvitse useaa kymmentä saada, mutta muutama streami pitäisi mennä ilman tökkimistä. Nyt kun aletaan olla jo niin vahvasti 4K ajassa, niin minun mielestäni sen kuuluisi olla mittatikkuna. Kuten sanoit 1080p H.264 ei ole ollut ongelma viimeiseen kymmeneen vuoteen ja alkaa minun mielestäni olla vähän turhan kevyt transkoodauskykyjen selvitykseen. Sitä tässä lähinnä hämmästelen miten hyvin tuo pienivirtainen Epyc jaksaa juuri HEVC-tiedostoja.

Huvittavaa kun vieläkin mm. Plexin foorumeilla suositeltu toimintatapa on se, että pidetään 4K ja 1080p kirjastot erillään, koska "4K:ta ei kannata transkoodata, liian raskasta". Koskahan sielläkin heräillään tähän päivään, että tuo onnistuu jo muutaman sukupolven vanhoilla prossuilla Quicksyncin kanssa ja uudemmalla raudalla ihan softa transkoodauksena?
 
Itse pidän vuonna 2021 rimana "hyvälle vaihtoehdolle" sitä, että 4K HEVC elokuvan transkoodaaminen ei ole ongelma. Ei niitä streameja tarvitse useaa kymmentä saada, mutta muutama streami pitäisi mennä ilman tökkimistä. Nyt kun aletaan olla jo niin vahvasti 4K ajassa, niin minun mielestäni sen kuuluisi olla mittatikkuna. Kuten sanoit 1080p H.264 ei ole ollut ongelma viimeiseen kymmeneen vuoteen ja alkaa minun mielestäni olla vähän turhan kevyt transkoodauskykyjen selvitykseen. Sitä tässä lähinnä hämmästelen miten hyvin tuo pienivirtainen Epyc jaksaa juuri HEVC-tiedostoja.

Huvittavaa kun vieläkin mm. Plexin foorumeilla suositeltu toimintatapa on se, että pidetään 4K ja 1080p kirjastot erillään, koska "4K:ta ei kannata transkoodata, liian raskasta". Koskahan sielläkin heräillään tähän päivään, että tuo onnistuu jo muutaman sukupolven vanhoilla prossuilla Quicksyncin kanssa ja uudemmalla raudalla ihan softa transkoodauksena?
No, se on ero faktalla ja mielipiteellä. Ihmiset toistaa kuulemaansa/muistamaansa, ennen kuin testaavat itse tai vaihtoehtoisesti löytävät faktaa tarpeeksi itselle luotetusta lähteestä. Helpoin asia osoittaa asia oikeaksi on testata ja varmentaa se (ja mielellään vielä niin että sen voi joku muukin testata aika helposti).

Ei siinä, olen osoittanut omatkin mielipiteeni ja uskomukseni välillä vääräksi kun alkanut kaivelemaan kättä pidempää tai testannut itse. Kaikki niin välillä tekee ja se on paras tapa yleensä oppia. Sen myöntäminen itselle yleensä on vaikeaa ja muille vielä vaikeampaa :)

Mutta joo, jos 4k 60Mbps transkoodautuu nykimättä, niin pitäs riittää.
 
Ei suositella ajettavaksi usb:ltä. Mutta voit asennuksessa osioida proxmoxille oman osion ja loppu levystä jää muuhun käyttöön.
 
Onko ongelmana siis USB väylä, vai toimiiko USB tikun SSD merkittävästi eri tavalla? Toki trim varmaan puuttuu, mutta ei ton nyt muutenkaan odottaisi kirjottavan levylle paljoakaan...
 
Onko ongelmana siis USB väylä, vai toimiiko USB tikun SSD merkittävästi eri tavalla? Toki trim varmaan puuttuu, mutta ei ton nyt muutenkaan odottaisi kirjottavan levylle paljoakaan...

Proxmoxin oma asiantuntija sanoo, että logien kirjoitus tuhoaa USB-tikun nopeasti:

The main reason is that Proxmox VE writes quite a bit of logs and that will kill your USB flash drive in a short time. Besides that, Proxmox VE will use the flash drive as a normal hard drive and for that, flash drives are in my experience terribly slow.
 
Kun taas tosta Sandiskin USB SSD tikusta sanotaan ettei se merkittävästi poikkea heidän muista SSD levyistä muuten kuin liittimen ja ohjaimen osalta. Mut ehkä toi on juttu johon ei oikein voi saada selvyyttä.
 
Kun taas tosta Sandiskin USB SSD tikusta sanotaan ettei se merkittävästi poikkea heidän muista SSD levyistä muuten kuin liittimen ja ohjaimen osalta. Mut ehkä toi on juttu johon ei oikein voi saada selvyyttä.
Jos on tosiaan kirjoituskestävyys samaa luokkaa, kuin "isoveljillä", niin 240 gb mallissa näyttäisi tbw olevan 80 tb, eli tuossa 128 mallissa oletettavasti pienempi. Mainitsit, että on ylimääräisiä ssd-lättyjä, niin ajaisin ennemmin kahta niistä zfs-poolissa, jolle tuon Proxmoxin asentaa. Jos ei aja mitään kovin tärkeää tai jos on backupit kunnossa (Proxmox Backup Server) ja haluaa harrastella, voihan sitä tuoltakin ajaa. Tikulla sen verran myös ikää, etten tuotannossa tuota ajaisi.
 
Joo, mulla on kyllä ylimääräisiä SSD levyjä, mutta pienimmätkin ovat terasia. Ajatuksena oli laittaa siitä yksi kokonaan VM’ille, ja isompi 4TB levy raakana fileserverin tiedostoille.

Leikin eilen hetken Proxmoxilla ja ensimmäisenä fiiliksenä oli kylläkin että voisin testata miten esxi toimii. Siitä on kokemusta jo yli 10v ajalta...
 
Ryzen-vaihtoehto:
Emoksi Gigabyte B550I AORUS PRO AX, Mini-ITX
Kotelo + poweri
32 gb ECC-rammia
Prossuksi 3600, yht 766 €, Passmark 17888
Vaihtoehtoprossu 3300X, yht 690 €, Passmark 12763
Lisäksi joku halpa näyttis ja 2 nic verkkokortti.

Laitetaas jatkoa. Tähän settiin nyt päädyin, emo on tosin loppu Suomesta. Pitänee odottaa helmikuuhun, tai tilata ulkomailta. Rammin osalta päädyin kahteen 32 gb tikkuun, joista tosin saatan ottaa vain yhden alkuun budjettisyistä...

Koteloksi löytyi kompakti kotelo, jonka saan verkkoräkkiin piiloon (tämä). 4-5 x 3.5" lättyä, 4 x 2.5" levyä ja emoon saa 2 x m.2-levyä vielä kiinni. Alustaksi valitsin Truenassin, oliko siitä täällä kokemusta? Kannattaako "tuhlata" toinen m.2 levy ja ajaa buuttilevyä mirrorina, mieluummin käyttäisin toista levyistä cachena. Käsittääkseni configien palautus pitäisi olla aika sujuvaa, pieni downtime ei maailmaa kaada, jos buuttilevy sattuisi kuolemaan.
 
Laitetaas jatkoa. Tähän settiin nyt päädyin, emo on tosin loppu Suomesta. Pitänee odottaa helmikuuhun, tai tilata ulkomailta. Rammin osalta päädyin kahteen 32 gb tikkuun, joista tosin saatan ottaa vain yhden alkuun budjettisyistä...

Koteloksi löytyi kompakti kotelo, jonka saan verkkoräkkiin piiloon (tämä). 4-5 x 3.5" lättyä, 4 x 2.5" levyä ja emoon saa 2 x m.2-levyä vielä kiinni. Alustaksi valitsin Truenassin, oliko siitä täällä kokemusta? Kannattaako "tuhlata" toinen m.2 levy ja ajaa buuttilevyä mirrorina, mieluummin käyttäisin toista levyistä cachena. Käsittääkseni configien palautus pitäisi olla aika sujuvaa, pieni downtime ei maailmaa kaada, jos buuttilevy sattuisi kuolemaan.


Tässä gigabyte emossa on ainakin tällähetkellä "ominaisuutena" että hävittää bluutuutin melko kokoajan.. Uusimmassa biossissa ei tätä oo vielä saatu korjattu.. Korjaantuu hetkeksi tuulettamalla virtajohtoa pari minuuttia. Joten jos tälle on tarvetta huomioi tämä. Toivottavasti saavat sen kuntoon..
 
Unraid oli hukannut yhden kovon näköjään 6kk käytön jälkeen, kävin ohjauspaneelissa kattomassa niin sieltä se löytyi 'unassigned drives' kohdasta, ööö..... Käskin sen takaisin pakkaan niin alkoi rakentamaan pariteettia uudestaan, katsotaan miten käy. Vähän mietityttää että miten voi vain unohtaa että levy kuuluu pakkaan.
 
Unraid oli hukannut yhden kovon näköjään 6kk käytön jälkeen, kävin ohjauspaneelissa kattomassa niin sieltä se löytyi 'unassigned drives' kohdasta, ööö..... Käskin sen takaisin pakkaan niin alkoi rakentamaan pariteettia uudestaan, katsotaan miten käy. Vähän mietityttää että miten voi vain unohtaa että levy kuuluu pakkaan.
Unraid on huomannut virheen ja potkaissut levyn pois käytöstä. Sama tapahtuu raideilla ja zfs:llä jos on kuluttajalevy ja se vetää siipeensä jonkun crc virheen. Ei välttämättä tarkoita että levy on rikki, sattunut vaan virhe.

Edit: Tässä syy miksei kuluttajalevyjä kannata raideihin yms. laitella. Toinen on sitten että pariteettilevyjä pitäisi olla aina 2, mielellään (8 levyn järjestelmät), 16 levyn järjestelmissä ja alle pärjää 3:lla.

Eli
4 levyä (2 datalevyä, 2 pariteettia)
5 levyä (3 datalevyä, 2 pariteettia)
6 levyä (4 datalevyä, 2 pariteettia)
7 levyä (5 datalevyä, 2 pariteettia)
8 levyä (6 datalevyä, 2 pariteettia)
9 levyä (6 datalevyä, 3 pariteettia)
...
16 levyä (13 datalevyä, 3 pariteettia)
16+ (kaksi mirror poolia joissa molemmissa 2 paritetti levyä)
32+ (kaksi mirror poolia, joissa molemmissa 3 paritetti levyä)

Tässä vaiheessa tulee kotikäyttäjiltä yleensä raja vastaan (ja suurimmalta osalta suomalaisista firmoistakin). Unraidit ja windows serverit putoaa tossa 8-16 levyjärjestelmän jälkeen romukoppaan, koska sitten käytetään vääriä ohjelmia datan säilytykseen, siihen asti IT voi vielä harata vastaan jos on Microsoft only heppuja paljon talossa.
 
Viimeksi muokattu:
Noni, monen mutkan kautta rauta on valmiina.

Tarkotuksena luoda levypalvelimelle virtuaalikone jossa säilötty data on levyllä joka on jaettu raakana vmwaren läpi.

Onko jotain suositusta mikä käyttis olisi hyvä?

- Data jaetaan eteenpäin smb’llä, eli tuo saisi olla mielellään sen verran toimivana että 2,5G verkon saisi saturoitua
- varmuuskopiot joko USB levylle tai verkon yli
- bonusta jos olisi jotain työkalua datan kopiointiin nykyseltä qnapilta, mutta saan tuon tehtyä itse jos ei ole
 
Eiköhän tossa vaiheessa yritykseen osteta ihan oikeita levyjärjestelmiä.
:) Noh, sanotaan näin että se palvelu mitä myydään yrityksille sisältää ne ihan samat osat kuin mitä listasin tuossa (se SLA on 2/3 vain hinnasta vrt. mitä rakaa osa-sarja + ohjelmisto). Se idea on ihan sama ostit Ibarilta tai tier1 toimittajalta levyjärjestelmät. Samat mokat siellä tehdään tai sitten olet jumissa jossain todella eksoottisessa vendor-lock palvelussa joka ei tarjoa mitään muuta kuin CTO:lle uskomuksen siitä että kun räkä lentää tuulettimeen, niin sitten saa parempaa tukea kuin oman talon sisältä. Riippuu toki talosta, kaikkihan on nykyään ulkoistettu...
 
Viimeksi muokattu:
No on niissä kaupallisissakin levyjärjestelmissä eroja, sekä suorituskyvyssä, hinnassa että toiminnallisuuksissa. En nyt vähään aikaan ole henkilökohtaisesti ollut tekemisissä, mutta vielä 10v sitten kun olin vastuussa levyjärjestelmistä oli vaikkapa Netapp'in, EMC'n ja EVA'n välillä todella paljon eroa.
 
Hm... tämä onkin ikuisuus kysymys. Mikä on NAS ja mikä on levyjärjestelmä?
Varmasti onkin ikuisuuskysymys. Sillä tuota läksinkin kysymään, kun nyky NAS:it taipuu aika moneen. Onhan noita eism. sertifioitu virtuaalialustoille storageksi. NAS:ien kanssa kyllä on tullut pelattua, mutta ei oikeiden levyjärjestelmien kanssa, niin sen takia en ehkä täysin ymmärräkkään tätä puolta.
 
Onhan NAS levyjärjestelmä, ainakin mulle tuo kuullostaa hyvin geneeriseltä.

SAN järjestelmissä on isoja eroja valmistajien välillä. Osa on blokki-tasolla toimivia, hyvin spesifiseen käyttöön tulevia (esim pääosin valokuidulla kytkettynä), osa taas hyvin samantyyppisiä kuin NAS’si, mutta järeämpiä.

Oletuksena tommosessa SAN’issa on yleensä että suorituskyky on parempi kuin perinteisillä levyillä, ja myös vikasietoisuus voi olla ihan eri tasolla.

Mutta vaikka näennäisesti kyseessä voikin olla samannäköinen kokoonpano kuin itse kasattu niin käytännössä yleensä hyvin eritapainen. Henkilökohtaisesti kannatan ongelmien ratkaisua aivoilla eikä vain rahalla, ja ymmärrän että molemmille on paikkansa. On kuitenkin turha väittää että kyse on vain samasta asiasta. Jos 300 hengen toimistolle tarvitaan levypalvelin niin itse kasattu on ihan ok. Jos pitää ajaa tuotannossa tuhansia virtuaalisia palvelimia 99.999% saatavuudella niin ihan varmasti otan mielummin oikean levyjärjestelmän.
 
niin itse kasattu on ihan ok

Siinä on se ongelma että sinä tuskin dokumentoit sitä mihinkään ja sitten kun jäät auton alle niin seuraajalla ei ole mitään hajua siitä mitä olet tehnyt, koska kaikki valmispurkit ovat samanlaisia niin sellaisen ylläpito onnistuu paremmin muiltakin kuin rakentajalta.
 
Eiköhän kaiken voi tehdä hyvin tai huonosti. Dokumentointi on vaikeata, jos se on olemassa niin yleensä vanhentunutta. Olen nähnyt tapauksia joissa dokumentointi on hyvää ja ajan tasalla, sekä tapauksia jossa asiat on tehty yhteneväisesti ettei sille ole ollut tarvetta, ja sitten kaikkea sillä välillä.

Hyvä puoli siinä että on ollut monipuolisesti eri IT rooleissa yli 20v ajan on, että on ehtinyt tehdä monia virheitä ja myös oppia niistä. On esim. tosi opettavaista olla saman organisaation sisällä ensin vastuussa monista kokonaisuuksista, ja sitten siirtyä turvallisuuspuolelle jossa tehtävänä löytää puutteita niistä.

Osaavalle linux ylläpitäjälle ei ole mitenkään maailmanloppu ottaa harteilleen jonkun muun pystyttämä levypalvelin jos se on vain alun perin tehty hyvin ja yksinkertaisesti. Toki kaupallisessa ratkaisussa on myös puolensa.
 
Olen joskus päättänyt rajaksi, että levyjärjestelmä tarjoaa blokkitason levyä (iscsi, fc) ja NAS tarjoaa sitten verkkojakoja oman tiedostojärjestelmänsä päältä NFS, SMB jne. Osassa vehkeistä on toki molemmat.
 
Tuossa oma Unraid ITX-nassikka, speksit allekirjoituksessa. Jos joku ihmettelee miksi ihmeessä Intel: Quicksync + Plex.
Muisti saattaa vielä lisääntyä 64 gigaan ja 256GB NVMe cache pitäisi vaihtaa teran tikkuun. Ja paskaruskea Noctua järveen.

2021-01-16 21.08.42.jpg 2021-01-16 21.00.49.jpg 2021-01-16 21.06.17.jpg
 
Onhan NAS levyjärjestelmä, ainakin mulle tuo kuullostaa hyvin geneeriseltä.

SAN järjestelmissä on isoja eroja valmistajien välillä. Osa on blokki-tasolla toimivia, hyvin spesifiseen käyttöön tulevia (esim pääosin valokuidulla kytkettynä), osa taas hyvin samantyyppisiä kuin NAS’si, mutta järeämpiä.

Oletuksena tommosessa SAN’issa on yleensä että suorituskyky on parempi kuin perinteisillä levyillä, ja myös vikasietoisuus voi olla ihan eri tasolla.

Mutta vaikka näennäisesti kyseessä voikin olla samannäköinen kokoonpano kuin itse kasattu niin käytännössä yleensä hyvin eritapainen. Henkilökohtaisesti kannatan ongelmien ratkaisua aivoilla eikä vain rahalla, ja ymmärrän että molemmille on paikkansa. On kuitenkin turha väittää että kyse on vain samasta asiasta. Jos 300 hengen toimistolle tarvitaan levypalvelin niin itse kasattu on ihan ok. Jos pitää ajaa tuotannossa tuhansia virtuaalisia palvelimia 99.999% saatavuudella niin ihan varmasti otan mielummin oikean levyjärjestelmän.

Itse kasattu on van sen ylläpitäjän mielestä ok. Monesti sen kasaamiseen käytetty palkat sivukuluineen menee kuitenkin yleensä kalliimmaksi kuin valmispaketti, joten jos taloushallinnosta kysyy niin vastaus on eri. Monesti myös ongelman ratkaisu aivoilla tai rahalla on sama asia, silloin se raha vaan menee eri paikkaan.
 
Itse kasattu on van sen ylläpitäjän mielestä ok. Monesti sen kasaamiseen käytetty palkat sivukuluineen menee kuitenkin yleensä kalliimmaksi kuin valmispaketti, joten jos taloushallinnosta kysyy niin vastaus on eri. Monesti myös ongelman ratkaisu aivoilla tai rahalla on sama asia, silloin se raha vaan menee eri paikkaan.

Ilmaisen ton "ongelmat ratkaistaan rahalla" noin, koska olin vuosituhannen alussa töissä isolla operaattorilla jossa ongelmat oikeasti ratkaistiin puhtaasti rahalla. Monitorointiin ei esim. voitu käyttää Nagiosta, vaan erittäin kallista kaupallista ratkaisua. Muistan edelleen kun meidän tiimin 500 Unix palvelimen rinnalle tuli eka Linux (Redhat) jota kaikki piti ihan leluna, ja sen laittamista tuotantoon vastustettiin.

Eli samaan aikaan kun henkilöstön määrää kiristeltiin, budjetit tuotannossa olivat aivan valtavia (jopa tuhlailevia). Tiedän, että jo muutama vuosi mun lähdön jälkeen sielläkin asenteet muuttuivat aika paljon.

Tuon operaattorin jälkeen jokainen työpaikka jossa olen ollut on mahdollistanut open source ratkaisun käyttöä, tai kaupallista ratkaisua. Fiksut ihmiset yleensä sitten tietävät kumpi ratkaisu on parempi, ainakin jos ovat joskus oppineet kantapään kautta.

Ja itse aiheeseen, muistan että n. 15 vuotta sitten olin töissä firmassa jossa kaikki palvelimet oli jotain "no name" 2-U koneita. Yleisesti ne toimivat ihan hyvin, mutta levy-IO'n kanssa oli ongelmia. Kun sitten puuhasimme muutamalle sadalle ihmiselle levypalvelinta kului useita kuukausia (ja levyohjaimia) kunnes vihdoin testattiin vaan HP'n vastaavaa konetta ja kaikki ongelmat hävisivät. Tämä siis oli edelleen itse tehty, mutta rauta kunnollista (ja ylläolevan viestin mukaisesti työaika maksoi varmasti enemmän kuin mitä raudassa oltiin ikinä säästetty).
 
Joo, joskus noi liikemaailman ratkaisut näyttää omiin silmiin oudolta, mutta on se aina jonkun mielestä paras ratkaisu, yleensä sen päättäjän. Parhaiten niistä aina selviää kun vaan ei välitä kunhan tekee vain oman työnsä hyvin. Muuten saa stressata aivan liikaa.
 
Hyviä vinkkejä! Tämä projekti ei ole ihan päivistä kiinni, niin voisihan tuota J5040-malliakin hetken odottaa. Vaikuttaisi ainakin jossain päin Eurooppaa olevan jo myynnissä. Näköjään noissa kaikissa uudemmissa tuo max RAM 8 GB, mutta sillä varmaan tosiaan pärjätään.

Tähän piti vastata kun oma Asrock J5040-ITX saapui (ulkomailta) ja käy ja kukkuu. 8GB max. RAM ei pidä paikkaansa vaikka jopa itse Intel näin väittää. Itsellä käytössä 16GB ja olisi tarkoitus pistää toiset 16GB. Muistien valinnan kanssa on vain tarkkaa eli Asrockin QVL käteen.

Muuten on kyllä loistopeli. Itsellä koneessa kiinni 3xSSD ja BluRay soitin, virtalähteenä PicoPsu 80W ja MeanWellin 80W virtalähde ja mittarin mukaan vie idlenä 7W ja työpöytäkäytössä 10-25W. Voi nimittäin olla, että käytän NAS/HTPC käytön lisäksi myös työkäytössä, kun toimii suorastaan hämmentävän sähäkästi Linux ja LxQt.

Edit: For the record, jos joku muu on rakentamassa samanlaista setuppia, niin muistikammat jotka ainakin toimii, laitoin joku aika sitten toisen ja toimii ongelmitta: Crucial CT16G4SFD824A.C16F

1613205608741.png
 
Viimeksi muokattu:
Yllättävän hyvin toiminut tuo viimevuonna rakentamani UNRAID tolla ASRock J4105-ITX emolevyllä jossa integroitu 2 core celeroni.

8GB ram
6kpl 4TB IronWolf joista 2 levyä toimii parity levyinä.
Lisäksi tuossa pyörii Windows 10 VM jossa TeamViewer etäkäyttöä varten sekä Plex serveri elokuvien striimaamista varten eikä ole ollut suorituskykyongelmia vaikka ei tuossa potkua löydy nimeksikään.

Seuraava parannus voisi olla esim 1TB Cache asema, eikö tällä saisi siirtonopeuksiin lisää vauhtia?
 
Yllättävän hyvin toiminut tuo viimevuonna rakentamani UNRAID tolla ASRock J4105-ITX emolevyllä jossa integroitu 2 core celeroni.
Seuraava parannus voisi olla esim 1TB Cache asema, eikö tällä saisi siirtonopeuksiin lisää vauhtia?

Riippuu ihan minkälainen verkko sulla on. Cachea voi esim. käyttää kun tuuppaa serverille tavaraa ja scheduloituna se siirtää puskurista oikeisiin levyihin tavarat. Jos on 1Gbps:n sisäverkko, eikä hirveästi käyttäjiä niin ei suunnatonta parannusta ole (riippuu tietty myös niistä kohdelevyistä). Mutta jos sattuu olemaan 10G:n verkko alla niin silloin tavaraa puskuriin siirtyy ihan mukavaa vauhtia ja serveri hoitelee loppusijoituksen sopivana ajankohtana.
 
Mulla on 1G eetterillä ollut siirtonopeudet noin 45MBps, eikö tuo jää ikäänkuin "puoleen" tuosta gigasta?
 
Mulla on 1G eetterillä ollut siirtonopeudet noin 45MBps, eikö tuo jää ikäänkuin "puoleen" tuosta gigasta?

Suunnilleen.
Oma J4205-ITX (16G ram, 2kpl peilit 2T wd red + käyttis ssd, debian) pääsee parhaimmillaan vähän reiluun 100M 1G verkossa (windowsin mukaan). Nopeus on samaa luokkaa jonka saa paikallisesti noilla levyillä tuolla koneella.
 
Suunnilleen.
Oma J4205-ITX (16G ram, 2kpl peilit 2T wd red + käyttis ssd, debian) pääsee parhaimmillaan vähän reiluun 100M 1G verkossa (windowsin mukaan). Nopeus on samaa luokkaa jonka saa paikallisesti noilla levyillä tuolla koneella.
Tuli nyt vähän tutkittua tuota ja löysin tuollaisen asetuksen kuin 'md_write_method = reconstruct write' joka nopeutti siirtonopeutta 45 -> 70+ ja nyt osa nassin coreista on 100% load siirron aikana, tuskin tulisi mitään hyötyä cache levystä vaan pullonkaula on jossain muualla.
 
Tuli nyt vähän tutkittua tuota ja löysin tuollaisen asetuksen kuin 'md_write_method = reconstruct write' joka nopeutti siirtonopeutta 45 -> 70+ ja nyt osa nassin coreista on 100% load siirron aikana, tuskin tulisi mitään hyötyä cache levystä vaan pullonkaula on jossain muualla.

Aika jännä... muistaakseni cpu- kuorma siirton aikana on pieni. Jos muistan niin äkkiähän tuon testaisi illalla
 
Aika jännä... muistaakseni cpu- kuorma siirton aikana on pieni. Jos muistan niin äkkiähän tuon testaisi illalla
Unraid on tehosyöppö ja hidas. Ei siinä muuta ole.

Tuolla raudalla pitäisi päästää heittämällä 112MB/s nopeuteen joka on käytännön maksimi 1G verkolle. Tuolle emolle ja soc:lle ei pitäisi cpu loadin vielä juuri yli 20% mennä jos linux/bsd käytössä. Toki Unraid tekee varmaan siellä välissä kaikkea, joka vie tehoja pois.
 
En tiedä Unraidista mitään, mutta oma Asrock J5040-ITX (marginaalisesti nopeampi prossu) + SSD pystyy kyllä toimittamaan dataa oman 2.5 Gbit/s verkon täydeltä (noin 290 MB/s) ja vielä purkamaan lennossa AES-512 kryptauksenkin, eikä CPU ole lähellekään tapissa. En tiedä paljonko RAID:sta pitäisi tulla overheadia, mutta kuulostaa todella nuhaiselta...
 
Unraidissa ollaan paritylevyn kirjoitusnopeuden armolla ilman cachea, koska kaikki data pukataan pariteettilevyyn + varsinaiseen kirjoitettavaan levyyn samalla hetkellä.
Ennen kuin päivitin näihin 4TB Red levyihin nopeudet oli 70-80MB/s luokkaa 10 vuotta vanhoilla levyillä, nyt mennään 120MB/s paikkeilla. Lisäksi tein kaikki jakokansioiden split levelit kunnolla, ettei data pirstaloidu moneen levyyn turhaan.
 
Unraidissa ollaan paritylevyn kirjoitusnopeuden armolla ilman cachea, koska kaikki data pukataan pariteettilevyyn + varsinaiseen kirjoitettavaan levyyn samalla hetkellä.
Ennen kuin päivitin näihin 4TB Red levyihin nopeudet oli 70-80MB/s luokkaa 10 vuotta vanhoilla levyillä, nyt mennään 120MB/s paikkeilla. Lisäksi tein kaikki jakokansioiden split levelit kunnolla, ettei data pirstaloidu moneen levyyn turhaan.

Onko joku syy miksi et ole Unraid:iin laittanut cache levyä?
Itse käytän 2kpl 500GB SSD levyä edessä cachena jotka siis peilaavat toisiaan.
Datan siirto siis menee ensin tuonne cacheen ja sitten toinen jobi (mover, jonka saa itse määritellä kuinka agressiivinen tuo on) siirtää tiedostot omalla ajallaan levyille + laskee pariteetin.

1613597763550.png
 
Onko joku syy miksi et ole Unraid:iin laittanut cache levyä?
Itse käytän 2kpl 500GB SSD levyä edessä cachena jotka siis peilaavat toisiaan.
Datan siirto siis menee ensin tuonne cacheen ja sitten toinen jobi (mover, jonka saa itse määritellä kuinka agressiivinen tuo on) siirtää tiedostot omalla ajallaan levyille + laskee pariteetin.
On tuossa NVMe cache kiinni, en vain käytä sitä varsinaisesti cachena. Jos käyttäisin tuota SSD:tä aktiivisimpiin jakoihin cachena, sen kirjoituskerrat olisi aikalailla kulutettu muutamassa vuodessa loppuun.
Omat Premiere-projektit ja Plexin mediat liikkuu ihan riittävän nopeasti perus kovalevyille, jolloin NVMe hoitaa ainoastaan VM domainien, ISOjen, Dockerin ja sysdatan virkaa, eikä SSD:n elinikää tule suotta kulutettua loppuun.
 
Selkee homma.

Itsellä on 2 * 10GB verkkokortti kiinni niin Unraidissa tulee levyjen kirjoitusnopeus vastaan nopeasti ilman tuota cachea. En ollut huolissani tuosta kulumisesta levyjä kun saa hyllystä eikä vuosien jälkeen olla lähelläkään.
Toisin kuin Freenas/Truenas puolella jossa levyt on "raid"-tyyppisesti tiedostot kirjoitetaan yksi tiedosto monelle levylle samanaikaisesti.
Unraid kirjoittaa yhden tiedoston aina kokonaisena per levy + pariteetti niin isoissa tiedostoissa tulee levyjen nopeus vastaan nopeasti.

Suosittelen tuota cachea varskin jos on >1GB verkko :) Sama cache levy toimii samanaikaisesti myös VM koneiden ja docker konttien pyörityksessä eikä tuosta cachena käyttämisestä ole haittaa niille.
 
Voi olla, että tulee otettua cachea enemmän käyttöön, jos tulee siirryttyä 10GB verkkoon, 1GB verkolla mennään vielä hyvin pyörivien levyjen rajoissa. vSAN/NFS/iSCSI hommissa tuo olisi jo melko ehdoton.
 
Jatketaan tarinaa. Uudet levyt matkalla ja kohta pääsee toteuttamaan.

Aloin pohtimaan vähän omia tilatarpeita ja vanhojen levyjen ikää ja käänsin kelkan tuohon peilattuun kokoonpanoon. Menen siis aiemmasta 2x2 mirrorista 2x4 mirroriin. Olemassaolevan datan vuoksi prosessi pitää tehdä jotakuinkin seuraavasti:
- Uudet levyt koneeseen ja luodaan niistä väliaikainen pool
- Siirretään vanhasta 2x2 poolista data uuteen väliaikaiseen
- Tuhotaan vanha pool
- Exportataan uusi pool ja importataan takaisin vanhan nimellä
- Lisätään vanhan poolin levyt uudeksi mirroriksi samaan pooliin

Tuossa ongelmana on oikeastaan se, että nyt poolit menisivät tyyliin uudet levyt ja vanhat levyt. Vanhoilla on "ikää" 10000h eivätkä anna erroreita. Silti mietin, että olisi varmaan järkevämpää korvata tuossa vanhassa poolissa pari vanhaa levyä uusilla, jotta kummassakin lopullisessa poolissa olisi kaksi uutta ja kaksi vanhaa levyä.

Kysymyksiä on siis muutama:
- Mikä olisi "best practice" tuossa datan heittämisessä väliaikaiseen paikkaan, jotta saan muodostettua kaksi 4 levyn mirroria? Onko tähän jotain kikkaa, jolla prosessi helpottuisi? (Olen jotain tietoa löytänyt zfs send/receive komentojen käytöstä, jolla snapshottien avulla saadaan dataa siirrettyä)
- Onko levyjä tarpeen sekoittaa, jotta kummassakin mirrorissa on uutta ja vanhaa levyä? Jos on, niin tuleeko tästä jotain oleellisia muutoksia prosessiin?
(- Onko tässä yhteydessä järkeä pyrkiä balansoimaan dataa tasaisesti mirroreiden välillä, kun se kerran kirjoitetaan uudestaan joka tapauksessa? Jos on, niin miten se kannattaisi tehdä?)

En tarvitse valmiita vastauksia kaikkeen, olen koittanut jotain vastaavaa projektia etsiä luettavaksi, mutta en ole vielä löytänyt. Sellainen kelpaa tukimateriaaliksi loistavasti.

Lisään viestini tänne, kun taisin väärässä ketjussa asiasta kysellä. Olisiko kommentteja tähän?
 
Eikös tuo ZFS replication toimisi poolin siirtämisessä. Esim jollekkin isolle yksittäiselle levylle?
 
Eikös tuo ZFS replication toimisi poolin siirtämisessä. Esim jollekkin isolle yksittäiselle levylle?

Levyt 8Tb ja dataa ~10Tb. Pitäisi kirjoitella kahdelle levylle, lienee aika se ja sama kirjoitteleeko väliaikaisesti parille levylle vai rakentaako niistä poolin, johon rakentaa. Tuohon zfs replicateen olen kallistumassa.

Mutta eipä tässä muu kai auta kuin heitellä dataa edes takaisin. Datan tasapainottaminen mirroreiden/vdevien kesken on lukemani perusteella aika turha operaatio, jos aivan ne viimeisetkin prosentit suorituskyvystä eivät ole ehdottoman tarpeellisia. Taidan tehdä kuitenkin sen, että kumpaankin pooliin tulee kaksi uutta ja kaksi vanhaa levyä.

Sivuhuomiona, että WD My Book 8Tb ulkoisista koteloista löytyi tällä kertaa WD80EDAZ levy.
 

Statistiikka

Viestiketjuista
258 384
Viestejä
4 493 606
Jäsenet
74 123
Uusin jäsen
Eezy

Hinta.fi

Back
Ylös Bottom