Itsellä oli xeoni pitkään ykkösvalinta lähinä sen takia että saisi 10Gbps nicin emolta suoraan, mutta kotikäytössä 4 x 1gbs linkit riittää (4Gbps agerointiin ihan passelisti 10Gbps switchillä). AMD:n valitsin tosta postauksesta lukemalla, mutta se oli n. 2 x tehokkaampi mitä intelillä oli tarjolla, niin ei ollut järin vaikea valinta + vie vähemmän virtaa.
-
Hyvää joulua!
Osallistu io-techin piparikakkutalokilpailuun 2024 Linkki osallistumisketjuun >>>
SER-huutokaupat hyväntekeväisyyteen käynnissä! Linkki huutokauppaan >>>
NAS rakentelut
- Keskustelun aloittaja dun
- Aloitettu
Koevideon otin täältä: Jellyfish Bitrate Test Files
Eipä näytä transkoodaus hirveästi imevän tehoa (videon alussa taitaa bulkkina transkoodata, koska coret hyppää hetkellisesti 100%)...
jellyfish-100-mbps-hd-h264.mkv => 720p@2Mbps
jellyfish-250-mbps-4k-uhd-h264.mkv => 720p@2Mbps (coret 100% userspace rasituksessa n. 8-10s, muuten idle). Mitkään käynnissä olevat palvelut ei häiriinny ja video ei nyi missään vaiheessa.
Rasitus (kestää 8-10s alussa):
jellyfish-400-mbps-4k-uhd-hevc-10bit.mkv => 720p@2Mbps (coret 100% userspace rasituksessa ensimmäiset 20s, alussa nykii ennen kuin transkoodaus tasaantuu n. 10s kohdalla. Sitten 20s kohdalla coren rasitus putoaa, kun koko video on pituudeltaan transkoodattu.
Aika vääntävä prossu, jos Jellyfishia jaksaa noin notkeasti transkoodata.
Kokeilin huvikseni oman settini rajoja. Kuusi streamia sain toimimaan yhtäaikaisesti ilman pätkimistä (lähdetiedosto 4K 60mbps elokuva transkoodattuna 720p 4mbps). Sellainen tympeä rajoite tässä näyttää vielä olevan, että jos käyttää elokuvan PGS-tekstityksiä, niin ne laittavat prossun kyykkyyn jo kahden streamin jälkeen. Jos käyttää SRT-tekstiyksiä tai ei tekstitystä ollenkaan, niin pääsee tuohon kuuteen streamiin. Tuo PGS-tekstityksien käyttö vaatisi enemmän tehoa prossulta, koska niiden polttamiseen Plex käyttää CPU:a. Tulee rajat nopeasti vastaan heti kun tarvitaan prosessorilta vääntöä, kun se sattuu olemaan i3 8100...
Tämä kyllä pistää miettimään, että onko HW transkoodaus oikeastaan järkevää enää. Toimiessaan prossun iGPU:lla tuo mahdollistaa ihan uskomattoman suorituskyvyn raudan hintaan nähden, mutta vaatii aika paljon säätöä/tuuria/ymmärrystä, että tästä saa kaiken irti. Myös tuo tekstitystiedostojen käytön rajoitteellisuus transkoodatessa on keskeinen rajoite ainakin minun mielestäni. Jos vaan Intel ei olisi niin onnettomasti perässä prossupuolella, niin olisi kiva ostaa joku käytetty i7 8700 tai i9 9900 tähän jatkoksi, mutta jotenkin tuntuu että ei tuossa päivityssuunnassa ole oikein järkeä pidemmän päälle. Parin vuoden päästä löytyy varmasti kohtuuhintaan käytettyjä Epyc- ja Threadripper settejä, joilla saa luotettavamman suorituskyvyn (ei kikkailua tekstitystiedostotyyppien kanssa) ja paljon lisää laskentatehoa kauttaaltaan koko palvelimeen.
Muutama vuosi sitten CPU-transkoodaus vaikutti lähinnä typerältä idealta, mutta nyt AMD näyttää tehneen siitäkin ihan oikean vaihtoehdon.
Ai, ei se mielestäni ole ollut enää 10 vuoteen huono vaihtoehto. Edellisellä 11W amd:llä pystyi vääntämään jo yhtä fullhd:ta hyvin (jos pysyi alle 35Mbps, prossu oli julkaistu siis 2010), sitten päviitin (2013)35W inteliin ja sillä pystyi jo useampaa fullhd:ta heittämään lennosta. Tällä nykyisellä 40W prossulla (käytännössä koko koneen virrankulutus on ollut bootti ssd:n kanssa 50W) pystyy hyvin pyörittämään mitä lystää. Nimellisesti AMD EPYC 3251 on 55W prossu. Eli käytännössä 8 coren mobiiliprossu.
Sanoisin että läppärien 15W-35W prossut vuodesta 2015 riittää hyvin transkoodaukseen (ei ainakaan itsellä ole tullut vastaan prossua joka ei transkoodaukseen pystyisi).
Itse pidän vuonna 2021 rimana "hyvälle vaihtoehdolle" sitä, että 4K HEVC elokuvan transkoodaaminen ei ole ongelma. Ei niitä streameja tarvitse useaa kymmentä saada, mutta muutama streami pitäisi mennä ilman tökkimistä. Nyt kun aletaan olla jo niin vahvasti 4K ajassa, niin minun mielestäni sen kuuluisi olla mittatikkuna. Kuten sanoit 1080p H.264 ei ole ollut ongelma viimeiseen kymmeneen vuoteen ja alkaa minun mielestäni olla vähän turhan kevyt transkoodauskykyjen selvitykseen. Sitä tässä lähinnä hämmästelen miten hyvin tuo pienivirtainen Epyc jaksaa juuri HEVC-tiedostoja.
Huvittavaa kun vieläkin mm. Plexin foorumeilla suositeltu toimintatapa on se, että pidetään 4K ja 1080p kirjastot erillään, koska "4K:ta ei kannata transkoodata, liian raskasta". Koskahan sielläkin heräillään tähän päivään, että tuo onnistuu jo muutaman sukupolven vanhoilla prossuilla Quicksyncin kanssa ja uudemmalla raudalla ihan softa transkoodauksena?
No, se on ero faktalla ja mielipiteellä. Ihmiset toistaa kuulemaansa/muistamaansa, ennen kuin testaavat itse tai vaihtoehtoisesti löytävät faktaa tarpeeksi itselle luotetusta lähteestä. Helpoin asia osoittaa asia oikeaksi on testata ja varmentaa se (ja mielellään vielä niin että sen voi joku muukin testata aika helposti).
Ei siinä, olen osoittanut omatkin mielipiteeni ja uskomukseni välillä vääräksi kun alkanut kaivelemaan kättä pidempää tai testannut itse. Kaikki niin välillä tekee ja se on paras tapa yleensä oppia. Sen myöntäminen itselle yleensä on vaikeaa ja muille vielä vaikeampaa
Mutta joo, jos 4k 60Mbps transkoodautuu nykimättä, niin pitäs riittää.
Kellään Proxmoxista kokemusta? Koneessa on läjä isompia SSD levyjä, ja sitten pöytälaatikossa 128GB USB 3.1 SSD tikku (Sandisk) https://www.amazon.de/-/en/SanDisk-...words=sandisk+extreme&sprefix=sandisk+&sr=8-7
Meniskö käyttis tuolla tikulla?
Meniskö käyttis tuolla tikulla?
- Liittynyt
- 20.10.2016
- Viestejä
- 679
Proxmoxin oma asiantuntija sanoo, että logien kirjoitus tuhoaa USB-tikun nopeasti:
Running proxmox from a USB drive? - SOLVED
Hello i was curious if it would be okay to run proxmox from a USB drive? The reason why I'm asking is because i have a server that only has two sata ports and it is very small form factor case. I need to run the two sata drives in raid one for backup. But i don't have a main boot drive. So i was...
forum.proxmox.com
The main reason is that Proxmox VE writes quite a bit of logs and that will kill your USB flash drive in a short time. Besides that, Proxmox VE will use the flash drive as a normal hard drive and for that, flash drives are in my experience terribly slow.
Jos on tosiaan kirjoituskestävyys samaa luokkaa, kuin "isoveljillä", niin 240 gb mallissa näyttäisi tbw olevan 80 tb, eli tuossa 128 mallissa oletettavasti pienempi. Mainitsit, että on ylimääräisiä ssd-lättyjä, niin ajaisin ennemmin kahta niistä zfs-poolissa, jolle tuon Proxmoxin asentaa. Jos ei aja mitään kovin tärkeää tai jos on backupit kunnossa (Proxmox Backup Server) ja haluaa harrastella, voihan sitä tuoltakin ajaa. Tikulla sen verran myös ikää, etten tuotannossa tuota ajaisi.
Joo, mulla on kyllä ylimääräisiä SSD levyjä, mutta pienimmätkin ovat terasia. Ajatuksena oli laittaa siitä yksi kokonaan VM’ille, ja isompi 4TB levy raakana fileserverin tiedostoille.
Leikin eilen hetken Proxmoxilla ja ensimmäisenä fiiliksenä oli kylläkin että voisin testata miten esxi toimii. Siitä on kokemusta jo yli 10v ajalta...
Leikin eilen hetken Proxmoxilla ja ensimmäisenä fiiliksenä oli kylläkin että voisin testata miten esxi toimii. Siitä on kokemusta jo yli 10v ajalta...
Laitetaas jatkoa. Tähän settiin nyt päädyin, emo on tosin loppu Suomesta. Pitänee odottaa helmikuuhun, tai tilata ulkomailta. Rammin osalta päädyin kahteen 32 gb tikkuun, joista tosin saatan ottaa vain yhden alkuun budjettisyistä...
Koteloksi löytyi kompakti kotelo, jonka saan verkkoräkkiin piiloon (tämä). 4-5 x 3.5" lättyä, 4 x 2.5" levyä ja emoon saa 2 x m.2-levyä vielä kiinni. Alustaksi valitsin Truenassin, oliko siitä täällä kokemusta? Kannattaako "tuhlata" toinen m.2 levy ja ajaa buuttilevyä mirrorina, mieluummin käyttäisin toista levyistä cachena. Käsittääkseni configien palautus pitäisi olla aika sujuvaa, pieni downtime ei maailmaa kaada, jos buuttilevy sattuisi kuolemaan.
Tässä gigabyte emossa on ainakin tällähetkellä "ominaisuutena" että hävittää bluutuutin melko kokoajan.. Uusimmassa biossissa ei tätä oo vielä saatu korjattu.. Korjaantuu hetkeksi tuulettamalla virtajohtoa pari minuuttia. Joten jos tälle on tarvetta huomioi tämä. Toivottavasti saavat sen kuntoon..
Unraid oli hukannut yhden kovon näköjään 6kk käytön jälkeen, kävin ohjauspaneelissa kattomassa niin sieltä se löytyi 'unassigned drives' kohdasta, ööö..... Käskin sen takaisin pakkaan niin alkoi rakentamaan pariteettia uudestaan, katsotaan miten käy. Vähän mietityttää että miten voi vain unohtaa että levy kuuluu pakkaan.
Unraid on huomannut virheen ja potkaissut levyn pois käytöstä. Sama tapahtuu raideilla ja zfs:llä jos on kuluttajalevy ja se vetää siipeensä jonkun crc virheen. Ei välttämättä tarkoita että levy on rikki, sattunut vaan virhe.
Edit: Tässä syy miksei kuluttajalevyjä kannata raideihin yms. laitella. Toinen on sitten että pariteettilevyjä pitäisi olla aina 2, mielellään (8 levyn järjestelmät), 16 levyn järjestelmissä ja alle pärjää 3:lla.
Eli
4 levyä (2 datalevyä, 2 pariteettia)
5 levyä (3 datalevyä, 2 pariteettia)
6 levyä (4 datalevyä, 2 pariteettia)
7 levyä (5 datalevyä, 2 pariteettia)
8 levyä (6 datalevyä, 2 pariteettia)
9 levyä (6 datalevyä, 3 pariteettia)
...
16 levyä (13 datalevyä, 3 pariteettia)
16+ (kaksi mirror poolia joissa molemmissa 2 paritetti levyä)
32+ (kaksi mirror poolia, joissa molemmissa 3 paritetti levyä)
Tässä vaiheessa tulee kotikäyttäjiltä yleensä raja vastaan (ja suurimmalta osalta suomalaisista firmoistakin). Unraidit ja windows serverit putoaa tossa 8-16 levyjärjestelmän jälkeen romukoppaan, koska sitten käytetään vääriä ohjelmia datan säilytykseen, siihen asti IT voi vielä harata vastaan jos on Microsoft only heppuja paljon talossa.
Viimeksi muokattu:
Noni, monen mutkan kautta rauta on valmiina.
Tarkotuksena luoda levypalvelimelle virtuaalikone jossa säilötty data on levyllä joka on jaettu raakana vmwaren läpi.
Onko jotain suositusta mikä käyttis olisi hyvä?
- Data jaetaan eteenpäin smb’llä, eli tuo saisi olla mielellään sen verran toimivana että 2,5G verkon saisi saturoitua
- varmuuskopiot joko USB levylle tai verkon yli
- bonusta jos olisi jotain työkalua datan kopiointiin nykyseltä qnapilta, mutta saan tuon tehtyä itse jos ei ole
Tarkotuksena luoda levypalvelimelle virtuaalikone jossa säilötty data on levyllä joka on jaettu raakana vmwaren läpi.
Onko jotain suositusta mikä käyttis olisi hyvä?
- Data jaetaan eteenpäin smb’llä, eli tuo saisi olla mielellään sen verran toimivana että 2,5G verkon saisi saturoitua
- varmuuskopiot joko USB levylle tai verkon yli
- bonusta jos olisi jotain työkalua datan kopiointiin nykyseltä qnapilta, mutta saan tuon tehtyä itse jos ei ole
Noh, sanotaan näin että se palvelu mitä myydään yrityksille sisältää ne ihan samat osat kuin mitä listasin tuossa (se SLA on 2/3 vain hinnasta vrt. mitä rakaa osa-sarja + ohjelmisto). Se idea on ihan sama ostit Ibarilta tai tier1 toimittajalta levyjärjestelmät. Samat mokat siellä tehdään tai sitten olet jumissa jossain todella eksoottisessa vendor-lock palvelussa joka ei tarjoa mitään muuta kuin CTO:lle uskomuksen siitä että kun räkä lentää tuulettimeen, niin sitten saa parempaa tukea kuin oman talon sisältä. Riippuu toki talosta, kaikkihan on nykyään ulkoistettu...
Viimeksi muokattu:
No on niissä kaupallisissakin levyjärjestelmissä eroja, sekä suorituskyvyssä, hinnassa että toiminnallisuuksissa. En nyt vähään aikaan ole henkilökohtaisesti ollut tekemisissä, mutta vielä 10v sitten kun olin vastuussa levyjärjestelmistä oli vaikkapa Netapp'in, EMC'n ja EVA'n välillä todella paljon eroa.
- Liittynyt
- 26.02.2019
- Viestejä
- 2 543
Ehkä vähän tyhmä kysymys, mutta meneekö NAS:it kategoriaan levyhärjestelmä?
Hm... tämä onkin ikuisuus kysymys. Mikä on NAS ja mikä on levyjärjestelmä?
- (NAS) Network-attached storage - Wikipedia
- (SAN, ei sisällä levypalvelua, vaan blokkitason): Storage area network - Wikipedia
- Liittynyt
- 26.02.2019
- Viestejä
- 2 543
Varmasti onkin ikuisuuskysymys. Sillä tuota läksinkin kysymään, kun nyky NAS:it taipuu aika moneen. Onhan noita eism. sertifioitu virtuaalialustoille storageksi. NAS:ien kanssa kyllä on tullut pelattua, mutta ei oikeiden levyjärjestelmien kanssa, niin sen takia en ehkä täysin ymmärräkkään tätä puolta.
Onhan NAS levyjärjestelmä, ainakin mulle tuo kuullostaa hyvin geneeriseltä.
SAN järjestelmissä on isoja eroja valmistajien välillä. Osa on blokki-tasolla toimivia, hyvin spesifiseen käyttöön tulevia (esim pääosin valokuidulla kytkettynä), osa taas hyvin samantyyppisiä kuin NAS’si, mutta järeämpiä.
Oletuksena tommosessa SAN’issa on yleensä että suorituskyky on parempi kuin perinteisillä levyillä, ja myös vikasietoisuus voi olla ihan eri tasolla.
Mutta vaikka näennäisesti kyseessä voikin olla samannäköinen kokoonpano kuin itse kasattu niin käytännössä yleensä hyvin eritapainen. Henkilökohtaisesti kannatan ongelmien ratkaisua aivoilla eikä vain rahalla, ja ymmärrän että molemmille on paikkansa. On kuitenkin turha väittää että kyse on vain samasta asiasta. Jos 300 hengen toimistolle tarvitaan levypalvelin niin itse kasattu on ihan ok. Jos pitää ajaa tuotannossa tuhansia virtuaalisia palvelimia 99.999% saatavuudella niin ihan varmasti otan mielummin oikean levyjärjestelmän.
SAN järjestelmissä on isoja eroja valmistajien välillä. Osa on blokki-tasolla toimivia, hyvin spesifiseen käyttöön tulevia (esim pääosin valokuidulla kytkettynä), osa taas hyvin samantyyppisiä kuin NAS’si, mutta järeämpiä.
Oletuksena tommosessa SAN’issa on yleensä että suorituskyky on parempi kuin perinteisillä levyillä, ja myös vikasietoisuus voi olla ihan eri tasolla.
Mutta vaikka näennäisesti kyseessä voikin olla samannäköinen kokoonpano kuin itse kasattu niin käytännössä yleensä hyvin eritapainen. Henkilökohtaisesti kannatan ongelmien ratkaisua aivoilla eikä vain rahalla, ja ymmärrän että molemmille on paikkansa. On kuitenkin turha väittää että kyse on vain samasta asiasta. Jos 300 hengen toimistolle tarvitaan levypalvelin niin itse kasattu on ihan ok. Jos pitää ajaa tuotannossa tuhansia virtuaalisia palvelimia 99.999% saatavuudella niin ihan varmasti otan mielummin oikean levyjärjestelmän.
Siinä on se ongelma että sinä tuskin dokumentoit sitä mihinkään ja sitten kun jäät auton alle niin seuraajalla ei ole mitään hajua siitä mitä olet tehnyt, koska kaikki valmispurkit ovat samanlaisia niin sellaisen ylläpito onnistuu paremmin muiltakin kuin rakentajalta.
Eiköhän kaiken voi tehdä hyvin tai huonosti. Dokumentointi on vaikeata, jos se on olemassa niin yleensä vanhentunutta. Olen nähnyt tapauksia joissa dokumentointi on hyvää ja ajan tasalla, sekä tapauksia jossa asiat on tehty yhteneväisesti ettei sille ole ollut tarvetta, ja sitten kaikkea sillä välillä.
Hyvä puoli siinä että on ollut monipuolisesti eri IT rooleissa yli 20v ajan on, että on ehtinyt tehdä monia virheitä ja myös oppia niistä. On esim. tosi opettavaista olla saman organisaation sisällä ensin vastuussa monista kokonaisuuksista, ja sitten siirtyä turvallisuuspuolelle jossa tehtävänä löytää puutteita niistä.
Osaavalle linux ylläpitäjälle ei ole mitenkään maailmanloppu ottaa harteilleen jonkun muun pystyttämä levypalvelin jos se on vain alun perin tehty hyvin ja yksinkertaisesti. Toki kaupallisessa ratkaisussa on myös puolensa.
Hyvä puoli siinä että on ollut monipuolisesti eri IT rooleissa yli 20v ajan on, että on ehtinyt tehdä monia virheitä ja myös oppia niistä. On esim. tosi opettavaista olla saman organisaation sisällä ensin vastuussa monista kokonaisuuksista, ja sitten siirtyä turvallisuuspuolelle jossa tehtävänä löytää puutteita niistä.
Osaavalle linux ylläpitäjälle ei ole mitenkään maailmanloppu ottaa harteilleen jonkun muun pystyttämä levypalvelin jos se on vain alun perin tehty hyvin ja yksinkertaisesti. Toki kaupallisessa ratkaisussa on myös puolensa.
- Liittynyt
- 01.01.2021
- Viestejä
- 1 193
Itse kasattu on van sen ylläpitäjän mielestä ok. Monesti sen kasaamiseen käytetty palkat sivukuluineen menee kuitenkin yleensä kalliimmaksi kuin valmispaketti, joten jos taloushallinnosta kysyy niin vastaus on eri. Monesti myös ongelman ratkaisu aivoilla tai rahalla on sama asia, silloin se raha vaan menee eri paikkaan.
Ilmaisen ton "ongelmat ratkaistaan rahalla" noin, koska olin vuosituhannen alussa töissä isolla operaattorilla jossa ongelmat oikeasti ratkaistiin puhtaasti rahalla. Monitorointiin ei esim. voitu käyttää Nagiosta, vaan erittäin kallista kaupallista ratkaisua. Muistan edelleen kun meidän tiimin 500 Unix palvelimen rinnalle tuli eka Linux (Redhat) jota kaikki piti ihan leluna, ja sen laittamista tuotantoon vastustettiin.
Eli samaan aikaan kun henkilöstön määrää kiristeltiin, budjetit tuotannossa olivat aivan valtavia (jopa tuhlailevia). Tiedän, että jo muutama vuosi mun lähdön jälkeen sielläkin asenteet muuttuivat aika paljon.
Tuon operaattorin jälkeen jokainen työpaikka jossa olen ollut on mahdollistanut open source ratkaisun käyttöä, tai kaupallista ratkaisua. Fiksut ihmiset yleensä sitten tietävät kumpi ratkaisu on parempi, ainakin jos ovat joskus oppineet kantapään kautta.
Ja itse aiheeseen, muistan että n. 15 vuotta sitten olin töissä firmassa jossa kaikki palvelimet oli jotain "no name" 2-U koneita. Yleisesti ne toimivat ihan hyvin, mutta levy-IO'n kanssa oli ongelmia. Kun sitten puuhasimme muutamalle sadalle ihmiselle levypalvelinta kului useita kuukausia (ja levyohjaimia) kunnes vihdoin testattiin vaan HP'n vastaavaa konetta ja kaikki ongelmat hävisivät. Tämä siis oli edelleen itse tehty, mutta rauta kunnollista (ja ylläolevan viestin mukaisesti työaika maksoi varmasti enemmän kuin mitä raudassa oltiin ikinä säästetty).
- Liittynyt
- 01.01.2021
- Viestejä
- 1 193
Joo, joskus noi liikemaailman ratkaisut näyttää omiin silmiin oudolta, mutta on se aina jonkun mielestä paras ratkaisu, yleensä sen päättäjän. Parhaiten niistä aina selviää kun vaan ei välitä kunhan tekee vain oman työnsä hyvin. Muuten saa stressata aivan liikaa.
Tähän piti vastata kun oma Asrock J5040-ITX saapui (ulkomailta) ja käy ja kukkuu. 8GB max. RAM ei pidä paikkaansa vaikka jopa itse Intel näin väittää. Itsellä käytössä 16GB ja olisi tarkoitus pistää toiset 16GB. Muistien valinnan kanssa on vain tarkkaa eli Asrockin QVL käteen.
Muuten on kyllä loistopeli. Itsellä koneessa kiinni 3xSSD ja BluRay soitin, virtalähteenä PicoPsu 80W ja MeanWellin 80W virtalähde ja mittarin mukaan vie idlenä 7W ja työpöytäkäytössä 10-25W. Voi nimittäin olla, että käytän NAS/HTPC käytön lisäksi myös työkäytössä, kun toimii suorastaan hämmentävän sähäkästi Linux ja LxQt.
Edit: For the record, jos joku muu on rakentamassa samanlaista setuppia, niin muistikammat jotka ainakin toimii, laitoin joku aika sitten toisen ja toimii ongelmitta: Crucial CT16G4SFD824A.C16F
Viimeksi muokattu:
Yllättävän hyvin toiminut tuo viimevuonna rakentamani UNRAID tolla ASRock J4105-ITX emolevyllä jossa integroitu 2 core celeroni.
8GB ram
6kpl 4TB IronWolf joista 2 levyä toimii parity levyinä.
Lisäksi tuossa pyörii Windows 10 VM jossa TeamViewer etäkäyttöä varten sekä Plex serveri elokuvien striimaamista varten eikä ole ollut suorituskykyongelmia vaikka ei tuossa potkua löydy nimeksikään.
Seuraava parannus voisi olla esim 1TB Cache asema, eikö tällä saisi siirtonopeuksiin lisää vauhtia?
8GB ram
6kpl 4TB IronWolf joista 2 levyä toimii parity levyinä.
Lisäksi tuossa pyörii Windows 10 VM jossa TeamViewer etäkäyttöä varten sekä Plex serveri elokuvien striimaamista varten eikä ole ollut suorituskykyongelmia vaikka ei tuossa potkua löydy nimeksikään.
Seuraava parannus voisi olla esim 1TB Cache asema, eikö tällä saisi siirtonopeuksiin lisää vauhtia?
- Liittynyt
- 17.10.2016
- Viestejä
- 340
Riippuu ihan minkälainen verkko sulla on. Cachea voi esim. käyttää kun tuuppaa serverille tavaraa ja scheduloituna se siirtää puskurista oikeisiin levyihin tavarat. Jos on 1Gbps:n sisäverkko, eikä hirveästi käyttäjiä niin ei suunnatonta parannusta ole (riippuu tietty myös niistä kohdelevyistä). Mutta jos sattuu olemaan 10G:n verkko alla niin silloin tavaraa puskuriin siirtyy ihan mukavaa vauhtia ja serveri hoitelee loppusijoituksen sopivana ajankohtana.
Suunnilleen.
Oma J4205-ITX (16G ram, 2kpl peilit 2T wd red + käyttis ssd, debian) pääsee parhaimmillaan vähän reiluun 100M 1G verkossa (windowsin mukaan). Nopeus on samaa luokkaa jonka saa paikallisesti noilla levyillä tuolla koneella.
Tuli nyt vähän tutkittua tuota ja löysin tuollaisen asetuksen kuin 'md_write_method = reconstruct write' joka nopeutti siirtonopeutta 45 -> 70+ ja nyt osa nassin coreista on 100% load siirron aikana, tuskin tulisi mitään hyötyä cache levystä vaan pullonkaula on jossain muualla.
Aika jännä... muistaakseni cpu- kuorma siirton aikana on pieni. Jos muistan niin äkkiähän tuon testaisi illalla
Unraid on tehosyöppö ja hidas. Ei siinä muuta ole.
Tuolla raudalla pitäisi päästää heittämällä 112MB/s nopeuteen joka on käytännön maksimi 1G verkolle. Tuolle emolle ja soc:lle ei pitäisi cpu loadin vielä juuri yli 20% mennä jos linux/bsd käytössä. Toki Unraid tekee varmaan siellä välissä kaikkea, joka vie tehoja pois.
En tiedä Unraidista mitään, mutta oma Asrock J5040-ITX (marginaalisesti nopeampi prossu) + SSD pystyy kyllä toimittamaan dataa oman 2.5 Gbit/s verkon täydeltä (noin 290 MB/s) ja vielä purkamaan lennossa AES-512 kryptauksenkin, eikä CPU ole lähellekään tapissa. En tiedä paljonko RAID:sta pitäisi tulla overheadia, mutta kuulostaa todella nuhaiselta...
- Liittynyt
- 28.03.2017
- Viestejä
- 1 610
Unraidissa ollaan paritylevyn kirjoitusnopeuden armolla ilman cachea, koska kaikki data pukataan pariteettilevyyn + varsinaiseen kirjoitettavaan levyyn samalla hetkellä.
Ennen kuin päivitin näihin 4TB Red levyihin nopeudet oli 70-80MB/s luokkaa 10 vuotta vanhoilla levyillä, nyt mennään 120MB/s paikkeilla. Lisäksi tein kaikki jakokansioiden split levelit kunnolla, ettei data pirstaloidu moneen levyyn turhaan.
Ennen kuin päivitin näihin 4TB Red levyihin nopeudet oli 70-80MB/s luokkaa 10 vuotta vanhoilla levyillä, nyt mennään 120MB/s paikkeilla. Lisäksi tein kaikki jakokansioiden split levelit kunnolla, ettei data pirstaloidu moneen levyyn turhaan.
Onko joku syy miksi et ole Unraid:iin laittanut cache levyä?
Itse käytän 2kpl 500GB SSD levyä edessä cachena jotka siis peilaavat toisiaan.
Datan siirto siis menee ensin tuonne cacheen ja sitten toinen jobi (mover, jonka saa itse määritellä kuinka agressiivinen tuo on) siirtää tiedostot omalla ajallaan levyille + laskee pariteetin.
- Liittynyt
- 28.03.2017
- Viestejä
- 1 610
On tuossa NVMe cache kiinni, en vain käytä sitä varsinaisesti cachena. Jos käyttäisin tuota SSD:tä aktiivisimpiin jakoihin cachena, sen kirjoituskerrat olisi aikalailla kulutettu muutamassa vuodessa loppuun.
Omat Premiere-projektit ja Plexin mediat liikkuu ihan riittävän nopeasti perus kovalevyille, jolloin NVMe hoitaa ainoastaan VM domainien, ISOjen, Dockerin ja sysdatan virkaa, eikä SSD:n elinikää tule suotta kulutettua loppuun.
Selkee homma.
Itsellä on 2 * 10GB verkkokortti kiinni niin Unraidissa tulee levyjen kirjoitusnopeus vastaan nopeasti ilman tuota cachea. En ollut huolissani tuosta kulumisesta levyjä kun saa hyllystä eikä vuosien jälkeen olla lähelläkään.
Toisin kuin Freenas/Truenas puolella jossa levyt on "raid"-tyyppisesti tiedostot kirjoitetaan yksi tiedosto monelle levylle samanaikaisesti.
Unraid kirjoittaa yhden tiedoston aina kokonaisena per levy + pariteetti niin isoissa tiedostoissa tulee levyjen nopeus vastaan nopeasti.
Suosittelen tuota cachea varskin jos on >1GB verkko Sama cache levy toimii samanaikaisesti myös VM koneiden ja docker konttien pyörityksessä eikä tuosta cachena käyttämisestä ole haittaa niille.
Itsellä on 2 * 10GB verkkokortti kiinni niin Unraidissa tulee levyjen kirjoitusnopeus vastaan nopeasti ilman tuota cachea. En ollut huolissani tuosta kulumisesta levyjä kun saa hyllystä eikä vuosien jälkeen olla lähelläkään.
Toisin kuin Freenas/Truenas puolella jossa levyt on "raid"-tyyppisesti tiedostot kirjoitetaan yksi tiedosto monelle levylle samanaikaisesti.
Unraid kirjoittaa yhden tiedoston aina kokonaisena per levy + pariteetti niin isoissa tiedostoissa tulee levyjen nopeus vastaan nopeasti.
Suosittelen tuota cachea varskin jos on >1GB verkko
Sama cache levy toimii samanaikaisesti myös VM koneiden ja docker konttien pyörityksessä eikä tuosta cachena käyttämisestä ole haittaa niille.Lisään viestini tänne, kun taisin väärässä ketjussa asiasta kysellä. Olisiko kommentteja tähän?
Levyt 8Tb ja dataa ~10Tb. Pitäisi kirjoitella kahdelle levylle, lienee aika se ja sama kirjoitteleeko väliaikaisesti parille levylle vai rakentaako niistä poolin, johon rakentaa. Tuohon zfs replicateen olen kallistumassa.
Mutta eipä tässä muu kai auta kuin heitellä dataa edes takaisin. Datan tasapainottaminen mirroreiden/vdevien kesken on lukemani perusteella aika turha operaatio, jos aivan ne viimeisetkin prosentit suorituskyvystä eivät ole ehdottoman tarpeellisia. Taidan tehdä kuitenkin sen, että kumpaankin pooliin tulee kaksi uutta ja kaksi vanhaa levyä.
Sivuhuomiona, että WD My Book 8Tb ulkoisista koteloista löytyi tällä kertaa WD80EDAZ levy.
Uutiset
-
Rentouttavaa ja tunnelmallista joulua 2024!
24.12.2024 09:59
-
Lenovon erikoiset CES-uutuuskannettavat vuotivat julki ennakkoon
20.12.2024 15:23
-
Joulun 2024 piparkakkutalokilpailu on käynnistynyt TechBBS-foorumilla!
20.12.2024 14:42
-
Lenovo valmistelee SteamOS:llä varustettuja käsikonsoliluokan Legion Go -tietokoneita
20.12.2024 14:05
-
Live: io-techin Tekniikkapodcast (51/2024)
20.12.2024 13:50
Uutisia lyhyesti
-
Taittuvanäyttöinen OnePlus Open 2 saatetaan nähdä vasta odotettua myöhemmin- Juha Kokkonen
- Vastauksia: 0
-
Sony on saavuttanut 20 miljardin toimitetun kamerasensorin rajapyykin- Kaotik
- Vastauksia: 5
-
-
-
Uusimmat viestit
-
-
-
-
Käyttövoimakeskustelu: Diesel vs. bensa vs. kaasu vs. sähkö vs. vety yms.
- Viimeisin: Tonnin Seteli
