Levy/mediapalvelimen rakentaminen, lähes nollatiedoilla liikkeelle

[akvavitix]

Eilen kävi niin, että meidän perheen arkistolevy, 1tb WD Blue hdd kärähti ja lähti tänään tiedostojen palautukseen IT-tohtorille, kun perheen 10 vuoden valokuvat tallennettuna ko. levylle. Mielen päällä on ollut pitkään rakentaa levypalvelin vanhentuneesta pelikoneesta, joka ei päivity Windows 11:lle. Muutenkin kone on jäänyt turhaksi, kun kotona on jo 3 tuoreempaa ja tehokkaampaa pelikonetta. Tottakai tämä aktivoituu tekemiseksi, kun pahin on jo tapahtunut...

Vanha kone:
Corsair Carbide R88 mATX-kotelo
Intel i5 6500 -prossu
B150m emolevy (6 Sata-liitäntää)
2x4 GB muistia
250GB käyttis-SSD ja toinen 500GB SSD, molemmat 2,5" levyjä SATA-liitännällä
Seasonic S12II 550W virtalähde
RX380 4gb näytönohjain

Nyt olisi tarkoitus rakentaa levyjärjestelmä, joka olisi vikasietoinen, eli kestäisi ainakin yhden levyn rikkoontumisen, joten RAID5 harkinnassa. Tämä tarkoittaisi minimissään 3 levyä. Alustavasti olen ajatellut 3x2TB HDD-levyjä. Onko WD Blue riittävä perheen kotikäyttöön, vai onko jotain parempaa tarjolla bang per buck -periaatteella?

Kokonaan toinen asia onkin sitten käyttöjärjestelmäpuoli. En ole erityisen noheva tämän tyyppisissä asioissa (käyttökokemusta pelkästään Windowsin eri versioista, ei minkäänlaista Linux tai koodausosaamista), minkä takia tukeudun paljon Youtube-videoihin ja nyt kyselen täältäkin vinkkiä.

Mten tätä nykyistä setuppia on järkevää lähteä viemään siihen suuntaan, että saan ensinnäkin vanhalta WD Blue-asemalta palautettavat datat palautetuksi valmiille RAIDille, mutta myöskin tuottamaan redundancy ja perf- näkökulmista hyvän ja helposti ylläpidettävän ratkaisun? Mitä levyjä minun kannattaa hankkia?

 

[Deeku]

Ehkä vähän tynkä viesti vastaukseksi, mutta laitetaan nyt kuitenkin.
Truenas käyttöjärjestelmää kovasti suositellaan, mikäli on tarkoitus rakentaa itsellensä tallennuspalvelin.
Lisäksi voisin vielä painottaa että RAID ei ole varmuuskopio. Arvokkaalle datalle suosittelen lämpimästi tuon RAID pakan lisäksi jotain varsinaista varmuuskopiointiratkaisua.

Täältä kannattanee kysellä viisaammilta lisää.

 

[akvavitix]

Googlauksen jälkeen perfectmediaserver.com tarjoaisi aika hyvän ratkaisun, missä vättyisi RAIDin ongelmilta. Redundancy tapahtuu snapshoteilla ja levytilaltaan järjestelmä olisi skaalautuva ja tosi salliva, eli esim. jos yhden levyn ottaa setupista pois, setup toimii siitä huolimatta. Se mikä tuossa kuulostaa minulle erityisen vaikealta on Docker-puoli. Vähäsen veikkailen, että tähän projektiin taitaa valua tunteja aika paljon, kun pitää lähteä tyhjästä nyhjäämään...

 

[akvavitix]

WD Blue 2TB saatavuus on vähän heikkoa. Datatronicilta saisi Seagate Barracuda ST2000DM008 sisäinen kiintolevy 3.5" 2000 GB Serial ATA III suht edukkaasti. Silloin kun aikanaan WD Bluen hankin, Muron puolella Barracudalla oli joukko vastustajia, minkä takia kallistuin WD:n kelkkaan. Onkohan tässä tapahtunut vuosien saatossa muutoksia? Datatronicin edulliset levyhinnat kilpailijoihin verrattuna houkuttelevat.

Toinen Datatronicin tarjonnassa oleva vaihtoehto olisi Seagate IronWolf ST4000VN006 sisäinen kiintolevy 3.5" 4000 GB Serial ATA III, jolla suhteellisen pienellä panostuksella tuplaisi kapasiteetin ja olisi NAS-levy muutenkin. Seagate on kuitenkin minulle entuudestaan brändi mihin ei ole minkäänlaista kosketuspintaa.

 

[bindi]

Mitä ongelmia RAID:issa on? Laita truenas ja 2 levyn peili tai 4 levyn raidz2. Nuo 2TB kovalevyt ovat aika sikahintaisia. (vuoden 2010 kapasiteettia..)

Kaveriksi vielä joku 4-8TB ulkoinen HDD johon ajetaan varmuuskopiot vaikka kerran kuukaudessa, säilytys mielellään eri kämpässä ettei tavarat katoa tulipalossa.

Jos tarve on vain 1-2TB niin ehkä saisi 5-10€/kk hintaan pilvipalveluita(? en jaksa tarkistaa puhelimella), joka voisi myös olla vaihtoehto.

 

[Rollerix]

Kun kerrot lähteväsi lähes nollatiedoilla liikkeelle ja tietojen äskettäinen menetys johtui siitä ettei mitään varmuuskopiota ollut, kuulostaa siltä että turhan monimutkaisesti lähdet asiaa ratkaisemaan. Monimutkaisuus lisää ongelmia yleensä.

Ehdotan yksinkertaisemmaksi ratkaisuksi seuraavia (vaihtoehtoiset):

1) Ulkoiselle kovalevylle (usb-liitäntäinen 2.5 tuuman hdd tai ssd) varmuuskopio kerran viikossa tai useammin + tämän levyn kopiointi esim kerran kuussa toiselle ulkoiselle levylle (2.5 tuuman hdd, EI ssd). Nuo 2.5 tuuman hdd-levyt ovat hiljaisia eivätkä tarvitse erillistä virtalähdettä. Isommat levyt tuovat huminaa ja ylimääräisen virtalähteen.

2) Valmis NAS, jonne varmistus kerran viikossa tai useammin + NAS:n varmuuskopio esim kerran kuussa ulkoiselle hdd:lle. Huomattavasti kalliimpi vaihtoehto ja kannattaa vain jos NAS:lle on muutakin todellista käyttöä.

Ja kuten edellä jo sanottu, tulipalo ei suojaa näitä, eli jos ihan varma haluaa olla, se ketjun viimeinen pitää säilyttää muualla, tai paloturvallisessa kaapissa tai tehdä siitä vielä yksi kopio harvakseltaan muualle. Kannattaa vain sitten huomioida myös tietoturva eli jos kaikki oma data on jossain mökillä "suojassa", se voi lähteä sieltä pitkäkyntisten matkaan, eli pitää olla kryptattuna data.

Ykkösvaihtoehto on edullisin ja yksinkertaisin. Kahden levyn lisäksi tarvitaan vain hyvä varmuuskopiointisofta. Windowsin omillakin se onnistuu, mutta ulkoisissa on enemmän ominaisuuksia. Macrium Reflect on itselläni käytössä ja voin hyvin suositella. Brittifirma, eli datat ei valu Kiinaan. Isona haittapuolena se, että siirtyivät pari vuotta sitten kertalisensseistä tilauslisenssiin, eli laskuttavat uusia käyttäjiä joka vuosi (itse ehdin onneksi alta pois). Ohjelmia on muitakin ja niistä kannattaa lukea ja kysellä tuolla edellä linkatussa varmuuskopiointi-ketjussa. Kannattaa katsoa ainakin hintapolitiikka ja firman alkuperä ettei tule yllätyksiä. Esim. EaseUS kuulostaa amerikkalaiselta, mutta on kiinalainen. En nyt väitä että vilunkia harrastaisivat, mutta itse ostan mieluummin lännestä ja tätä nykyä Euroopasta.

 

[MMXVI]

En tiedä kannattaako herramme vuonna 2025 enää ostella uutena 2TB levyjä jos ei ole ihan pakko. Toisaalta jos mennään ihan nollabudjetilla ja käytettyjä levyjä pyörii nurkissa niin se on asia erikseen.

Karkeasti ottaen tällaiseen projektiin lähtökohdaksi voisi suositella esim.

-ssd:lle TrueNAS
-datalevyiksi vähintään 2x4TB levyt peilattuna
-toimiva varmuuskopiostrategia erilliselle ulkoiselle levylle tai vastaavalle koska kuten jo mainittiin, RAID ei ole varmuuskopio
-ehkä mielellään koneeseen 16GB muistia, vaikka saattaa se 8 gigatavuakin nippanappa riittää
-vältä SMR-levyjä, mieluummin CMR (teknisempi selitys jos haluat tietää)

Ja tarkemmat yksityiskohdat kannattanee kysellä tuolta NAS-ketjusta.

 

[akvavitix]

Niin kuin todettu, tällainen projekti ollut mielessä pidempään. En hae 100% suojaa kaikkea vastaan, enkä varsinkaan halua lähteä tekemään manuaalisia backuppeja = jää tekemättä. Tästä syystä levyjen peilaus on sinänsä ihan ok, mutta jos parempi ratkaisu on tarjolla, hyvä. Osatarkoituksena on uusiokäyttää muuten e-romuksi päätyvä vanha PC ja oppia uutta. Mutta ennen kaikkea tarkoitus on saada toimiva ratkaisu, jossa data ei katoa bittiavaruuteen yhden komponentin feilun takia.

RAIDin huono puoli on skaalautuvuus (näin olen ymmärtänyt) ja kaupalliset NASsit ovat minun budjetille aivan liian kalliit ja kankeat. Yritän löytää ratkaisun, jonka oppimiseen voisi riittää viitseliäisyys. Lisäksi yksi, mitä olen jonkun verran pohtinut, on aivot taloautomaatiolle, kunhan ne ajatukset lähtevät kypsymään hiukan pidemmälle. Mutta projetki kerrallaan, eli "kotipilvi" valokuvien tallennukseen olisi nyt akuutein ja ensimmäinen ratkaistava asia.

Tallennustarpeet eivät ole mitenkään supermassiiviset; tähänkin saakka 1TB levy on riittänyt 10 vuoden valokuva-arkistona enemmän kuin hyvin. Tässä suhteessa alun perin ajatus oli, että RAID5:llä 3x2TB levyillä kapasiteettia olisi jo riittävästi. 4TB levyjen hinnat osoittautuivat pienellä kaivelulla kuitenkin sen verran edukkaiksi €/TB näkökulmalta, että 3x4TB levyä olisi varmaankin aika lähellä sweetspottia. Kuitenkin, jos nyt rakennettavaa NASia alkaa käyttämään mediapalvelimena tmv. aktiivisemmassa käytössä, skaalautuminen voisi kiinnostaa ja tässä kontekstissa tuo linkkaamani mergerfs & SnapRAID combo kuulostaa kivalta. Tämän ratkaisun vaativuusluokka toteutuksen kannalta on kuitenkin minulle se suurin kysymysmerkki. Tässä kontekstissa Dockerin käytön opettelu voisi olla tulevaisuudenkestävä ratkaisu, jos taloautomaatio saa myöskin tuulta purjeisiin.