Kuinka tarkastaa jättilevyn kunto järkevästi?

[timppeli]

18TB USB kiintolevyllä (HDD pyörivä levy, luonnollisesti) yksi hakemisto korruptoitui eikä Windowsin nopean levyskannnauksen mukaan siinä kuitenkaan ollut mitään vikaa (eli ei myöskään yrittänyt korjata vikaa), joten tein kaikenvaralta pelastusoperaation siirtämällä 12TB dataa muille kiintolevyille ja ajatuksena formatoida koko levy ja datat takaisin. (En tarvitse luentoa usean varmistuksen tarpeellisuudesta, tuolla levyllä oleva data on suht helpohkosti ladattavissa takaisin netistä, mutta luonnollisesti 12TB latauksessa menisi aikamoinen tovi joten en sitä tietentahtoen tee. Ja nythän minulla periaatteessa on paikallinen varmuuskopio tuosta datasta, viidellä pienemmällä levyllä).

Ennen formatointia ja datan kopiointia takaisin ajattelin samalla tarkistaa koko levyn kunnon joten ajoin sille Windowsissa chkdsk /f /r /x. Se arvioi että menee jotain 250 tuntia eli yli 10 päivää levyn tarkistamiseen, juupatijuu...

Keskeytin jo kerran kun ulkoisen kovalevyn raksahdukset tarkistelun lomassa onnistuivat pitämään minua yöllä hereillä. Onko tuolle mitään vaihtoehtoa, voiko luottaa SMARTiin tai johonkin tavanomaiseen diskcheckeriin, vai onko tuo melkein kahden viikon tarkistusrupeama vaan käytävä läpi jos haluaa olla varma bad sectoreista ja ties mistä? Menisi paljon vähemmän aikaa jos vaikka täyttäisi koko levyn datalla. Windowsin perus skannaus tuntuu olevan yhtä tyhjän kanssa, sen mielestä levyssä ja sen tiedostojärjestelmässä ei ollut mitään vikaa vaikka yksi hakemisto on korruptoitunut eikä siihen pääse sisään tai edes deletoitua ko. alihakemistoa.

Jos formatoin sen NTFS (ei quick format), ajaako se saman asian kuin ajaa tuollainen deepscan koko levylle, ja mahtaisiko mennä paljon nopeammin läpi?

Jos ei muu auta niin jätän sen sitten läppärillä tarkistamaan itseään 10 päiväksi ja nukun toisessa huoneessa...

 

[Härkönen]

18TB USB kiintolevyllä (HDD pyörivä levy, luonnollisesti) yksi hakemisto korruptoitui eikä Windowsin nopean levyskannnauksen mukaan siinä kuitenkaan ollut mitään vikaa (eli ei myöskään yrittänyt korjata vikaa), joten tein kaikenvaralta pelastusoperaation siirtämällä 12TB dataa muille kiintolevyille ja ajatuksena formatoida koko levy ja datat takaisin. (En tarvitse luentoa usean varmistuksen tarpeellisuudesta, tuolla levyllä oleva data on suht helpohkosti ladattavissa takaisin netistä, mutta luonnollisesti 12TB latauksessa menisi aikamoinen tovi joten en sitä tietentahtoen tee. Ja nythän minulla periaatteessa on paikallinen varmuuskopio tuosta datasta, viidellä pienemmällä levyllä).

Ennen formatointia ja datan kopiointia takaisin ajattelin samalla tarkistaa koko levyn kunnon joten ajoin sille Windowsissa chkdsk /f /r /x. Se arvioi että menee jotain 250 tuntia eli yli 10 päivää levyn tarkistamiseen, juupatijuu...

Keskeytin jo kerran kun ulkoisen kovalevyn raksahdukset tarkistelun lomassa onnistuivat pitämään minua yöllä hereillä. Onko tuolle mitään vaihtoehtoa, voiko luottaa SMARTiin tai johonkin tavanomaiseen diskcheckeriin, vai onko tuo melkein kahden viikon tarkistusrupeama vaan käytävä läpi jos haluaa olla varma bad sectoreista ja ties mistä? Menisi paljon vähemmän aikaa jos vaikka täyttäisi koko levyn datalla. Windowsin perus skannaus tuntuu olevan yhtä tyhjän kanssa, sen mielestä levyssä ja sen tiedostojärjestelmässä ei ollut mitään vikaa vaikka yksi hakemisto on korruptoitunut eikä siihen pääse sisään tai edes deletoitua ko. alihakemistoa.

Jos formatoin sen NTFS (ei quick format), ajaako se saman asian kuin ajaa tuollainen deepscan koko levylle, ja mahtaisiko mennä paljon nopeammin läpi?

Jos ei muu auta niin jätän sen sitten läppärillä tarkistamaan itseään 10 päiväksi ja nukun toisessa huoneessa...

Mitä crystaldiskinfo kertoo levyn kunnosta?

 

[KernelPanicking]

Mielenkiintoinen haaveri. Mikä korruptoinnin aiheutti? Kaatuiko kone kesken koppauksen? Aika jännä jos chkdsk (pika skannaus) ei osaisi tuollaista korjata, kun se käy kaikki indeksit läpi MFT:ssä ja luulisi että havaitsisi että jokin nyt vikana jos ei edes koko hakemiston tiedostoihin pääse.

Tulee myös mieleen, että ehkäpä MFT onkin ihan ehjä mutta tosiaan HDD on fyysisesti korruptoinut tuon alueen tiedostot, siksi lukemisesta ei tule mitään, mutta SMART kyllä luottaisin. Ei minulla ole ikinä yksikään levy kipannut ilman että SMART olisi näyttänyt punaista.

Olisiko vahigossa poistunut kaikki oikeudet tuohon kansioon? Ei ole lukuoikeuksia mutta et myöskään omistaja?

 

[Timo 2]

Tulee myös mieleen, että ehkäpä MFT onkin ihan ehjä mutta tosiaan HDD on fyysisesti korruptoinut tuon alueen tiedostot, siksi lukemisesta ei tule mitään, mutta SMART kyllä luottaisin. Ei minulla ole ikinä yksikään levy kipannut ilman että SMART olisi näyttänyt punaista

Mulla muistaakseni yksi levy aiemmin hajosi ja crytal disk ei muistaakseni näyttänyt mitään ennen kuin koko levyn olin käynyt läpi jollain smart diskilllä tai jollain joka tarkistaa levyn pinnan.

Datat pelastin jollain pelastusohjelmalla ja oli tosipaljon virheitä. Onneksi ei ollut mitään tärkeää ja kaiken sai helposti uusittua.

 

[timppeli]

Mielenkiintoinen haaveri. Mikä korruptoinnin aiheutti? Kaatuiko kone kesken koppauksen? Aika jännä jos chkdsk (pika skannaus) ei osaisi tuollaista korjata, kun se käy kaikki indeksit läpi MFT:ssä ja luulisi että havaitsisi että jokin nyt vikana jos ei edes koko hakemiston tiedostoihin pääse.

Tulee myös mieleen, että ehkäpä MFT onkin ihan ehjä mutta tosiaan HDD on fyysisesti korruptoinut tuon alueen tiedostot, siksi lukemisesta ei tule mitään, mutta SMART kyllä luottaisin. Ei minulla ole ikinä yksikään levy kipannut ilman että SMART olisi näyttänyt punaista.

Olisiko vahigossa poistunut kaikki oikeudet tuohon kansioon? Ei ole lukuoikeuksia mutta et myöskään omistaja?

Taisi olla ns. oma vika, eli irroitin kiintolevyn USB:sta (tai sammutin koneen) ehkä ennen aikojaan. Hakemisto joka meni juntturaan oli juuri se hakemisto mihin oltiin aktiivisesti siirtämässä dataa ennenkuin kone meni juntturaan.

Lisäkommerverkkinä että tein isoa tiedostonsiirto-operaatiota Linuxissa, vieläpä Raspberry Pi4:ssa, vaikka tuo levy on NTFS. Aiemmin tosin ei ole ollut mitään ongelmia enkä usko että tälläkään kertaa se oli ongelman aiheuttaja, mutta yksi liikkuva osa lisää.

RPi oli mennyt jotenkin juuttuneeseen tilaan eikä tiedonsiirtoa tuntunut silloin tapahtuvan enkä päässyt Linuxiin muiltakaan koneilta ssh:lla, joten ainoaksi vaihtoehdoksi koin sammuttaa RPin ja irroittaa levyn.

Halusin nyt vaan tässä vaiheessa varmistaa että kyse oli omasta viasta eikä että suht uusi USB-levy olisi jo hajoamassa. CrystalDiskInfo ei raportoinut mitään ongelmaa, ja tosiaan jos ihan perus Windowsin disk skannauksen teki, se ei mielestään havainnut tiedostojärjestelmässä mitään vikaa vaikka yksi hakemisto oli "corrupted" jos sinne yritti sisään File Explorerilla tai muuten.

No, en jaksanut jäädä odottelemaan chkdsk deepscannin valmistumista (yli 10 päivää olisi kai jauhanut), joten tein quick formatoinnin tuolle levylle ja kopioin datat takaisin viideltä pienemmältä levyltä. Tarkistin jälkikäteen ovatko kaikki tiedostot edelleen ok, 26 tiedostoa löytyi joissa md5 checksum ei mätsännyt ja kokeilin manuaalisestikin ovatko ne edelleen ok (eivät olleet, md5 checksumman feilaus kertoi totuuden), mutta epäselvää on milloin nuo ovat korruptoituneet:

1. Kyseisen RPi sammutuksen yhteydessä.
2. Kun kopioin noita tiedostoja pienemmille levyille tai takaisin (epäilen eniten tätä koska siinäkin tuli muutaman kerran ongelmaa, kopiointi keskeytyi koska Wintoosa kadotti USB-levyn äkillisesti, mutta yleensä tiedonsiirtoa pystyi jatkamaan hetken kuluttua).
3. Ovat olleet jo aiemmin jostain syystä korruptoituneita; en usko koska mielestäni tarkistin nuo md5 checksummat joitakin kuukausia sitten eikä tuota levyä ollut sillä välillä juuri käytetty.

Nyt sitten latailen noita korruptoituneita tiedostoja uudelleen levylle. Jos kiinnostaa mitä ihmeen dataa pidän 12 teran edestä levylläni, kyseessä ovat kaikki GOG.com pelikaupasta n. vuosikymmenen aikana ostamani pelit, niiden offline installer-versiot (ne voi kaikki ladata sieltä esim. gogrepoc.py tai lgogdownloader apuohjelmilla, ei tarvitse sentään yksitellen omia pelejään ladata selaimella). Eli ei se mitään netistä ladattua internetpornoa ole, ne ovat ihan toisella levyllä.

Tietty nyt kun data on palautettu 99% onnistuneesti, voisihan sitä toki laittaa sen chkdsk deepscannin ajamaan nyt, katselen sitten 11 päivän kuluttua löytyikö levypinnalta mitään häikkää...

 

[timppeli]

Tuli tuossa yhteydessä taas mieleen että olisi kiva käyttää omissa arkistoissaan jotain btrfs tai vastaavaa edistyneempää tiedostojärjestelmää jolla näkee helpommin ovatko esim. kaikki tiedostot edelleen ok, ilman että tarvitsee luoda ja tarkastella erikseen jotain md5 tai sha256 checksummia kaikille tiedostoille, jollain dvdsig tai rhash kaltaisilla apuohjelmilla. Ei aina muista välttämättä luoda uusia checksummia käsin jos joku tiedosto muuttuu tai siirtyy toiseen hakemistoon, btrfs (ja ehkä ZFS?) tekisi sen kaiken automaattisesti...

Pari kertaa olenkin joillakin noista jo valmistellut btrfs tai ZFS siirtymistä, ongelmaksi vaan on muodostunut että ko. levyjen ja tiedostojen pitäisi olla luettavissa myös Windowsissa, ja ainakaan aiemmin joku btrfs Windows-ajurin toimivuus ei herättänyt vielä luottamusta. En tiedä mikä on nykytilanne.

Ja ei, minkään hardware RAID NAS-päläpäläpurkin ylläpidosta en ole kiinnostunut, liian kallis ratkaisu tähän käyttöön ja siinä jumittaisi vain tietyn kokoisiin levyihin. Haluan että nuo tiedostot ovat helposti siirreltävillä USB-levyillä, ja backup tarkoittaa sitä että joko samat tiedostot on rsyncillä kopioitu silloin tällöin toiselle vastaavanlaiselle ulkoiselle levylle, TAI ne on edelleen tarpeen vaatiessa ladattavissa netistä (kuten on tässä tapauksessa; siksi en vielä pidä näistä kaksia tai kolmansia varmistuksia itselläni, ne varmistukset löytyvät hätätilanteessa netistä jos tämä levy hajoaa).

 

[Timo 2]

siinä jumittaisi vain tietyn kokoisiin levyihin.

Unraid + btrfs mahdollistaa eri kokoiset levyt.

 

[timppeli]

Unraid + btrfs mahdollistaa eri kokoiset levyt.

Jotain software-RAIDia olen tosiaan miettinyt, lähinnä jotta ei joutuisi ostamaan jatkuvasti suurempia jättilevyjä kun pienemmästä loppuu tila.

Mulle vaan on epäselvää mitä tapahtuu jos yksi tai pari siinä välissä olevista levyistä hajoaa, menettääkö sitten kaikki tiedostot vai ovatko jäljelläolevilla levyillä olevat tiedostot edelleen luettavissa ja kopioitavissa talteen? Varsinkin jos ei "tuhlaa" levytilaa sille että levyjä on raidissa sparena (= ei pariteettia)?

Tässä nimenomaisessa tapauksessa helpoimmaksi ja edullisimmaksi ratkaisuksi koin jakaa arkisto manuaalisesti useammalle levylle. Aiemmin nämä samat tiedostot olivatkin jaettuna kahdelle 5TB USB-levylle mutta kun 10TB raja ylittyi, en ostanut rinnalle kolmatta 5TB levyä vaan samantien 18TB levyn johon sain taas kaikki tiedostot mahtumaan kerralla.

 

[Timo 2]

Jotain software-RAIDia olen tosiaan miettinyt, lähinnä jotta ei joutuisi ostamaan jatkuvasti suurempia jättilevyjä kun pienemmästä loppuu tila.

Mulle vaan on epäselvää mitä tapahtuu jos yksi tai pari siinä välissä olevista levyistä hajoaa, menettääkö sitten kaikki tiedostot vai ovatko jäljelläolevilla levyillä olevat tiedostot edelleen luettavissa ja kopioitavissa talteen? Varsinkin jos ei "tuhlaa" levytilaa sille että levyjä on raidissa sparena (= ei pariteettia)?

Tässä nimenomaisessa tapauksessa helpoimmaksi ja edullisimmaksi ratkaisuksi koin jakaa arkisto manuaalisesti useammalle levylle. Aiemmin nämä samat tiedostot olivatkin jaettuna kahdelle 5TB USB-levylle mutta kun 10TB raja ylittyi, en ostanut rinnalle kolmatta 5TB levyä vaan samantien 18TB levyn johon sain taas kaikki tiedostot mahtumaan kerralla.

Unraidissa voi tietääkseni valita pariteettilevyjen määrän.

 

[timppeli]

Unraidissa voi tietääkseni valita pariteettilevyjen määrän.

Muistaakseni joo, mutta entä jos päättää pärjätä ilman pariteettilevyjä (esim. koska datat on saatavissa tarvittaessa muualtakin tai kokee olevansa niin onnekas), ja yksi data-levyistä menee rikki? Meneekö silloin kaikki tiedostot kerralla kaikilta levyiltä, vai voiko jäljelläolevien levyjen tiedostoja edelleen lukea/kopioida turvaan?

 

[Jaguafgeg]

Vanha viidakon sananlasku että raid 0:ssa numero tarkoittaa jäljelläjäävän datan määrän levyrikon jälkeen.

 

[Timo 2]

Muistaakseni joo, mutta entä jos päättää pärjätä ilman pariteettilevyjä (esim. koska datat on saatavissa tarvittaessa muualtakin tai kokee olevansa niin onnekas), ja yksi data-levyistä menee rikki? Meneekö silloin kaikki tiedostot kerralla kaikilta levyiltä, vai voiko jäljelläolevien levyjen tiedostoja edelleen lukea/kopioida turvaan?

Ei, jos on raidissa. Jos levyt on JBOD tilassa, niin menettää hajoavan levyn tiedot, eikä saa mitään suorituskyky tai vikasietoisuuslisää.

 

[OskuK]

Vikasietoisuus toki on kiinni myös valitusta raidista joka, joskus ehkä aiemminkin jonkun sanomana: ei ole varmuuskopiointia.

 

[timppeli]

Ei, jos on raidissa. Jos levyt on JBOD tilassa, niin menettää hajoavan levyn tiedot, eikä saa mitään suorituskyky tai vikasietoisuuslisää.

Oman arkiston pitämisessä, varsinkaan USB-levyillä, suorituskyky yms. eivät toki ole kovin oleellisia asioita kun levyt ovat 98% ajasta kaapissa.
Tässä lähinnä haen jotain ratkaisua joka olisi:
- suht halpa
- teknisesti yksinkertainen (myös ymmärtää)
- helppo ylläpitää
- helppo ja halpa laajentaa tarvittaessa

Pariteettia en katso tarvitsevani koska tarkoitus on joka tapauksessa että kaikista tiedostoista on jossain varmuuskopiot (eli jos jotain menee rikki, voi kopioida takaisin varmuuskopioilta koska on aika epätodennäköistä että kahdella tai kolmella varmuuskopiolla olisi sattunut korruptoitumaan juuri sama tiedosto). Varmuuskopioksi lasken myös sen että tiedän pystyväni tarvittaessa lataamaan ko. tiedoston edelleen netistäkin; oma levy on juuri sitä tilannetta varten ettei noin voisikaan joskus tulevaisuudessa enää tekemään.

Tekniseksi haasteeksi tulee miten havaita että jokin on mennyt rikki, ja ylläpitää tuota järjestelmää että checksummat yms. ovat aina ajantasalla, vaikka tiedostoja olisi päivittänyt, siirrellyt levyn sisällä jne.

Joku software RAID voisi tuoda tuohon lisäarvoa lähinnä että lisälevytilaa saisi aina lisäämällä jonkun suht halvan uuden levyn rinnalle ilman että tarvitsee yrittää manuaalisesti jakaa tiedostot eri levyille (monet operaatiot ovat paljon helpompia jos kaikki tiedostot ovat samassa poolissa), ja btrfs toisi siihen lisäksi sen ettei tarvitsisi manuaalisesti pelleillä checksummien kanssa, filesysteemi pitää omia checksummiaan yllä koko ajan kaikille tiedostoille.

 

[timppeli]

Vikasietoisuus toki on kiinni myös valitusta raidista joka, joskus ehkä aiemminkin jonkun sanomana: ei ole varmuuskopiointia.

Jep, RAID pariteetteineen ja suorituskykyetuineen on enemmän varmaan jatkuvasti aktiivsessa käytössä olevia palvelimia yms. varten, ei sitä varten että saa ylläpidettyä omaa arkistoa. RAID ei poista tarvetta varmuuskopioille, pikemminkin lisää sitä jos itse RAID (ei pelkästään levyt) menee jotenkin rikki tms.