Linux-kysymyksiä & yleistä keskustelua Linuxista

[Hyrava]

Onko tuo tiedostojen korruptoituminen oikeasti joku ongelma? Mietin vaan kun itselläni on ollut kaikenlaisia fat12/fat16/vfat/ext2/ext4/zfs ja ties mitä tiedostojärjestelmiä käytössä vuosien varrella ties millaisilla levyillä eikä tiedostot ole korruptoineet ellei levy ole oikeasti hajonnut jolloin esim SMART on kyllä kertonut että levy on rikki tai sitten levy on vaan totaalisen kuollut. Osa noista tiedostojärjestelmistä on ollut mountattuna vaikka millaisten viritysten kautta, kuten SMB/CIFS, SSHFS, NFS, WebDAV jne joissa tietty on ollut joskus jotain verkko-ongelmia mutta on kyllä saanut noista suoraan jonkinlaisen virheilmoituksen. Vai onko itselläni vaan ollut viimeiset parikymmentä vuotta ihan hiton hyvä tuuri?

 

[Alensia]

Onko tuo tiedostojen korruptoituminen oikeasti joku ongelma? Mietin vaan kun itselläni on ollut kaikenlaisia fat12/fat16/vfat/ext2/ext4/zfs ja ties mitä tiedostojärjestelmiä käytössä vuosien varrella ties millaisilla levyillä eikä tiedostot ole korruptoineet ellei levy ole oikeasti hajonnut jolloin esim SMART on kyllä kertonut että levy on rikki tai sitten levy on vaan totaalisen kuollut. Osa noista tiedostojärjestelmistä on ollut mountattuna vaikka millaisten viritysten kautta, kuten SMB/CIFS, SSHFS, NFS, WebDAV jne joissa tietty on ollut joskus jotain verkko-ongelmia mutta on kyllä saanut noista suoraan jonkinlaisen virheilmoituksen. Vai onko itselläni vaan ollut viimeiset parikymmentä vuotta ihan hiton hyvä tuuri?

Samaa itsekin mietin, jos filut ovat tärkeitä, on niistä joka tapauksessa backupit olemassa. Ei ole korruptoitunut tiedostoja ainakaan 20 vuoteen omalla kohdalla, ongelma oli lähinnä diskettiaikaan ja johtunee puhkikalutuista korpuista ennemminkin, kuin tiedostojärjestelmästä..

 

[JiiPee]

Kyllähän toi bit rot on ihan olemassa oleva uhka, mutta kyllä se monen kohdalla menee vaan enempi foliopipo hommiksi kuin ihan oikeaksi ongelmaksi.

Mutta tuosta olen kyllä eri mieltä että jos sulla on bvackupit kunnossa niin ei ongelmaa. Sinähän ET voi tietää että milloin se bit rot iskee, eli voit vaikka tehdä backupin jo mädästä tiedostosta kun taas btrfs taikka jokin muu moderni filesystem olisi kertonut sulle siinä backupin teossa että hei nyt on tiedosto päässyt mädäntymään ja jos sulla oli peilattu taikka joku muu raid pooli käytössä niin se korjattaisiin siinä lennossa.
Single disk btrfs ei pysty kuin varoittamaan lahoamista mutta peilattu/parity tosiaan korjaa itsensä.

 

[Barbarossa]

Jos datan korruptoitumista pelkää niin silloin ei riitä mitkään tiedostojärjestelmät ellei satu olemaan myös ECC muistia joka varmistaa että datassa ei bitit flippaile sinä aikana kun niitä siirrellään tai käsitellään. Edes varmuuskopioidaan. Sille kun on jonkinlainen mahdollisuus jopa täysin ehjällä muistilla.

 

[timppeli]

Jos datan korruptoitumista pelkää niin silloin ei riitä mitkään tiedostojärjestelmät ellei satu olemaan myös ECC muistia joka varmistaa että datassa ei bitit flippaile sinä aikana kun niitä siirrellään tai käsitellään. Edes varmuuskopioidaan. Sille kun on jonkinlainen mahdollisuus jopa täysin ehjällä muistilla.

Kyllä se varmuutta esim. säilytyksen aikaista bitrottia vastaan lisää, vaikka jää edelleen teoreettisia mahdollisuuksia että joku bitti menee vinoon jossain muussa tilanteessa jota ei sitten jollain muulla tavalla pystyisi huomaamaan.

Esim. jos kopioi dataa medialta toiselle ja pelkää muistibitin menevän vinoon sinä aikana, Windowsille löytyy esim. Teracopy ja Linuxissa voi käyttää rsync sopivilla optioilla tarkistaakseen että kopioitu tiedosto vastaa täysin alkuperäistä.

 

[timppeli]

Kyllähän toi bit rot on ihan olemassa oleva uhka, mutta kyllä se monen kohdalla menee vaan enempi foliopipo hommiksi kuin ihan oikeaksi ongelmaksi.

Riippuu siitä miten tärkeäksi katsoo varmistustensa ehyenä pysymisen. Jos se ei ole tärkeää, sitten ehkä ne varmistuksetkin ovat sinänsä turhia. Varsinkin jos sen integriteettitarkistuksen saisi toimimaan taustalla ilman että joutuu itse jatkuvasti tekemään lisätyötä sen eteen, esim. erillisten checksum-työkalujen avulla.

Mutta tuosta olen kyllä eri mieltä että jos sulla on bvackupit kunnossa niin ei ongelmaa. Sinähän ET voi tietää että milloin se bit rot iskee, eli voit vaikka tehdä backupin jo mädästä tiedostosta

Toki tiedosto voi olla vaikka alusta asti korruptoitunut. Tarkoituksena on kuitenkin tehdä lisävarmistus että jos laitat sen vaikka kahdelle eri USB-levylle kahdeksi vuodeksi kaappiin, miten tarkistat sen kahden vuoden kuluttua että edes jompikumpi niistä on edelleen ok, jos vaikka jälkikäteen tehtävällä checksum-tarkistuksella ne antavat eri tuloksen.

En ajattele niin mustavalkoisesti että jos jää mikään 0.000001% mahdollisuus että siitä huolimatta jokin menee vikaan, kaikki sen eteen tehtävä työ on turhaa. Jos teen vaikka lopputyön ja otan kaksi fyysistä varmistusta kahteen lokaation ja kolmannen vielä pilveen... toki on teoriassa edelleen mahdollista että molemmat fyysiset varmistukset palavat poroksi samanaikaisesti ja pilvipalvelu johon talletit on mennyt konkurssiin ja datasi kadonnut sieltäkin. Oliko useampi varmistus siis alunperinkin täysin turhaa työtä?

Ehkä tavoitteena ei ole saada 100% varmuutta, jos edes 98% varmuus riittää esim. 50% varmuuden sijaan.

Se onko varmistusten bitrot mikään todellinen vai ainoastaan teoreettinen ongelma... en tiedä. Eteeni tulee varmistuksilta silloin tällöin yksittäisiä tiedostoja joiden havaitsen olevan korruptoituneita, tai ainakin epäilen niin. Esim. zip tai rar tiedosto joka ei enää suostukaan purkautumaan, lienee aika selvä juttu että jotain on tapahtunut jossain vaiheessa. Tai jos sama tiedosto on kahdella eri medialla ja tulee kaksi eri checksummaa, siinä arpoo kumpi on mahdollisesti vielä kunnossa vai onko kumpikaan, kun ei ole alkuperäistä checksummaa kummastakaan olemassa.

Mitään vastausta sille ei tuossa vaiheessa enää saa että missä vaiheessa ja miksi tiedosto on vioittunut, eikä sen tietäminen välttämättä mitään auttaisikaan enää siinä vaiheessa. Tärkeintä olisi lisätä jonkinlainen tarkistus että edes tietää onko tiedosto vielä ok, vai ei. Erillisten checksummien teko arkistoinnin yhteydessä on yksi, mutta pidemmän päälle työläs, tapa.

kun taas btrfs taikka jokin muu moderni filesystem olisi kertonut sulle siinä backupin teossa että hei nyt on tiedosto päässyt mädäntymään ja jos sulla oli peilattu taikka joku muu raid pooli käytössä niin se korjattaisiin siinä lennossa.

Kysyin jollain foorumilla (SuperUser varmaan) joskus antaako btrfs mitään lisävarmuutta sille että jos vaikka kopioin tiedoston koneelta ulkoiselle USB-asemalle (molemmilla btrfs käytössä), vastaako kopioitu tiedosto bitilleen alkuperäistä. Silloin sain ainakin käsityksen ettei esim. btrfs ota tuohon mitään kantaa tai tuo mitään lisäturvaa, btrfs on kiinnostunut vain siitä ettei sen omassa lokaalissa tiedostosysteemissä tapahdu ikäviä.

En tiedä onko teoriassa kuinka mahdollista että kopiointi menee vikaan (joku virhe USB:ssa, tai sitten aiemmin mainittu muistivirhe juuri kopioinnin aikana?), mutta tätä vastaan kai on sitten omat keinonsa, kuten Windowsissa TeraCopy joka ajaa automaattisesti checksum-tarkistukset alkuperäisen ja kopioidun tiedoston välillä, tai Linuxissa rsync sopivilla optioilla (saattoi olla että rsyncin joutui ajamaan kahteen kertaan jotta sai täyden varmuuden tuolle, eli toisella kopiointikerralla käskee rsyncciä ylikirjoittamaan vain ne tiedostot joiden checksum ei vastaa alkuperäistä, siinä yhteydessä ne kaikki tulee tarkistettua).

Single disk btrfs ei pysty kuin varoittamaan lahoamista mutta peilattu/parity tosiaan korjaa itsensä.

Juu, mutta single disk btrfs auttaa kuitenkin jos haluaa tietää onko ulkoisella varmistuksella oleva tiedosto edelleen ehjä, jotta sen voi esim. korvata toisella varmistuksella olevalla tiedostolla (melko epätodennäköistä että molemmat toisistaan erillään olevat tiedostot olisivat vioittuneet suunnilleen samoihin aikoihin).

Lisäksi mirroroinnit ja parityt eivät suoraan auta siihen jos teet inhimillisen virheen ja rikot tai tuhoat tiedoston itse, silloin helpointa on että sinulla on se sama tiedosto toisaalla ja voit korvata rikkoutuneen sillä. Mirroroinnit ja parityt ovat ehkä enemmän live-käyttöä varten, eivät kaapissa vuosikausia pidettäviä arkistoja varten.

 

[timppeli]

Onko tuo tiedostojen korruptoituminen oikeasti joku ongelma? Mietin vaan kun itselläni on ollut kaikenlaisia fat12/fat16/vfat/ext2/ext4/zfs ja ties mitä tiedostojärjestelmiä käytössä vuosien varrella ties millaisilla levyillä eikä tiedostot ole korruptoineet

Mistä tiedät etteivät ole korruptoituneet? Oletko käynyt jokaisen tiedoston läpi ja todennut jollain tapaa että vastaa bitilleen alkuperäistä? Luotat vain siihen että jos saat tiedoston jollain tapaa auki Notepadissa etkä ensivilkaisulla huomaa siinä mitään erikoista, sen täytyy olla täysin kunnossa?

Tuo on juuri se yksi perusongelma, miten edes huomata tai todistaa että arkistot ovat edelleen kunnossa. Normaalisti sitä varten käytetään checksummia, mutta niiden pykääminen ja tarkistelu käsin, varsinkin jos arkiston sisältö muuttuu silloin tällöin, voi olla erittäin vaivalloista, aikaavievää ja jopa mahdotonta.

Kompressoiduissa tiedostoissa tuon varmuuden saaminen on helpompaa, jos zip tai rar tai 7z purkautuu virheettömästi, siitä voinee päätellä että on se edelleen ok. Kompressoimattomissa tiedostoissa varmuuden saaminen voi olla vaikeampaa tai mahdotonta.

Kyllä, minulla on tullut eteeni vanhoilta kiintolevyiltä kopioituja tiedostoja jotka joko ovat olleet selvästi korruptoituneita, tai olen epäillyt niin mutta en ole voinut saada täyttä varmuutta onko näin todella, tai onko tiedosto ollut alunperinkin korruptoitunut kun se kyseiselle kiintolevylle päätyi.

EDIT: Eikä edes vanhoilta levyltä. Puolisen vuotta sitten minulla oli episodi missä 18TB USB-arkistointilevyyni tuli jonkin sortin tiedostojärjestelmävika, joten kopioin kaikki datat muille levyille, formatoin 18TB uusiksi ja datat takaisin. Jälkitarkistuksissa havaitsin checksum-tarkistuksilla että joitakin korruptoituneita tiedostoja oli, en osaa sanoa olivatko vioittuneet tuon episodin aikana vai olleet jo sitä ennen korruptoituneita, ja missä vaiheessa tarkaalleen olivat korruptoituneet. Se ja sama, tärkeintä minulle oli saada jotenkin varmuus että ko. tiedostot ovat viallisia joten pystyin korvaamaan ne korruptoitumattomilla.

Päällisinhän puolin olisin tuossakin tilanteessa voinut väittää että kaikki ok enkä ole havainnut mitään tiedostojen korruptoitumisia. Vasta jälkikäteen suoritettu tarkistus kaikille tiedostoille paljasti totuuden.

Jos taas ei koe tärkeäksi jos joku tiedosto silloin tällöin mahdollisesti korruptoituu, sellaisiahan tiedostoja lienee turha edes varmuuskopioida. Eivät ole tärkeitä.

 

[timppeli]

Samaa itsekin mietin, jos filut ovat tärkeitä, on niistä joka tapauksessa backupit olemassa. Ei ole korruptoitunut tiedostoja ainakaan 20 vuoteen omalla kohdalla, ongelma oli lähinnä diskettiaikaan ja johtunee puhkikalutuista korpuista ennemminkin, kuin tiedostojärjestelmästä..

Entä jos juuri backupissa oleva tärkeä tiedosto on korruptoitunut sen muutaman vuoden aikana kun se on siellä majaillut virrattomana? HDD-levyt ovat magneettisia ja kyllä niillä olevat bitit ihan vain ajan kanssa voivat mennä ja menevätkin vinoon.

Mistä edes tiedät onko varmistuksilla, tai edes aktiivikäytössä olevassa tiedostosysteemissäsi, oleva tiedosto kunnossa? Avaatko ja testaatko jokaisen tiedoston erikseen?

 

[Lammas]

Mistä tiedät etteivät ole korruptoituneet? Oletko käynyt jokaisen tiedoston läpi ja todennut jollain tapaa että vastaa bitilleen alkuperäistä? Luotat vain siihen että jos saat tiedoston jollain tapaa auki Notepadissa etkä ensivilkaisulla huomaa siinä mitään erikoista, sen täytyy olla täysin kunnossa?

Tuo on juuri se yksi perusongelma, miten edes huomata tai todistaa että arkistot ovat edelleen kunnossa. Normaalisti sitä varten käytetään checksummia, mutta niiden pykääminen ja tarkistelu käsin, varsinkin jos arkiston sisältö muuttuu silloin tällöin, voi olla erittäin vaivalloista, aikaavievää ja jopa mahdotonta.

Kompressoiduissa tiedostoissa tuon varmuuden saaminen on helpompaa, jos zip tai rar tai 7z purkautuu virheettömästi, siitä voinee päätellä että on se edelleen ok. Kompressoimattomissa tiedostoissa varmuuden saaminen voi olla vaikeampaa tai mahdotonta.

Jos levy on salattu, niin silloin yhden bitin kääntyminen tallennusmediassa kaiken järjen mukaan aiheuttaa dekryptatussa datassa isomman kuin yhden bitin suuruisen virheen. Eli tavallaan salaus lisännee korruptoitumisen havaittavuutta.

 

[herra57]

Luulisin että aika monella jolla on 18TB arkistoja niin ne on sellaisia joista ei yhdellä tiedostolla ole mitään merkitystä mutta se onko niitä fileksiä arkistossa 17TB vai 0TB on iso merkitys ja silloin yhden fileksen korruptoituminen ole mikään ongelma vaan peikko on että kaikki menee kerralla puuf. Siksi jonkinlainen backup tai vaikka 2 on hyvä mutta esim koko levyn salakirjoittaminen ei ole.

Siitäkään 18TB alkuperäisestä määrästä ei koskaan lueta oikeaan käyttöön puoliakaan vaan hoardataan lisää ja ensi vuonna sitä arkistokamaa on 32TB.

 

[timppeli]

Luulisin että aika monella jolla on 18TB arkistoja niin ne on sellaisia joista ei yhdellä tiedostolla ole mitään merkitystä mutta se onko niitä fileksiä arkistossa 17TB vai 0TB on iso merkitys ja silloin yhden fileksen korruptoituminen ole mikään ongelma vaan peikko on että kaikki menee kerralla puuf. Siksi jonkinlainen backup tai vaikka 2 on hyvä mutta esim koko levyn salakirjoittaminen ei ole.

Siitäkään 18TB alkuperäisestä määrästä ei koskaan lueta oikeaan käyttöön puoliakaan vaan hoardataan lisää ja ensi vuonna sitä arkistokamaa on 32TB.

Suurin osa tuolla levyllä olevasta datasta ei ole niin tärkeää etten voisi sitä menettää, ainakaan tässä vaiheessa. Se kun olisi ladattavissa uudestaan netistä ainakin toistaiseksi, veisi vaan päiviä ellei viikkoja ladata se kaikki uudestaan. Siksi kopioin ko. datat toisille levyille ennen levyn formatointa, jotta säästyisi aikaa. Ja kyllä se on rahanarvoista tavaraa, olen maksanut vuosien aikana niistä n. 16000 euroa.

Toki ymmärrän että monille "data" ei tarkoita nykypäivänä muuta kuin someen otettuja selfieitä tms., olen samaa mieltä että ehkä ne voi hyvinkin kaikki menettää sitten kun Whatsapp tai Facebook tai Tiktok sulkee palvelunsa, data on katoavaista ja tuskin itseäkään kiinnostaa vanha kuva millaisen pizzan söi Tampereella 1.5.2022. (en itse harrasta itsestäni kuvien ottamista kännykälläni jatkuvalla syötöllä ja niiden julkaisemista nettiin, se ei tuo elämääni mitään sisältöä).

Toisaalta, jos mietin säästämiäni digitaalisia videoita häistäni tai lapsieni elämän alkutaipaleesta, ne haluan tunnesyistä säilyttää useana kopiona ja korruptoitumattomina, ja lapseni ovat ilmaisseet samaa tahtoa. Veikkaan että katsovat niitä vielä 60 vuoden kuluttua, mahdollisesti myös heidän omat lapsensa haluavat nähdä ja ehkä jopa säilyttää niitä. Minusta ainakin olisi ollut kiehtovaa nähdä videoita esim. oman isäni ja äitini lapsuudesta.

Sinänsä keskustelu siitä onko minulla toisten mielestä lupa tai järkevää arkistoida haluamaani dataa ei ole tässä keskustelussa oleellista, vaan se millä eri tavoin datansa eheyttä voi ylläpitää ja tarkistaa mahdollisimman pienellä vaivalla.