ZFS kuluttajaluokan SSD:llä

[dun]

Hei,
olen pyöritellyt jo pidemmän aikaa mielessä ZFS pakan migroimista tai luomista tyhjiltään sata ssd levyistä. Nyt kyselenkin, että onko kenelläkään käytännön kokemusta tai linkkiä tarjoilla kyseiseen projektiin? Onko syynä tiedon puutteelle netissä se että a) yritykset ei mainosta tekemisiään vai b) ei ole yksinkertaisesti järkevää jonkin ZFS:n teknisen rajoitteen takia?

Itse en ole vielä rahallisesti valmis ottamaan askelta täysin SSD:lle siirtymiseen (koska 4TB maksaa nyt 300€), koska se on vielä niin kallista. Itse ehkä olisin valmis siirtymään n. 200€ per 4TB (tai kun 1GB maksaa 0,05€). Siirto olisi helpompi, jos hinta olisi 0,025€/GB, mutta silloin oltaiisiin jo pyörivän ruosteen hinnoissa.

Mitä tutkailin nettiä, niin löysin muutamia lähteitä, joissa vihjattiin että ZFS pudottaisi ilman kapasitaattoria olevien ssd:n nopeudet todella hitaaksi, koska se pakottaisi synkroonisen kirjoituksen päälle (lue 500 iops per levy, vs. 90k burstaava). Tämä ei olisi tietenkään ongelma minulle, jos on mahdollista kääntää kyseinen vipu pois päältä, mutta asiasta en sen enempää löytänyt. Speksistä en myöskään moisesta ominaisuudesta löytänyt jälkeä, mutta ehkä vain missasin sen.

Mietinkin siis että ennen kuin heittää hirveän kasan rahaa roskiin, niin olisiko järkevämpi hommata vaikka Crucial MX500 tai Sandisk 3d Ultra levyjä jossain 256G kokoluokassa joku 4-5 kpl ja laittaa ZFS z1 pooli kasaan. Ongelma vain tuossa on se, että en tiedä onko itsellä mitään käyttöä noin pienelle poolille (4 x 256G ~1TB pooli, yhdellä levyllä moisen tilan saa n. 50-70€ ja 2TB irtoaa jo 100€ riippuen valmistajasta...). Olisiko homma sitten järkevämpi toteuttaa 3 x 1TB ssd:llä, jolloin saisin 2TB käytettävää tilaa. Sillä jo ehkä tekisi jotain. Mutta taas nälkä kasvaa syödessä ja alkaa miettimään 2TB levyjä, joista maksaisi 300€ jos hommaisi 3 kpl...

Tai jos hommaisi kopan johon menisi 12 kpl 2TB levyjä, niin z1:llä saisi saman kuin 8 kpl 4TB z2 pakan. Puuh, valintoja.

Eli ehkä pidän vain asian mielenkiintoisena ja hommaan halvimmat 512G (30€ kpl) levyt Amazonista (Intenso Top) ja teen 3 levyn z1:n ja katson mitä käy. Eli testaan varmaan ensin yhden levyn fio:lla ja kun testattu, teen z1:llä saman testin. Tosin nämä TOP mallit voi olla jotain aika hyviäkin, niin voisi miettiä jos kokeilisi jollain mitä sattuu levyillä...

 

[jamituohino]

Täällä pyörii 4x2TB MX500 Striped Mirrorissa TrueNAS Coressa, eli ZFS:llä. Hyvin tuntunut toimivan ilman mitään ihmeellisempiä säätöjä. Tiedostoista riippuen ~ 600-900MB/s siirtonopeudet (10G sisäverkko). Poolissa olevat (harvemmin pelatut) pelit lataavat lähes yhtä nopeasti, kuin Kingstonin A2000 m.2 NVME SSD:ltä, joka löytyy omasta koneesta. Tekstuuritkin ladanneet täysin ilman ongelmia.

Verrattu myös Samsung PM1635a (1.6TB, levyissä kapasitaattorit) Mirroriin, lähes yhtä nopeat siirtonopeudet. Nämä tosin luonnostaankin hieman nopeampia, mutta sama peli (CP2077) lataa yhtä nopeasti, kuin toisella Poolilla.

 

[dun]

Täällä pyörii 4x2TB MX500 Striped Mirrorissa TrueNAS Coressa, eli ZFS:llä. Hyvin tuntunut toimivan ilman mitään ihmeellisempiä säätöjä. Tiedostoista riippuen ~ 600-900MB/s siirtonopeudet (10G sisäverkko). Poolissa olevat (harvemmin pelatut) pelit lataavat lähes yhtä nopeasti, kuin Kingstonin A2000 m.2 NVME SSD:ltä, joka löytyy omasta koneesta. Tekstuuritkin ladanneet täysin ilman ongelmia.

Verrattu myös Samsung PM1635a (1.6TB, levyissä kapasitaattorit) Mirroriin, lähes yhtä nopeat siirtonopeudet. Nämä tosin luonnostaankin hieman nopeampia, mutta sama peli (CP2077) lataa yhtä nopeasti, kuin toisella Poolilla.

Hm... 4 levyllä Striped Mirror taitaa suorituskyvyn kannalta parempi varmaankin, kun pariteettibitin laskemiseen ei tarvitse laskentaa käyttää... 8-12 levyllä vain menettää kapasiteettia rajusti... Mutta hyvä ettei nopeudet putoa... Milloinkohan hinta tippuu 0,025€/GB...

 

[muumio]

Tuossa on 8x MX500 1TB raidz1 puhissut vuoden päivät ongelmitta, bitti liikkuu vajaa 2GB/s.

 

[Bahamies]

Oletteko muuten seurailleet miten nopeasti levyt ovat kuluneet kirjoitusmäärien suhteen? ZFS aiheuttaa joissain tilanteissa aika hurjia määriä write amplificationia, joka voi joissain käyttötilanteissa lyhentää levyn käyttöikää ihan merkittävästi.

Itse olen lähiaikoina asentamassa Proxmoxin ZFS mirror SSD-levyille ja totesin, että tuo on ainakin sellainen käyttöskenaario, joka polttaa pienemmät kuluttaja-SSD:t huolestuttavan nopeasti. Tilasin Ebaysta pari Intelin S3700-sarjan SSD:tä tuota asennusta varten.

 

[jamituohino]

Oletteko muuten seurailleet miten nopeasti levyt ovat kuluneet kirjoitusmäärien suhteen?

Itse en ole vielä ainakaan huomannut. Tosin ollut pakka pyörimässä vasta n. kuukauden.

Edit: nyt tarkastin, yksi levy 91%, kolme muuta 95%. Ostettu kuitenkin käytettynä, ja aikaisempi omistaja on näitä käyttänyt sen n. 32 000 tuntia ennen minua. En ole tosin varma, käyttikö hän juuri ZFS:sää.

 

[muumio]

Nykyään ittellä on nuo pääosin "varasto" poolina eikä dataa poisteta/muuteta kovin usein. Aiemmin oli myös jokunen virtuaali, mutta siirsin ne toiselle raudalle.

Percent_Lifetime_Remain arvo on kaikilla levyillä 98-100. Eiköhän nuo nopeesti saa ZFS kanssa raiskattua halutessaan.

 

[dun]

Oletteko muuten seurailleet miten nopeasti levyt ovat kuluneet kirjoitusmäärien suhteen? ZFS aiheuttaa joissain tilanteissa aika hurjia määriä write amplificationia, joka voi joissain käyttötilanteissa lyhentää levyn käyttöikää ihan merkittävästi.

Itse olen lähiaikoina asentamassa Proxmoxin ZFS mirror SSD-levyille ja totesin, että tuo on ainakin sellainen käyttöskenaario, joka polttaa pienemmät kuluttaja-SSD:t huolestuttavan nopeasti. Tilasin Ebaysta pari Intelin S3700-sarjan SSD:tä tuota asennusta varten.

Ei se zfs kirjoita kuin silloin kun data muuttuu. Jos sinne ei jatkuvasti kirjoita jotain, niin lukutilassa ne on suurimman osan ajasta...

Hieman data omasta mekaanisesta pakasta:

/dev/sda 1960 # 2 months 20 days
/dev/sdb 16525 # 1 years 10 months 19 days
/dev/sdc 26232 # 2 years 11 months 28 days
/dev/sdd 26231 # 2 years 11 months 28 days
/dev/sde 44716 # 5 years 1 months 7 days
/dev/sdf 44722 # 5 years 1 months 8 days
/dev/sdg 44730 # 5 years 1 months 8 days
/dev/sdh 44739 # 5 years 1 months 8 days

Vanhimmalla levyllä näyttää olevan 212TB kirjoituksia, n. 3 vuotta vanhalla 98tb jne... jos laskin oikein...

Eli ssd: luulisi kestävän omalla käytöllä n. 10 vuotta ennen kun paukahtaa. Valmistajat on yleensä aika varovaisia tuon TBW arvonsa kanssa, niin todennäköisesti solukuolema ei tule viemään levyä.... lukuja on tullut 1,5pb tuolle vanhimmalle levylle...

 

[flamma]

Oletteko muuten seurailleet miten nopeasti levyt ovat kuluneet kirjoitusmäärien suhteen? ZFS aiheuttaa joissain tilanteissa aika hurjia määriä write amplificationia, joka voi joissain käyttötilanteissa lyhentää levyn käyttöikää ihan merkittävästi.

Itse olen lähiaikoina asentamassa Proxmoxin ZFS mirror SSD-levyille ja totesin, että tuo on ainakin sellainen käyttöskenaario, joka polttaa pienemmät kuluttaja-SSD:t huolestuttavan nopeasti. Tilasin Ebaysta pari Intelin S3700-sarjan SSD:tä tuota asennusta varten.

Itsellä on 6x 1TB SSD (Samsung 870QVO & WD Blue) raidZ1 kokoonpano tiedostopurkissa. Setti on ollut kasassa aika tarkkaan 17 kuukautta. Vanhimmassa levyssä näyttää olevan kirjoitusta 11 teraa ja levyllä on ollut aiemmin käyttöjärjestelmää ja muuta. En kyllä olisi huolissani asiasta, jos nuo valmistajien lupaamat kirjoituskerrat pitävät sinnepäinkään paikkansa. Levyt ovat muutenkin kokonsa puolesta romurautaa, kun lukemat tulevat täyteen. Tosin käyttö itsellä on ihan normaali kodin tiedostopalvelin, eli aika kevyttä. Mitään vakavampaa en lähtisi näiden päälle virittelemään.

 

[dun]

Itsellä on 6x 1TB SSD (Samsung 870QVO & WD Blue) raidZ1 kokoonpano tiedostopurkissa. Setti on ollut kasassa aika tarkkaan 17 kuukautta. Vanhimmassa levyssä näyttää olevan kirjoitusta 11 teraa ja levyllä on ollut aiemmin käyttöjärjestelmää ja muuta. En kyllä olisi huolissani asiasta, jos nuo valmistajien lupaamat kirjoituskerrat pitävät sinnepäinkään paikkansa. Levyt ovat muutenkin kokonsa puolesta romurautaa, kun lukemat tulevat täyteen. Tosin käyttö itsellä on ihan normaali kodin tiedostopalvelin, eli aika kevyttä. Mitään vakavampaa en lähtisi näiden päälle virittelemään.

Juu, en ole vain oikein löytänyt mistään hyvää pientä koppaa johon saisi esim. 2 x 5.25" ulkoisiin 2 x 6 aseman hotswap kelkat kiinni tai jos löytyisi valmiina. Silloin voisi huitaista noita halvimpia dramittomia testiksi sen 12 kpl ja saisi 11 kapasiteetin käyttöön...

 

[dun]

Ooh, 244€ suomesta (datatronic) olisi tämmöisiä tarjolla. SATA III 6Gb/s SSD230S | 2.5" SSDs - Transcend Information, Inc.

Speksien mukaan: TLC, 2,2 PBW, DRAM cache.

Pesee tällä hetkellä Crucial MX500 tarjouksen Amazonistakin ja ei taida olla edes tarjouksessa nyt...

 

[samim]

Pesee tällä hetkellä Crucial MX500 tarjouksen Amazonistakin ja ei taida olla edes tarjouksessa nyt...

Crucial MX500 4TB 3D NAND SATA 2.5" Internal SSD, Up to 560MB/s - CT4000MX500SSD1

265,47€+ veroero

https://www.amazon.de/Crucial-MX500-NAND-Internal-560MB/dp/B09FRRWVWX

Jos vertaa tuota Crucialia Transcendiin, niin miten nuo vertautuisivat?

 

[dun]

Crucial MX500 4TB 3D NAND SATA 2.5" Internal SSD, Up to 560MB/s - CT4000MX500SSD1

265,47€+ veroero

https://www.amazon.de/Crucial-MX500-NAND-Internal-560MB/dp/B09FRRWVWX

Jos vertaa tuota Crucialia Transcendiin, niin miten nuo vertautuisivat?

Etsin eilen pikaisesti testejä, mutta vähän huonosti löytyi... En tiedä syytä, ehkä halvimpana kuluttaja levynä ei vain ole tai sitten ei ole vielä tullut markkinoille. Amazon.de:stä ei koko levyä löydy... Että enpä tiedä, speksien mukaan pitäisi olla aika samanlaisia Crucialin kanssa, mutta vaikea sanoa. Muistit taitaa tulla omalta tehthaalta, mutta kontrollerit ja muut asiat tulee varmaan muualta (Transcend Information - Wikipedia). Crucial on taas Micronin kuluttajabrändi ja yksi isoimmista NAND valmistajista, eli MX500 ja BX500 sarjan palikat tulee suurimmalta osalta vertikaalisti omalta tehtaalta. Transcendilla ei ole yhtä isoa voluumia takana, niin veikkaan että osien vaihtuvuutta on enemmän sillä. Mutta speksien mukaan pitäisi olla aika samanlaisia.

Mutta kunhan hinta putoaa tuonne 200€ tai alle, niin alan itse vaihtamaan (jos silloin vielä sata-väyläisenä löytyy). Nyt kuitenkin on pudonnut reilusti hinnat jo, kun edellinen Black Friday tarjous oli 299€ ja nyt ollaan jo tuntuvasti siitä alemmalla tasolla (paitsi Sandisk Ultra 3d on 330€, mutta kuitenkin).

 

[dun]

Puuh, taas meni yksi levy (jossa oli vielä n. 2 viikkoa takuuta) vaihtoon. Lähtee UPS:lla jenkkeihin tällä kertaa.

Nyt tilalle cold-spare WD Red kunnes uusi levy tulee takaisin. Se mikä yllätti tällä kertaa oli kiekon ikä joka oli vain 5kk edellisestä vaihdosta. No hm... hemmetti kun pitäisi käyttää muuhunkin rahaa kuin kaikkien levyjen vaihtoon. Transcendia en uskalla kyllä lähteä kokeilemaan kun MX500 on sen verran hyvän maineen ehtinyt saada. No mutta kun seuraava levy lahoaa ja takuu on loppu, niin pitää kokeilla SSD:tä vaikka maksaakin nyt 2,1 kertaa enemmän kuin uusi vastaava pyörivä ruoste.

 

[Janiautomation]

Omassa NASsissa ZFS ja 4x sampan 970PRO tikkuja. Ei mitään ongelmia ja tietoa liikkuu sen mitä PCIE3x4 väylät antaa myöten. Tietokantoja, virtualisointia yms pienellä blokki koolla eli kirjoitusmäärät kohtuu isoja. Samoin muutama muukin kuluttajatikku pyöriny ilman mitään ongelmia.

 

[zepi]

Omassa NASsissa ZFS ja 4x sampan 970PRO tikkuja. Ei mitään ongelmia ja tietoa liikkuu sen mitä PCIE3x4 väylät antaa myöten. Tietokantoja, virtualisointia yms pienellä blokki koolla eli kirjoitusmäärät kohtuu isoja. Samoin muutama muukin kuluttajatikku pyöriny ilman mitään ongelmia.

Mikä emo / NAS / kone kotelo jne?

Olen myös koittanut speksata itselleni SSD-only NAS:ia ja minulle kelpaisi joku "NUC" jossa on 3x M.2 ja 2.5GbE liitäntä + 3x 4TB raidz1. Vaihtoehtoisesti pitää etsiä joku mITX emo joka tukee PCI-e bifurkaatiota ja lyödä siihen 4x M.2 adapteri.

Noissa vaan harmillisesti ei saa yhtään sen nopeampia verkkoliittimiä ilman, että maksaa mammonaa jostain server-grade emosta.

 

[takomo]

Mitä etua/haittaa Enterprise-luokan SSD:sta olisi kuluttajalevyihin verrattuna? Kirjoituskestävyys ainakin kasvaa selvästi suuremmaksi mutta onko erilaisilla "Data protection"-ominaisuuksilla merkitystä? Esim. luvataan, että matkalla oleva data saadaan säilöön virtojen katketessa.

Hinta näyttäisi hyppäävän n. tekijällä kaksi, eli ~2 TB näyttää löytyvän ~200€ ja ~4TB n. 400€.

Esim. Crucial MX500 kestävyys n. 0,2 DWPD (197 GB/1TB per päivä)
Kingston DC500R/-M, kestävyys 0,5/1,3 DWPD
Micron 5400 Pro/Max, kestävyys 1,5 (Pro)/ 5,0 (Max) DWPD

Miten vahvasti zfs-RAID-pakan kirjoitusta rinnakkaistetaan? Jos sähköt menee sopivasti, voiko koko pakka pimentyä kerralla eikä vain yksi levy?

 

[muumio]

Mitä etua/haittaa Enterprise-luokan SSD:sta olisi kuluttajalevyihin verrattuna? Kirjoituskestävyys ainakin kasvaa selvästi suuremmaksi mutta onko erilaisilla "Data protection"-ominaisuuksilla merkitystä? Esim. luvataan, että matkalla oleva data saadaan säilöön virtojen katketessa.

Hinta näyttäisi hyppäävän n. tekijällä kaksi, eli ~2 TB näyttää löytyvän ~200€ ja ~4TB n. 400€.

Esim. Crucial MX500 kestävyys n. 0,2 DWPD (197 GB/1TB per päivä)
Kingston DC500R/-M, kestävyys 0,5/1,3 DWPD
Micron 5400 Pro/Max, kestävyys 1,5 (Pro)/ 5,0 (Max) DWPD

Miten vahvasti zfs-RAID-pakan kirjoitusta rinnakkaistetaan? Jos sähköt menee sopivasti, voiko koko pakka pimentyä kerralla eikä vain yksi levy?

Eikö UPS ois "oikeempi" lähestymistapa ongelmaan?

 

[Bahamies]

Mitä etua/haittaa Enterprise-luokan SSD:sta olisi kuluttajalevyihin verrattuna? Kirjoituskestävyys ainakin kasvaa selvästi suuremmaksi mutta onko erilaisilla "Data protection"-ominaisuuksilla merkitystä? Esim. luvataan, että matkalla oleva data saadaan säilöön virtojen katketessa.

Hinta näyttäisi hyppäävän n. tekijällä kaksi, eli ~2 TB näyttää löytyvän ~200€ ja ~4TB n. 400€.

Esim. Crucial MX500 kestävyys n. 0,2 DWPD (197 GB/1TB per päivä)
Kingston DC500R/-M, kestävyys 0,5/1,3 DWPD
Micron 5400 Pro/Max, kestävyys 1,5 (Pro)/ 5,0 (Max) DWPD

Miten vahvasti zfs-RAID-pakan kirjoitusta rinnakkaistetaan? Jos sähköt menee sopivasti, voiko koko pakka pimentyä kerralla eikä vain yksi levy?

Jos tuo sähköjen katkeaminen huolettaa, niin UPS on parempi hankinta kuin enterprise-SSD.

Jos olet huolissasi kirjoituskestävyydestä, niin kannattaa miettiä sitä millaisessa käytössä se oma levy tulisi olemaan. Jos puhutaan puhtaasta datan säilömisestä ja sen ajoittaisesta käsittelystä (esim. mediakirjasto), niin kuluttajatason SSD:t kestävät sitä ihan hyvin. Jos taas tarkoitus on pyörittää aina päällä olevia virtuaalikoneita, niin alkaisin katsomaan mahdollisimman kestäviä levyjä. Tuollaisessa käytössä kuluttaja SSD:n saa kyllä poltettua pahimmillaan jo parissa vuodessa.

 

[dun]

Mitä etua/haittaa Enterprise-luokan SSD:sta olisi kuluttajalevyihin verrattuna? Kirjoituskestävyys ainakin kasvaa selvästi suuremmaksi mutta onko erilaisilla "Data protection"-ominaisuuksilla merkitystä? Esim. luvataan, että matkalla oleva data saadaan säilöön virtojen katketessa.

Hinta näyttäisi hyppäävän n. tekijällä kaksi, eli ~2 TB näyttää löytyvän ~200€ ja ~4TB n. 400€.

Esim. Crucial MX500 kestävyys n. 0,2 DWPD (197 GB/1TB per päivä)
Kingston DC500R/-M, kestävyys 0,5/1,3 DWPD
Micron 5400 Pro/Max, kestävyys 1,5 (Pro)/ 5,0 (Max) DWPD

Miten vahvasti zfs-RAID-pakan kirjoitusta rinnakkaistetaan? Jos sähköt menee sopivasti, voiko koko pakka pimentyä kerralla eikä vain yksi levy?

No, sanotaanko nyt näin että jos sähköt menee, niin ups sulkee sitten koneen rauhallisesti jos sähköt ei palaa n. 2h sisällä. Mulla on aika järeä ups tossa 30-50w kulutuksen päässä (sen verran tuo nas näyttää vievän virtaa, niin ei tarvi ihan ensimmäisenä huolestua). Ei harmita yhtään että on ubuntu + amd epyc 3000 sarjan vekotin aikoinaan 2019 tullut hommattua kun on nää pomppivat sähkönhinnat olleet...