NAS rakentelut

Liittynyt
13.01.2017
Viestejä
976
Miten olette ratkoneet ZFS:n kanssa fragmentoitumis-ongelmaa?

Minä latailen Transmissionilla Linux-isoja ja lueskelin, että Torrentien latailu suoraan ZFS-pooliin fragmentoisi levyä. Normaalistihan tämä ei ole ongelma, mutta ZFS:ää ei voi defragmentoida oikein muuten kuin siirtämällä kaiken datan pois levyltä ja sitten takaisin. Kun puhutaan teratavuista, niin tuo ei oikein tunnu järkiratkaisulta.

Minulla on tuossa hyllyssä ylimäräinen 500Gb WD Blue, josta suunnittelin tekeväni Transmissionille "cache"-levyn. Järjestys olisi siis Transmission -> "Cache" -> ZFS-pool. Näin tiedostot kirjotettaisiin kokonaisina pooliin ja fragmentoitumista ei pitäisi (?) tapahtua. Nuo siirrot olen jo saanut Radarilla ja Sonarilla automatisoitua, joten ne eivät ole ongelma. Miten porukka on yleensä ottaen ratkonut tällaisen ongelman? Olettaisin, että sama ongelma on kaikilla, jotka käyttävät P2P-ohjelmia ja ZFS:ää.
 
Liittynyt
23.01.2017
Viestejä
121
Miten olette ratkoneet ZFS:n kanssa fragmentoitumis-ongelmaa?

Minä latailen Transmissionilla Linux-isoja ja lueskelin, että Torrentien latailu suoraan ZFS-pooliin fragmentoisi levyä. Normaalistihan tämä ei ole ongelma, mutta ZFS:ää ei voi defragmentoida oikein muuten kuin siirtämällä kaiken datan pois levyltä ja sitten takaisin. Kun puhutaan teratavuista, niin tuo ei oikein tunnu järkiratkaisulta.

Minulla on tuossa hyllyssä ylimäräinen 500Gb WD Blue, josta suunnittelin tekeväni Transmissionille "cache"-levyn. Järjestys olisi siis Transmission -> "Cache" -> ZFS-pool. Näin tiedostot kirjotettaisiin kokonaisina pooliin ja fragmentoitumista ei pitäisi (?) tapahtua. Nuo siirrot olen jo saanut Radarilla ja Sonarilla automatisoitua, joten ne eivät ole ongelma. Miten porukka on yleensä ottaen ratkonut tällaisen ongelman? Olettaisin, että sama ongelma on kaikilla, jotka käyttävät P2P-ohjelmia ja ZFS:ää.
Kuulostaa järkevältä. Vinkkinä ZFS-poolin scrub ajot hyvä tehdä tietyin aikavälein esim. viikottain. En ole ihan varma auttaako mahdolliseen fragmentoitumiseen milläänlailla.
 
Liittynyt
13.01.2017
Viestejä
976
Kuulostaa järkevältä. Vinkkinä ZFS-poolin scrub ajot hyvä tehdä tietyin aikavälein esim. viikottain. En ole ihan varma auttaako mahdolliseen fragmentoitumiseen milläänlailla.
Lukaisin jostain, että kerran kuukaudessa olisi sopiva scrub aikaväli, mutta nopeastihan tuon Crontabista muuttaa. Scrub tietääkseni auta ollenkaan fragmentoitumiseen.

Toinen vaihtoehto, jonka löysin olisi se, että rakentaisi ZFS-pooliin uuden datasetin, jonka varaisi täysin latauksia varten. Tällöin fragmentoituminen pysyisi ilmeisesti tuon yhden datasetin sisällä, mutta en oikein käsitä mitä se, koska kyseessä on kuitenkin sama levy, jolle data kirjoitetaan. Mitä tapahtuu poolin suorituskyvylle, jos yhden sen sisällä on yksi fragmentoitunut dataset ja toinen on hyväkuntoinen?
 
Liittynyt
10.10.2017
Viestejä
111
NAS / server / all-rounderi ois nyt levyjä vaille valmis korvaamaan raspin, mutta millä käyttöjärjestelmällä? Käyttöä ois nas, plex, web server, tietokantoja, p2p, virtuaalikoneita erilaisiin testeihin ja sandboxeihin, nämä nyt ainakin tuli mieleen. Onko jotain mikä hoitaisi tuon kaiken, lähinnä nuo virtualisoinnit mietityttää? Ja tietysti 4 free
 
Viimeksi muokattu:
Liittynyt
23.01.2017
Viestejä
121
NAS / server / all-rounderi ois nyt levyjä vaille valmis korvaamaan raspin, mutta millä käyttöjärjestelmällä? Käyttöä ois nas, plex, web server, tietokantoja, p2p, virtuaalikoneita erilaisiin testeihin ja sandboxeihin, nämä nyt ainakin tuli mieleen. Onko jotain mikä hoitaisi tuon kaiken, lähinnä nuo virtualisoinnit mietityttää? Ja tietysti 4 free
  • Freenas - docker ja virtuaalikonetuki ja freebsd pohjaiset jailit (iocage)
  • Openmediavault (OMV) - docker tuki näyttäisi olevan joidenkin youtube videoiden perusteella vaikka nettisivuilla ei näytä olevan mainintaa, virtuaalikone (virtualbox) tuen saanee extras kautta...
  • Proxmox VE
  • Unraid (maksullinen)
  • Perus linux distro / server versio (esim. ubuntu, debian jne...) + virtualisointiohjelmat + haluamasi ohjelmat
edit-1: lisäys: XCP-ng
edit-2: lisäys: + Xen Orchestra
 
Viimeksi muokattu:
Liittynyt
17.10.2016
Viestejä
586
Miten olette ratkoneet ZFS:n kanssa fragmentoitumis-ongelmaa?

Minä latailen Transmissionilla Linux-isoja ja lueskelin, että Torrentien latailu suoraan ZFS-pooliin fragmentoisi levyä. Normaalistihan tämä ei ole ongelma, mutta ZFS:ää ei voi defragmentoida oikein muuten kuin siirtämällä kaiken datan pois levyltä ja sitten takaisin. Kun puhutaan teratavuista, niin tuo ei oikein tunnu järkiratkaisulta.

Minulla on tuossa hyllyssä ylimäräinen 500Gb WD Blue, josta suunnittelin tekeväni Transmissionille "cache"-levyn. Järjestys olisi siis Transmission -> "Cache" -> ZFS-pool. Näin tiedostot kirjotettaisiin kokonaisina pooliin ja fragmentoitumista ei pitäisi (?) tapahtua. Nuo siirrot olen jo saanut Radarilla ja Sonarilla automatisoitua, joten ne eivät ole ongelma. Miten porukka on yleensä ottaen ratkonut tällaisen ongelman? Olettaisin, että sama ongelma on kaikilla, jotka käyttävät P2P-ohjelmia ja ZFS:ää.
Tähän jo näemmä vastailtiinkin, mutta lisätäänpä omakin kokemus mukaan.

Samaa olen itse käyttänyt, lataukset omalle erilliselle levylleen ja kun torrent on valmis niin data siirtyy varasto ZFS:n puolelle. Tämä on se varmin ja paras ratkaisu jos ylimääräisen kiekon käyttö ja mahduttaminen ei aiheuta ongelmaa.

Scrub ei ainakaan auta fragmentoitumiseen mitenkään, se vain lukee datan läpi ja tarkistaa onko ehjää.

Erillinen datasetti voi auttaa, mutta vain jos datat siirtää sieltä lopuksi pois. Käsittääkseni kirjoitus menee kuitenkin koko pooliin, eli se torrentin lataus fragmentoituu. Jos dataa siirtää datasettien välillä niin sehän luetaan ja kirjoitetaan uusiksi toiseen datasettiin, eli tuon pitäisi tavallaan nollata fragmentoituminen, ainakin jos vapaata tilaa on riittävästi että se loppusijoituskohde saadaan kirjoitettua yhtenäisesti.
 
Liittynyt
13.01.2017
Viestejä
976
Tähän jo näemmä vastailtiinkin, mutta lisätäänpä omakin kokemus mukaan.

Samaa olen itse käyttänyt, lataukset omalle erilliselle levylleen ja kun torrent on valmis niin data siirtyy varasto ZFS:n puolelle. Tämä on se varmin ja paras ratkaisu jos ylimääräisen kiekon käyttö ja mahduttaminen ei aiheuta ongelmaa.

Scrub ei ainakaan auta fragmentoitumiseen mitenkään, se vain lukee datan läpi ja tarkistaa onko ehjää.

Erillinen datasetti voi auttaa, mutta vain jos datat siirtää sieltä lopuksi pois. Käsittääkseni kirjoitus menee kuitenkin koko pooliin, eli se torrentin lataus fragmentoituu. Jos dataa siirtää datasettien välillä niin sehän luetaan ja kirjoitetaan uusiksi toiseen datasettiin, eli tuon pitäisi tavallaan nollata fragmentoituminen, ainakin jos vapaata tilaa on riittävästi että se loppusijoituskohde saadaan kirjoitettua yhtenäisesti.
Tila ei ole ongelma, kun vasta kuusi paikkaa kotelon 15:sta on käytössä. Laitoin eilen ylimäärisen WD Bluen koteloon, laitoin Docker Transmissionin pyörimään sinne ja automatisoin siirrot. Hienosti näyttäisi toimivan, vaikka Sonarr/Radarr jostain syystä ei suostu siirtämään tiedostoa vaan ainoastaan kopioimaan. Laitoin crontabiin kerran päivässä komennon poistamaan valmiit lataukset tältä latauslevyltä, että en vedä latauslevyä tukkoon, kunnes keksin tähän ratkaisun.

Nythän on pieni riski siihen, että tuolla komennolla poistan dataa, joka on vasta siirtymässä, mutta todennäköisyys tuolle on sen verran pieni, että en osaa kauhean huolissani olla. Puhutaan jostain 10 minuutin ikkunasta joka päivä, kun näin voisi edes teoriassa tapahtua.
 
Liittynyt
25.10.2016
Viestejä
755
Oma nassiprojekti nytkähti taas eteenpäin kun tilasin epsanjan amazonista neljä kappaletta 4 teraisia wd redejä. Onko kellään kokemusta windows server 2019 käyttiksestä nassissa? Olis yksi lisenssi käytettävissä niin ajattelin tuohon nassiin sen hyödyntää.
Lisenssi olikin 2016 eikä 2019. Eikä tuo microserver näemmä edes tue 2019 winkkaria.
 
Liittynyt
10.07.2017
Viestejä
1 512
Auttaisiko fragmentoitumiseen torrenttien lataamisessa monessa clientissä oleva asetus "preallocate disk space"?
 
Liittynyt
13.01.2017
Viestejä
976
Auttaisiko fragmentoitumiseen torrenttien lataamisessa monessa clientissä oleva asetus "preallocate disk space"?
Minun lukemani perusteella tuo todennäköisesti vaan pahentaa ongelmaa. Suositus on, että Pre-allocation kytketään pois ZFS:ää käytettäessä.

Sanoisin, että tämä ei ole kuitenkaan mikään erityisen suuri ongelma, jos kotelossa on tilaa yhdelle lisälevylle latauksia varten. Kun huomioidaan ZFS:n käyttäjäkunta, niin yksi lisälevy on harvoin ongelma.
 
Liittynyt
10.07.2017
Viestejä
1 512
Onko lisälevyllä pakko käyttää ZFS:ää? Eikö voisi käyttää perinteistä tiedostojärjestelmää (UFS?), jos kopioidaan sitten ZFS:ään?

Itse olen tyytynyt lataamaan clientilla ja sitten kun valmiita, niin siityy freenassiin. En ole vielä tutustunut tuohon freenasin omaan torrent clientiin, pitäisi vielä VPN saada rinnalle sielä.
 
Liittynyt
14.09.2018
Viestejä
543
ZFS on Copy-on-Write järjestelmä. Eli se ei kirjoita sinne pre-allocation kohtaan kuitenkaan. Näin suojellaan niitä varattuja bittejä sen varalta että kone kaatuu kesken kirjoituksen. :happy:

Btrfs olisi vähän joustavampi kun CoWin saa pois päältä.
 
Liittynyt
13.01.2017
Viestejä
976
Onko lisälevyllä pakko käyttää ZFS:ää? Eikö voisi käyttää perinteistä tiedostojärjestelmää (UFS?), jos kopioidaan sitten ZFS:ään?
Ei ole pakko ja näin itse juuri rakensin latauslevyn. ZFS:lle tärkeää on vain se, että data kopioidaan isoina paketteina levylle, jotta vapaa tila ei fragmentoidu.
 

dun

Liittynyt
18.10.2016
Viestejä
1 068
Itsellä on 256GB Samsung 850 pro sata3 (ext4)levy roottilevynä jonne valuu torrentit ja josta ne sitten valmistuttuaan siirtyy automaattisesti delugella varasto-osioon (ZFS).
Koodi:
$ sudo zpool list
NAME   SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
tank  xx,xT  xx,xT  xx,xT         -    15%    83%  1.00x  ONLINE  -
Pakka on luotu uusiksi 2017 joulukuussa jolloin ostin uudet levyt ja päästin vanhat varastoon. Vielä puuttuu 4 levyä pakasta ja sitten pitää rakentaa pakka uusiksi että saa z2:n tehtyä yhdestä poolista useamman sijaan koska siinä häviää kamalasti tilaa...

Harmi ettei zfs raid pakan laajennusta ole tullut vielä saataville vaikka jo 2018-2019 sitä lupailtiin...
 

dun

Liittynyt
18.10.2016
Viestejä
1 068
Nyt alkaa ostohousut jo poltella sen verran että uskaltauduin jo kyselemään hieman tarjouksia kun suoraan hyllystä ei pohjoismaissa kaikkia palasia mitä himoitsen. Samoin esteenä on käytännössä mini-itx form-factor (jos siis en ole valmis päivittämään koppaa) ja ipmi vaatimus (jos koppa vaihtuu, niin sitten vaatimus ipmi:lle poistuu kun koteloon mahtuu näytönohjain, ilman sitä ei ruutuun saa kuvaa asennusvaiheessa).

Käyttö on pääasiassa mediavarasto, varmuuskopio ja Plex mediaserver. Jos töiden jälkeen vielä riittää kiinnostusta omiin projekteihin niin CI, kontti ja VM hommille jää aikaa. Ryzeniä meinasin, mutta se on kaikista kallein vaihtoehto, koska se ei mahdu nykyiseen koppaan ja samalla ajattelin tehdä vihdoin päätöksen siirtyä 9U kaappiin ja sitä myötä rack varusteisiin. Mutta taas toisaalta se maksaa n. 3x sen verran mitä pelkällä emo+muistipäivityksellä pääsisi.

Nykyinen rikkoutunut rauta:
Intel i3-4130T@2,9Ghz 35W, 8GB DDR3 ECC RAM, Passmark 1cpu: 1670, kaikki: 4154

Eli kolmesta vaihtoehdosta pitäisi nyt tehdä päätös (kaikissa 64GB muistia, 2 x 32GB ja jäljelle jää vielä kaksi paikkaa):

1) 1 220,66 €, Intel (Xeon D-1528, 6c/12t, 35W, 64GB ECC RAM, Passmark: 1cpu: 1197, kaikki: 8210
2) 1 028,95 € AMD (Epyc 3201, 8c/8t, 35W, 64GB ECC RAM, Passmark: 1cpu: 1653, kaikki: 9634
3) 3 281,98 € AMD Ryzen 3700X 8c/16t 65W + (kaappi, kotelo, kiskot, virtalähde, 64GB ECC RAM, 4 x kiintikset), Passmark: 1cpu: 2908, kaikki: 23856

Edit:
Koodi:
# Nyt koneessa 2017 joulusta asti
4 x Seagate Ironwolf

# Puuttuvat levyt (valinta pitää tehdä näiden 3 välillä...)
4 x Toshiba N300
4 x Western Digital Red
4 x Seagate Ironwolf
'

Edit2:

Tilasin option kaksi, kun Suomesta sai nopeiten ja edullisimmin emon/prossu kombon + 64gb muistia.

Taidan vain vaihtaa vanhat osat uudelle alustalle ja miettiä käyttispäivitystä/uudelleen asennusta sitten myöhemmin. Pitää vain keksiä joku toistettava testi jonka voi ajaa, että tietää saako rahoilleen vastinetta muuten kuin säästämällä sähkölaskussa muutaman euron vuodessa. Tehoja pitäisi kuitenkin olla nyt 2x vrt. vanha rikkoutunut (muistia 4x määrä).
 
Viimeksi muokattu:

dun

Liittynyt
18.10.2016
Viestejä
1 068
Ajattelin kirjoitella tänne arvostelun AMD Epyc 3201 piiriin perustuvasta 30W sulautetusta Mini-itx koneesta, jossa vertaan sitä vanhempaan i3-4130T 35W prosessorin ympärille rakennettuun Nasiin.

Kyseessä ei ole puhtaasti Nas, vaan enemmänkin kodin palvelin joka tarjoaa keskitetysti erilaisia palveluita.

Käyttiksenä säilyy edelleen Ubuntu server pelkällä terminaalina hallinnoima ja applikaatio asennetaan joko virtuaalikoneille (kvm2) tai docker containerilla.

Tiedostojärjestelmä on ext4 + ZFS 0.7.6.

Koppa: Silverstone ds380 mini-itx ( 8 x hotswap 3.5" + 4 x 2.5" internal)
Virtalähde: Corsair SFX 450 Gold
Kiintikset: 4 x Ironwolf + 1 x Samsung 850 Pro 256GB, Samsung 840 EVO 1TB
Pcie kortti: Serial Attached SCSI controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03) 8 x sata/sas (LSI SAS 2008 RAID Controller/ HBA Information)

Huomioitavaa:
ZFS on LSI:n kortissa kiinni ja SSD:t on emolevyn piirisarjan tarjoamassa sata-väylässä kiinni.
ZFS record size on 128K jokaisella datasetillä (niin siirtely datasetistä toiseen on nopein mahdollinen.
deDup on pois päältä jokaisella datasetillä.
compressratio on aika tarkkaan 1.00x.


Päivitettävät osat (kaikki hommattu 2015):
  • Intel i3-4130T@2.9ghz
  • ASRock E3C226D2I mini-itx c226 emolevy ipmi:llä (ASRock Rack > E3C226D2I)
  • 2 x 4GB DDR3 ECC
Uusi kokoonpano (tulee tammikuun puolessa välissä alustavien tietojen mukaan):
Nopeustestit joilla mittaan eron, tulee kun pystyn ajamaan testit.
  • Tiedosto siirto ssd > ZFS pakka
  • Tiedosto siirto ZFS > ssd
  • Tiedoston siirto ZFS > ZFS
  • Tiedoston purku ZFS > ZFS
  • Plexmediacenter käyttö 5 yhtäaikaisella jaolla 1080p transkoodaus
  • Plexmediacenter käyttö 5 yhtäaikaisella jaolla 4k transkoodaus
Edit:
Jos tulee mieleen mitä muita testejä ajaisin, niin kyselkää.

Tulokset (kolme kertaa ajettu komento, paras tulos kirjattu):
  • Vanha
    Koodi:
    du -h CentOS-8-x86_64-1905-dvd1.iso
    6,5G    CentOS-8-x86_64-1905-dvd1.iso
Tiedosto siirto ssd > ZFS pakka
Koodi:
$ pv CentOS-8-x86_64-1905-dvd1.iso > ssd_zfs/CentOS-8-x86_64-1905-dvd1.iso
6,65GiB 0:00:31 [ 219MiB/s] [=====================================>] 100%

Tiedosto siirto ZFS > ssd

Koodi:
$ pv CentOS-8-x86_64-1905-dvd1.iso > zfs_ssd/CentOS-8-x86_64-1905-dvd1.iso
6,65GiB 0:00:49 [ 136MiB/s] [=====================================>] 100%

Tiedoston siirto ZFS > ZFS

Koodi:
$ pv CentOS-8-x86_64-1905-dvd1.iso > zfs_zfs/CentOS-8-x86_64-1905-dvd1.iso
6,65GiB 0:01:48 [62,5MiB/s] [=====================================>] 100%
Plexmediacenter käyttö 5 yhtäaikaisella jaolla 1080p transkoodaus
* Riittää nippa nappa kolmelle käyttäjälle koska ei gpu kiihdytystä käytössä...

Plexmediacenter käyttö 5 yhtäaikaisella jaolla 4K transkoodaus
* Ei onnistu

Cachen poisto

Koodi:
sudo zpool remove tank ata-Samsung_SSD_840_EVO_1TB_S1D9NSAF631461J-part2

Uudelleen ajo ilman ssd cachea...
Tiedosto siirto ssd > ZFS pakka

Koodi:
$ pv CentOS-8-x86_64-1905-dvd1.iso > ssd_zfs/CentOS-8-x86_64-1905-dvd1.iso
6,65GiB 0:00:56 [ 120MiB/s][=====================================>] 100%

Tiedosto siirto ZFS > ssd

Koodi:
$ pv CentOS-8-x86_64-1905-dvd1.iso > zfs_ssd/CentOS-8-x86_64-1905-dvd1.iso
6,65GiB 0:00:48 [ 140MiB/s] [=====================================>] 100%

Tiedoston siirto ZFS > ZFS

Koodi:
$ pv CentOS-8-x86_64-1905-dvd1.iso > zfs_zfs/CentOS-8-x86_64-1905-dvd1.iso
6,65GiB 0:01:56 [58,5MiB/s] [=====================================>] 100%
l2arc + slog lisäys
Koodi:
        logs
          ata-Samsung_SSD_840_EVO_1TB_S1D9NSAF631461J-part1  ONLINE       0     0     0
        cache
          ata-Samsung_SSD_840_EVO_1TB_S1D9NSAF631461J-part2  ONLINE       0     0     0

Ja uudelleen...
Tiedosto siirto ssd > ZFS pakka

Koodi:
$ pv CentOS-8-x86_64-1905-dvd1.iso > ssd_zfs/CentOS-8-x86_64-1905-dvd1.iso
6,65GiB 0:00:54 [ 125MiB/s][=====================================>] 100%

Tiedosto siirto ZFS > ssd

Koodi:
$ pv CentOS-8-x86_64-1905-dvd1.iso > zfs_ssd/CentOS-8-x86_64-1905-dvd1.iso
6,65GiB 0:00:51 [ 131MiB/s] [=====================================>] 100%

Tiedoston siirto ZFS > ZFS

Koodi:
$ pv CentOS-8-x86_64-1905-dvd1.iso > zfs_zfs/CentOS-8-x86_64-1905-dvd1.iso
6,65GiB 0:01:35 [71,0MiB/s] [=====================================>] 100%
  • Uusi (odottaa emolevyn ja muistien saapumista) 1.1.2020
 
Viimeksi muokattu:
Liittynyt
20.10.2016
Viestejä
594
Virrankulutus järjestelmän levossa ja erilaisilla backup/mediacenter -kuormilla kiinnostaa.
 

dun

Liittynyt
18.10.2016
Viestejä
1 068
Vanhan NAS:n tulokset kirjattu nyt ensimmäiseen viestiin. Odotellaan vielä uutta emo + muisteja, niin pääsee ajamaan vertailutestit. Tuloksissa oli yllättävän paljon heittoa, josta nopein vaikutti olevan vielä toistaiseksi alkuperäinen setup pelkällä l2arc SSD cachella.
Liittyy niin puhtaasti tallennukseen tämä että ei mene tuonne. Pääasiassa keskityn pakan suorituskykyyn ZFS:n kanssa ja en niinkään kotelon modaukseen.
 

dun

Liittynyt
18.10.2016
Viestejä
1 068
Näyttää myös siltä että vanhalle nas:lle riitti 1Gbps linkki näköjään kun kiintikset ei sisällä pysty parempaan. Jos nopeutta ei tule lisää, niin jätän tuon 1Gbps nopeuden käyttöön uudella koneella. Toinen vaihtoehto on bondata se neljällä kaapelilla kytkimeen jossa on kaikki kaapelilla kiinniolevat laitteet. Tällöin saan ehkä teoriassa 4Gbps nopeuden Nassista kytkimeen. Kytkimestä eteenpäin se menee edelleen yhdellä kaapelilla per laite ja koska Cat6 käytössä ja ei ole 10Gbps kortteja tai nic:jä tarjolla, niin 1Gbps linkkiin jää (ellen liitä pelikonetta kahdella 1Gbps linkillä kiinni kytkimeen).

Edit: Huomasin myös testejä ajellessa että minulla oli ollut 4GB swappi käytössä, joka tarkoittaa että muisti on tosi rajallinen resussi vanhalla setupilla.

Koodi:
              total        used        free      shared  buff/cache   available
Mem:           7,7G        5,1G        630M        1,7M        2,0G        2,3G
Swap:           15G        4,7G         11G
 
Liittynyt
10.07.2017
Viestejä
1 512
Olen tässä laajentamassa nassini tallennusliitäntöjä. Emon omat sata väylät (6 kpl) vähän vammasesti 4 sisäsiä ja 2 esataa, jolloin joudun 6 levyllä vetää kaapeleita ulkoa sisään.

Kysymys tässä onkin, että onko nuo ebayssä myytävät SAS ohjaimet ok tähän käyttöön, eli esim LSI SAS 9210-8i kahdella mini-sas liitännällä 36€. En siis raidia tulisi ajamaan kortilla, tulisi freenasin ZFS käyttöön.

Toinen vaihtoehto myös 22€ maksavat marvelin 88SE9215 piirillä varustetut 6 porttiset sata3 controllerit.
 
Viimeksi muokattu:

dun

Liittynyt
18.10.2016
Viestejä
1 068
Olen tässä laajentamassa nassini tallennusliitäntöjä. Emon omat sata väylät (6 kpl) vähän vammasesti 4 sisäsiä ja 2 esataa, jolloin joudun 6 levyllä vetää kaapeleita ulkoa sisään.

Kysymys tässä onkin, että onko nuo ebayssä myytävät SAS ohjaimet ok tähän käyttöön, eli esim LSI SAS 9210-8i kahdella mini-sas liitännällä 36€. En siis raidia tulisi ajamaan kortilla, tulisi freenasin ZFS käyttöön.

Toinen vaihtoehto myös 22€ maksavat marvelin 88SE9215 piirillä varustetut 6 porttiset sata3 controllerit.
Juu on, niihin vain pitää asentaa IT firmis että alkavat toimimaan HBA korttina. Itse olen moisen tehnyt vanhalla Nassilla ja pistän testituloksia tänne kun saan uuden emon ja prossun: Arvostelu: Uusi omarakenteinen Nas

8 x 6Gbps sata3 linkit ja kaapelit on mukavan kaposet. Nykyisessä nassissa ottaa itsellä muisti kiinni jo neljällä levyllä, odottelen päivitystä siihenkin 8GB > 64GB (ja jos ei riitä, niin voi laajentaa nopeasti 128GB ja maksimilaajennusvara on 512GB mini-itx lankulla). Mutta testailen miten onnistuu.
 

dun

Liittynyt
18.10.2016
Viestejä
1 068
Kunhan uusi rauta tulee ja saa muistit käyttöön, niin kokeilen deduppia ja pakkausta kanssa. Vanhassa ympäristössä ei riittänyt resurssit oikein kumpaankaan.

Eli laitan pakasta päälle compression ja dedupin (säädön muistin käytön kohdalleen myös) ja sitten siirrän hakemisto kerrallaan tiedostot 1TB ssd:lle ja takaisin, niin saan dedupin ja pakkauksen käyttöön. Hetki hän tuossa menee, mutta onneksi yksikään hakemisto ei ole 1TB kokoinen niin onnistuu helposti vielä...

Lähde: ZFS dedupe (again): Is memory usage dependent on physical (deduped, compressed) data stored or on logical used?
 
Liittynyt
16.10.2016
Viestejä
717
Miten olette ratkoneet ZFS:n kanssa fragmentoitumis-ongelmaa?

Minä latailen Transmissionilla Linux-isoja ja lueskelin, että Torrentien latailu suoraan ZFS-pooliin fragmentoisi levyä.
Tein transmissionille oman datasetin recordsize=16k joka määritetään temp download kansioksi. Sen jälkeen siirretään oikeaan paikkaan joka on toinen dataset.
 

dun

Liittynyt
18.10.2016
Viestejä
1 068
Dedup ja pakkaus kumpikin turhia jos linux distrot on jo pakattu.
Niin no tämän mukaan saisin säästettyä n. 70% tilasta...

Koodi:
$ time sudo zdb -S tank
# ...
dedup = 1.69, compress = 1.00, copies = 1.00, dedup * compress / copies = 1.70

real    27m53,591s
Pääasiassa on mp4 ja jpg tiedostoja kameroilta ja sitten pöytäkoneiden file history backupit (paljon toisteisia pakattuja tiedostoja), niin compressio ei tuo juuri mitää etua, mutta dedupista tulee aika rajusti etua kun tiedostot on tallennettu vain kerran. Tuohon kun lisää sitten vielä snapshotit, niin dedupin etu alkaa olla aika kova (nyt ei vielä snapshotteja käytössä kun kaikki tärkeä data on tallennettu vielä ulkoiseen palveluun).

Kunhan uusi rauta tulee, niin saa dedupin käyttöön ja samalla varmaan teen poolin uusiksi niin saa tiedostotkin kirjoitettua suoraan uuteen pooliin vanhasta. Mutta testailen nykyisen poolin vielä uudella raudalla ennen kuin muutan konffeja.

Edit: Dedupin muistivaatimus mahtuu näköjään heittämällä tulevaan rammiin, nykyiseen ei mahdu mitenkään.
 
Liittynyt
17.10.2016
Viestejä
1 935
Niin sulla on jotain spesiaalia toisteista kuraa paljon.

Kannattaa se dedup laittaa valikoivasti päälle vaan siihen mihin sen tarvii. Kuvien ja videoiden ei siitä kyllä käsittääkseni pitäisi hyötyä.
 

dun

Liittynyt
18.10.2016
Viestejä
1 068
Niin sulla on jotain spesiaalia toisteista kuraa paljon.

Kannattaa se dedup laittaa valikoivasti päälle vaan siihen mihin sen tarvii. Kuvien ja videoiden ei siitä kyllä käsittääkseni pitäisi hyötyä.
Ne siitä dedupista vasta hyötyy varsinkin jos sulla on sama kuva miljoonassa eri hakemistossa... Se kuva ei pakkaannu ollenkaan, mutta jos sulla on se kuva vain kerran tallennettu levylle ja loput on linkkejä, niin silloin säästyy tosi paljon tilaa. Sen jälkeen jos ottaa vielä snapshotit käyttöön, niin se sama tiedosto on olemassa vain kerran ja loput on vain linkkejä alkuperäiseen tiedostoon. Dedup on todella tärkeä jos levyllä on valmiiksi pakattua materiaali paljon ja jos siellä on käyttäjien ripottelemia tiedostoja (kopioita samasta tiedostosta).
 
Liittynyt
17.10.2016
Viestejä
1 935
Ne siitä dedupista vasta hyötyy varsinkin jos sulla on sama kuva miljoonassa eri hakemistossa... Se kuva ei pakkaannu ollenkaan, mutta jos sulla on se kuva vain kerran tallennettu levylle ja loput on linkkejä, niin silloin säästyy tosi paljon tilaa. Sen jälkeen jos ottaa vielä snapshotit käyttöön, niin se sama tiedosto on olemassa vain kerran ja loput on vain linkkejä alkuperäiseen tiedostoon. Dedup on todella tärkeä jos levyllä on valmiiksi pakattua materiaali paljon ja jos siellä on käyttäjien ripottelemia tiedostoja (kopioita samasta tiedostosta).
Ei ole kovin normaalia pitää samaa dataa monessa hakemistossa.
 

dun

Liittynyt
18.10.2016
Viestejä
1 068
Ei ole kovin normaalia pitää samaa dataa monessa hakemistossa.
Voi huokaus, jos oikeasti nas on varmuuskopiota varten usealta ihmiseltä eikä yksin kerran netistä ladatujen linux kuvien säilytykseen, niin sitä tavaraa on teratavutolkulla tallessa. Yleensä vielä useampaan kertaan tallennettu vielä (snapshot vs. esim. winkkarin filehistory joka tuuppaa ja kopioi samaa tiedostoa uudella nimellä uuteen kansioon kun ei ymmärrä että jpg tiedostossa voisi olla sama hash joka kerta...).

Esim. jos valokuvausta harrastavalla ihmisellä on pari teraa lokaalisti levyä ja sitten niistä otetaan backupit mahdollista jälkikäsitelyä varten ja sulla on kopio sekä alkuperäisestä että käsitellystä matskusta ja haluat säilyttää niitä (puhumattakaan videoista), niin aletaan puhua jo useista kymmenistä teroista matskua (tosin useammalta vuodelta) per työasema.

Esim. meillä ei yleensä varmuuskopida off-sitelle kuin valmis materiaali, joka yleensä vie ehkä 5-10% alkuperäisestä matskusta ja koska levyjen hinnat ei ole mitään päätä huimaavia, niin sen sijaan että heittäisi alkuperäistä matskua roskiin, niin on helpompi vain hommata isompia levyjä ja laajentaa b-rulla varastoa. Esim. vuonna 2000-2005 napsitut kuvat mahtuu about muutamaan gigaan (kiitos kamerakennojen ollessa 1-3mpix vekottimia), mutta siitä eteenpäin aletaan laskemaan sadoissa gigoissa per vuosi ja 2010-2019 puhutaan jo useista sadoista gigoista per vuosi materiaalia. Meillä menee digitaalinen jalajälki lapsuuteen asti, joka tarkoittaa vhs, minidv, mini8, dia, kino yms. digitalisoitua materiaalia ja vaikka sekin on hevc tai h264 encoodattuna tallessa, niin sitä on satoja gigoja, joka odottaa aina silloin tällöin uutta leikkausta perhetilaisuutta varten.

Tämän takia ZFS on todella hyvä tiedostojärjestelmä, koska se ei luota rautaan, vaan tarkistaa (scrub) että tieto pysyy muuttumattomana levyllä, toisin kuin normaalit raidit jotka antaa bitrotin tapahtua (eli on tosi mukava huomata että 20-vuotta vanhat digikuvat ei enää aukea kun bitit on ihan vinossa...).

En aikaisemmin ajatellut deduppia (koska muistivaatimus), mutta nyt kun löysin tuon epycin ja sen että se tukee 512GB rammia, niin se ratkaisi kaikki omat pulmat rikkomatta pankkia. Ja kiitos 0.7 version ZFS:n niin ei ole enää typerää dedupin 1/4 max ram vaatimusta vaan sitä voi ihan vapaasti muokata lennosta (eli enää ei tarvi 5TB tallennustilalle 20GB muistia vaan pärjää huomattavasti vähemmällä).

Esim: How To Size Main Memory for ZFS Deduplication

Koodi:
#zdb -S tank
Simulated DDT histogram:

bucket              allocated                       referenced        
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    1.00M    126G    126G    126G    1.00M    126G    126G    126G
     2    11.8K    573M    573M    573M    23.9K   1.12G   1.12G   1.12G
     4      370    418K    418K    418K    1.79K   1.93M   1.93M   1.93M
     8      127    194K    194K    194K    1.25K   2.39M   2.39M   2.39M
    16       43   22.5K   22.5K   22.5K      879    456K    456K    456K
    32       12      6K      6K      6K      515    258K    258K    258K
    64        4      2K      2K      2K      318    159K    159K    159K
   128        1     512     512     512      200    100K    100K    100K
 Total    1.02M    127G    127G    127G    1.03M    127G    127G    127G

dedup = 1.00, compress = 1.00, copies = 1.00, dedup * compress / copies = 1.0
Muistin varaus tälle on:
Koodi:
In-core DDT size (1.02M) x 320 = 326.4 MB of memory is required
Eli (127GB levyä) jos on 1,02M block:ia * 320 tavua, niin päädytään 326,4MiB muistimäärään ja koska ei olla enää Oraclen vanhassa ZFS:ssä, niin tuolle määrälle materiaa riittääkin jo alle 1GiB keskusmuistia eikä se vaadi pelkästään zfs:lle 1,3GiB + OS varausta.

Jos käytetään vanhaa 5TB esimerkkiä, ja 40,2M blockkia, niin muistia tarvisi n. 12,8GiB pelkästään dedup datalle ja tämä kertaa 4 tarkoittaisi 51GiB muistinvarausta. Mutta koska voitkin antaa metadatalle nykyään vaikka 75% kokonaismuistista, niin tarvitsetkin muistia ZFS:lle vain sen alkuperäisen 12,8GiB ja annat sen kasvaa siitä ylöspäin.

Toinen vaihtoehto on käyttää l2arc (cache) ssd:tä dedup datan säilytykseen. Voin sanoa että 256GB MLC samsung ei ole pahan hintainen ja on aika sukkela vekoitin myös vrt. swappaus kiintikselle.
 
Liittynyt
17.10.2016
Viestejä
1 935
Kovasti nyt tuntuu puristavan.

Sulla on tarve dedupille anna mennä. Suurelle osalle se ei ole tarpeen koti nassissa.
 
Liittynyt
13.01.2017
Viestejä
976
Säätäminen jatkuu... Jostain syystä Ubuntu oli hukannut toisen Media-kirjaston ZFS-poolin levyistä, joka tietenkin rikkoi poolin ja zpool status kertoo poolin nyt olevan tilassa Degraded.

Kun sain levyn takaisin näkyviin, niin se toimii oikein ja vaikuttaa kaikin puolin ehjältä, mutta zpool status kertoo levyn nimen vaihtuneen. Ilmeisesti jossain vaiheessa levyn nimi vaihtui dev/sdd1:ksi aiemmasta dev/sde:stä. Pitäisikö tuo pool nyt korjata jollain zpool replace komennolla ja "näyttää" poolille tuo oikea levyn tunnus? Nyt zpool luulee jostian syystä oikean levyn olevan tuo sdd1 (jota se ei enää tietenkään näe), vaikka oikea tunnus olisi sde.

Oikein hauska pikkuvika, onneksi data on sentään edelleen luettavissa. Sitä en käsitä miksi tuo levy katosi pariksi tunnuksi aivan varoittamatta ja miksi sen tunnus vaihtui jossain vaiheessa.
 
Liittynyt
16.10.2016
Viestejä
717
Kannattaa käyttää /dev/disk/by-id/* eikä /dev/sd* ihan alusta alkaen. Itsellä oli joskus USB-tikku kiinni kun käynnistin uudelleen, ja se sai itselleen kirjaimen mikä oli aikaisemmin kovalevy.
 
Liittynyt
17.10.2016
Viestejä
586
Jos se pool on nyt toimiva niin näillä pitäisi onnistua nimien vaihtaminen id-pohjaisiksi, säästyy tulevaisuudessa ongelmilta.

Koodi:
zpool export poolinnimi
zpool import -d /dev/disk/by-id -aN
 
Liittynyt
13.01.2017
Viestejä
976
Kannattaa käyttää /dev/disk/by-id/* eikä /dev/sd* ihan alusta alkaen. Itsellä oli joskus USB-tikku kiinni kun käynnistin uudelleen, ja se sai itselleen kirjaimen mikä oli aikaisemmin kovalevy.
Asia joka käväisi mielessä, kun rakentamisen aloitin, mutta vauhdissa unohtui.

Jos se pool on nyt toimiva niin näillä pitäisi onnistua nimien vaihtaminen id-pohjaisiksi, säästyy tulevaisuudessa ongelmilta.

Koodi:
zpool export poolinnimi
zpool import -d /dev/disk/by-id -aN
Kiitos! Mitä veikkaat tarvitseeko tuo zpool replacea tehdä ollenkaan? Eikös tuolla muokkauksella saa osoitettua pooleille käytettävät levyt, niin homman pitäisi toimia kuten ennen levyn katoamista?
 
Liittynyt
17.10.2016
Viestejä
586
Kiitos! Mitä veikkaat tarvitseeko tuo zpool replacea tehdä ollenkaan? Eikös tuolla muokkauksella saa osoitettua pooleille käytettävät levyt, niin homman pitäisi toimia kuten ennen levyn katoamista?
Ei tarvi (taikka kannata) tehdä replacea, se taitaa lähteä oletuksesta että kohdelevy on tyhjä ja alkaa kirjoittamaan sitä uusiksi. Eli replacea vain viimeisenä vaihtoehtona jos levyjä on tuon import tempun jälkeen hukassa.

Ja käsittääkseni tuo import hakee ne poolin levyt ihan itse automaagisesti, ei tarvitse käsin osoitella.
 
Liittynyt
10.07.2017
Viestejä
1 512
Nyt on yksi levyistä antanut seuraavaa smart hälytystä: "Device: /dev/ada1, 1 Currently unreadable (pending) sectors".

Ton levyn tässä olen vaihtamassa lähipäivinä, ja ilmeisesti siis laittaa kyseisen levyn offline tilaan, sammuttaa, nykäsee irti, kytkee uuden ja sen jälkeen replace komennolla pooliin takas? Kai ton vois käynnissäki vaihtaa mutta kokoonpano semmonen etten vitti sitä vaihtaa ku kone käynnissä.

Kyseessä siis FreeNAS guin kautta tehtävä
 
Viimeksi muokattu:

dun

Liittynyt
18.10.2016
Viestejä
1 068
Dodih, tuleepahan testattua että tuleeko tosta dedupista mitää käytännön hyötyä. Pistin siirtymään uudelle zfs poolille, missä on seuraavat ominaisuudet enabloitu, kaiken datan jota ei ole backupattu pilveen. Mietin pitkään teenkö mirrorille (vaatisi 2 x saman kokoiset levyt + en ole hommaamassa uusia levyjä nyt), joten pienellä riskillä mennään että ennen raudan vaihtoa sekä nykyinen 4 levyn pakka lahoaa + että tämä ylimääräinen levy lahoaisi. Mutta ihan kaikkeen ei ole rahaa ja tärkeät tiedot on anyway pilvessä turvassa.

Koodi:
sudo zpool create backup \
  /dev/disk/by-id/wwn-0x5000c5009e5fe989-part1
 
sudo zpool add -f backup cache /dev/disk/by-id/ata-Samsung_SSD_840_EVO_1TB_S1D9NSAF631461J-part1

sudo zfs set xattr=sa backup
sudo zfs set acltype=posixacl backup
sudo zfs set compression=lz4 backup
sudo zfs set atime=off backup
sudo zfs set relatime=off backup
sudo zfs set dedup=on backup

sudo zfs create backup/2020-01-11
sudo chown -R $USER. /backup/2020-01-11
Pilvitiedolle tein jo testin ja siinä tuli 1.39 kertainen dedup käyttöaste samoilla asetuksilla, joten nyt isommalla datasetillä (- cloud backup, koska siihen ei tarvii koskea, sen voi aina ladata takaisin levylle pilvestä).

Aloitin syncronisaation uusilla komennoilla (koska uudelleen käytettävä ja voi päivittää tilanteen nopeammin tulevaisuudessa).
Koodi:
#Snapshottaus
sudo su -
zfs snapshot source/dataset1@2020-01-11_dataset1
zfs snapshot source/dataset2@2020-01-11_dataset2

# Listaa snapshotit
zfs list -t snapshot
NAME                                     USED  AVAIL   REFER  MOUNTPOINT
source/dataset1@2020-01-11_dataset1     x,xxM      -  xx,xxT  -
source/dataset2@2020-01-11_dataset2     x,xxM      -  xx,xxT  -

# Kopioi poolista toiseen
time zfs send source/dataset1@2020-01-11_dataset1 | zfs receive backup/dataset1 &&\
time zfs send source/dataset2@2020-01-11_dataset2 | zfs receive backup/dataset2
Edit: Jaha, tossa saattaa hetki mennä, välillä tiedostonsiirto tipahtaa n. 1MB/s nopeuteen normaalista n. 100-120MB/s. Tämä on tyyppillistä zfs:lle kun on liian vähän keskusmuistia ja hidas cpu (vaikka l2arc onkin auttamassa). Kaikki koneen huikeasta 7,72GB keskusmuistista on käytössä ja roottilevyn (samsung 850 pro) swapistakin on 4GB/16GB käytössä...

Edit2: Syy vanhan pakan tuhoamiselle on tämä 2017 huhuillun ominaisuuden puute... [WIP] raidz expansion, alpha preview 1 by ahrens · Pull Request #8853 · zfsonlinux/zfs

Edit3: Ei taida 24h riittää ekan datasetin kopiointiin. No kunhan se on valmis, niin aloitan backup datasettien siirron jonka pitäisi parantaa dedup ratiota (enimmäisten satojen gigojen jälkeen dedup on 1.11x ja compressioratio on 1.03x)...

Keksiikö joku paremman komennon tilanteen tarkkailuun? Nyt joutuu ajamaan 3 komentoa että saa sortattua toisen parametrin mukaisesti...
Koodi:
clear;zfs get used ${ZDATASETS};\
zfs get available ${ZDATASETS};\
zfs get compressratio ${ZDATASETS};\
zpool list
Edit4: Enpä keksinyt muuta kuin tämän...
Koodi:
clear;zfs get used,available,compressratio ${ZDATASETS}|head -n1;\
zfs get used,available,compressratio ${ZDATASETS}|sed '1d'|sort -k2,2;\
zpool list
Edit5: Pudotin rsyncin pois kopioinnista kun zfsstähän löytyy komennot jo itsestään jotka huolehtii myös tulevaisuuden incremental synkistä (niin ei tarvii tehdä miljoonaan kertaan initial synkkiä poolien välillä). Kätsyä, kannattaa joskus vähän googlailla ja lukea manuaalia.

Edit6: Tässä uutta rautaa odotellessa pistin vanhalla raudalla tuulemaan (ja nyt pitää odotella ties montako päivää). Eli siirtelen pilvibackupit omalle datasetille (compressio ja dedup päällä nyt), henkilökohtaiset backupit dedupille ja uudelleen järjestely, mutta mountpointit pysyy samana. Seuraavaksi pitää katsoa onko joku kirjoittanut jo hyvät systemd/cronjob scriptit jolla saa tehtyä tunnin, päivittäisen, viikottaisen, kk ja vuoden snapshot rotaatiot.

Jos ei ole, niin teen itse, mutta luulisi noin yleisen toimenpiteen joku jo tehnyt. Esim. 7pv tunnin snapshotit talteen, sitten 30 pv:ltä pv snapshot tallessa, ja sitten 12kk 1kk snapshot tallessa tms...

Edit7: Nyt löytyi paras komento siirrolle. Nyt myös mahdollista siirrot kun sain yhden ison datasetin jaettua useampaan pienempään kun järkevöitin pakan käyttöä. Dedup tekee kyllä nykyisestä raudata ihan kauhean käyttää, kun kaikki loppuu kesken ja siirrot ja tiedostojen poistot muodostuu ihan kamalan hitaaksi. Mutta nyt kun symlinkit otti isompaan käyttöön ja siirsi eri datat eri dataseteille, niin yleisestä verkkojaostakin tuli järkevämpi.

Eli stuktuuri muuttui nyt näin:

Koodi:
# Poolin rakenne
source/dataset_public # Jaettu kaikille. Ei deduppia
source/dataset{2..xx} # Henkilökohtainen verkkojako jonne backupit, compress + dedup
source/dataaset_cloud # Pilveen tallennettava tärkeä tieto, compress + dedup. Symlink  source/dataset_public/dataset_cloud

# Näin voi helposti symlinkillä jakaa yhteiseen datasettiin näkeyvyyttä ja
# voi samalla pitää henkilökohtaiset jaot erilllään yhteisestä paikasta.
# Aikaisemmin kaikki oli samassa, mikä tarkoitti että quotat yms. meni
# vaikeaksi jos piti lohkoa.
# Onneksi tässä tietojärjestelmässä kaikki on vain
# helpompaa vrt. NTFS/ext4/btrfs.

# Eka varmuuskopio
sudo time zfs send source/dataset1@2020-01-12_dataset1 | pv | sudo zfs receive target/dataset1 &&\
sudo time zfs send source/dataset2@2020-01-12_dataset2 | pv | sudo zfs receive target/dataset2 &&\
# ...
sudo time zfs send source/dataseXX@2020-01-12_datasetXX | pv | sudo zfs receive target/datasetXX
# Jos target on tarpeeksi iso, niin voi myös ottaa ihan kaikesta
# backupin kerralla yhdellä komennolla:
sudo time zfs send -rn source@2020-01-12_all| pv | sudo zfs receive target

# Deltan siirto
sudo time zfs send -i
source/dataset1@2020-01-13_dataset1 | pv | sudo zfs receive target/dataset1 &&\
sudo time zfs send -i source/dataset2@2020-01-13_dataset2 | pv | sudo zfs receive target/dataset2
 
Viimeksi muokattu:

dun

Liittynyt
18.10.2016
Viestejä
1 068
Nykyisen raudan nopeus:
n. 101,77GB/h kun siirtää dataa poolien välillä (datasetissä on tekstitiedostoista useiden satojen megojen mp4 tiedostoihin ja sitten erinäinen määrä jpeg kuvia). Dedup + pakkaus kohteessa käynnissä.

Kun saa uuden raudan, niin voin ajaa saman testin ja nähdä tapahtuuko mihinkään suuntaan muutosta (cpu vääntöä tulee 2 x määrä, per thread ei muutu ja muistia tulee 8 x määrä). Jos ei tule muutosta, niin sitten ei tule, jääpähän lisää tehoa sitten tarjolle kun ajaa softaa. Swappi disabloidaan kokonaan.

Edit1: Jeps, hidasta on, 35MB/s on siirtonopeus kun katsoo keskiarvoa tunnillta. Aikaisemmin oli 28MB/s kun siirsin kasan pienempiä tiedostoja. No onneksi siirtyy taustalla, niin ei tarvii huolehtia.

Jos olisi paketti vähän epävarmempi, niin tuohon zfs send/receive säätöön voisi ottaa nämä arvot käyttöön:

Koodi:
# zfs receive:
-s  If the receive is interrupted, save the partially received state, rather than deleting it.  Interruption may be due to premature
           termination of the stream (e.g. due to network failure or failure of the remote system if the stream is being read over a network
           connection), a checksum error in the stream, termination of the zfs receive process, or unclean shutdown of the system.

           The receive can be resumed with a stream generated by zfs send -t token, where the token is the value of the receive_resume_token
           property of the filesystem or volume which is received into.

           To use this flag, the storage pool must have the extensible_dataset feature enabled.  See zpool-features(5) for details on ZFS fea‐
           ture flags.
 
Viimeksi muokattu:

dun

Liittynyt
18.10.2016
Viestejä
1 068
Jeps, vauhti tipahti takaisin 27,5MB/s. Tässä tovi menee, ilman deduppia pääsisi varmaan 3-4 nopeuteen, mutta sitten loppuisi levytila varmuuskopio-kohteesta. Noh, katsotaan huomenna aamulla missä mennään kun varmuusasema ruksuttelee menemään. Sitten pitääkin tehdä päätös että tilaisiko yhden uuden ironwolffiin ja tekee backupin mirroriin. Toivottavasti toi raidz expansion tulisi että tätä hommaa ei tarvisi tehdä sitten kun päättää panostaa 4 levyn verran (tai jos yhden jo ostan, niin sitten 3 levyn verran). Toki jos tuo raidz expansion vihdoin tulee, niin sitten voi levy kerrallaan ostella aina 8 asti (nyt hyllyssä yksi ylimääräinen levy siltä varalta jos joku noista olemassa olevista laukeaisi, mutta noita levyjä saa sen verran vauhdilla kaupasta, että taitaa olla turha yhtä ylimääräistä pitää kaapin pohjalla odottelemassa.

Edit1: Load average: 11.04 10.98 10.62
Eli tämä tarkoittaa että 4 prosessin lisäksi 7 odottaa suoritusta... Puuh.
 
Viimeksi muokattu:

ers

Liittynyt
13.11.2017
Viestejä
134
Olisi tarve palvelimelle ja NAS:lle. Rpi3 ei oikein enää riitä omiin tarpeisiin ja se saisi hoitaa jatkossa vain piholen jos sitäkään. Palvelimelle tulisi Unifi contoller, InfluxDb, Mongodb, mqtt broker, grafana, node-red ja ehkä jotain muuta kotiautomaatioon liittyvää. Valvontakameroita tulee ehkä pari tulevaisuudessa. Tarkoituksena olisi käyttää Dockeria, jotta ylläpito olisi helpompaa. Harrastus on vasta alussa, joten en oikeasti tiedä mitä ja miten tulen kaiken toteuttamaan. Plexiä tai muuta raskasta käyttöä tuskin kuitenkaan tulee.

NAS:n tulisi lähinnä valokuvia, musiikkikirjasto ja tärkeiden dokumenttien varmuuskopioita. Käyttäjiä on vain kaksi, joten käyttö olisi kevyttä.

Olen käyttänyt sopivan raudan etsintään jo ihan liikaa aikaa ja aloin miettimään, onko edes mitään järkeä yrittää saada kaikkea samalle palvelimelle? Kannattaisiko siis suosiolla hankkia erillinen palvelin ja rakentaa (tai ostaa valmis) NAS erikseen? Tällä hetkellä vahvin ehdokas raudaksi olisi jokin Asrockin emo integroidulla prossulla kuten vaikka tämä. Budjetti on tietysti mahdollisimman pieni ja sähköä saisi kulua mahdollisimman vähän.
 
Liittynyt
17.10.2016
Viestejä
792
Kyllä tolla Asrocking levyllä pyörittää jo noita kaikkiakin, toki NAS käyttöä ajatellen 2 sata porttia on aika vähän. Openmediavault pitäisi ihan hyvin pyöriä tuon tehoisessa laitteessa.
Mikäli pelkkä palvelin, niin intelin NUC -koneet voisi olla kanssa yksi vaihtoehto. Tai sitten tehokkaampi NAS johon saat noi kaikki pyörimään kanssa.
 
  • Tykkää
Reactions: ers
Liittynyt
17.01.2018
Viestejä
1 997
Olisi tarve palvelimelle ja NAS:lle. Rpi3 ei oikein enää riitä omiin tarpeisiin ja se saisi hoitaa jatkossa vain piholen jos sitäkään. Palvelimelle tulisi Unifi contoller, InfluxDb, Mongodb, mqtt broker, grafana, node-red ja ehkä jotain muuta kotiautomaatioon liittyvää. Valvontakameroita tulee ehkä pari tulevaisuudessa. Tarkoituksena olisi käyttää Dockeria, jotta ylläpito olisi helpompaa. Harrastus on vasta alussa, joten en oikeasti tiedä mitä ja miten tulen kaiken toteuttamaan. Plexiä tai muuta raskasta käyttöä tuskin kuitenkaan tulee.

NAS:n tulisi lähinnä valokuvia, musiikkikirjasto ja tärkeiden dokumenttien varmuuskopioita. Käyttäjiä on vain kaksi, joten käyttö olisi kevyttä.

Olen käyttänyt sopivan raudan etsintään jo ihan liikaa aikaa ja aloin miettimään, onko edes mitään järkeä yrittää saada kaikkea samalle palvelimelle? Kannattaisiko siis suosiolla hankkia erillinen palvelin ja rakentaa (tai ostaa valmis) NAS erikseen? Tällä hetkellä vahvin ehdokas raudaksi olisi jokin Asrockin emo integroidulla prossulla kuten vaikka tämä. Budjetti on tietysti mahdollisimman pieni ja sähköä saisi kulua mahdollisimman vähän.
Valitsin J4205- mITX:n koska kaapissa oli sopivaa muistia. Tuossa sun linkkaamassa on kuitenkin 2 korttipaikkaa eli NAS- käytössä siihen saa kätevästi jonkun HBA- kortin jolloin saa riittävästi levyjä.
Kannattaa myös miettiä haluaako laajentaa tulevaisuudessa, näyttää saavan (ainakin virallisesti) vain 8G muistia. Se ei välttämättä ole ihan hirveästi jos pyörittää kantaa ja kaikenlaista muutakin...
 
  • Tykkää
Reactions: ers

dun

Liittynyt
18.10.2016
Viestejä
1 068
Valitsin J4205- mITX:n koska kaapissa oli sopivaa muistia. Tuossa sun linkkaamassa on kuitenkin 2 korttipaikkaa eli NAS- käytössä siihen saa kätevästi jonkun HBA- kortin jolloin saa riittävästi levyjä.
Kannattaa myös miettiä haluaako laajentaa tulevaisuudessa, näyttää saavan (ainakin virallisesti) vain 8G muistia. Se ei välttämättä ole ihan hirveästi jos pyörittää kantaa ja kaikenlaista muutakin...
Raspiin verrattuna tuo on todella kova emo. Toinen vaihtoehto on noi x86 pohjaiset minikoneet, jos haluaa pienen ja sievän, mutta sitten alkaa hinta nousta. Esim. Lattepanda vois olla mielenkiintoinen...
 
  • Tykkää
Reactions: ers
Liittynyt
30.10.2016
Viestejä
283
Tarkoituksena olisi rakentaa ensimmäinen NAS tietojen säilömistä varten.

Pääkriteereinä ja käyttötarkoituksena on siis:
  • Energiatehokkuus (max TDP jotain 65w)
  • Toimii pääsijaisesti tiedostopalvelimena
  • Joitakin sovelluksia tulee käytettyä(beets, radarr, sonarr, syncthing)
  • Laajennettavuus (min neljä levyä sisään)
  • Suorituskyky riittää jossain määriin pyörittämään virtuaalikoneita (ei pakollinen)
  • Plex transkoodaus toimii ainakin parilla striimillä sujuvasti (ei pakollinen

Alunperin mietin valmiin ratkaisun ostoa eli joko Synology DS918+ (Celeron J3455) tai DS418play. Näillä oli kuitenkin suhteellisen korkea hinta niin asetin kuitenkin DS918+ suorituskyvyn minimirajaksi.

Aluksi katselin yllämainittuja Asrockin celeron emo+prossu settejä mutta kaikissa näissä oli vain pari sata porttia, ja PCI-E slotit toimi 2.0@x1 nopeuksilla todellisuudessa. Eli esim LSi:n hba kortit ei toimi koska ne nähtävästi vaativat x8 nopeuden?

Päädyin sitten lopulta alla olevaan kokoon panoon, joka nyt koostuu kuluttajaraudasta.
Prossun passmark on ~5000scorea vs J3455 2000scorea. Harmillisesti emo ei tue ECC muisteja, mutta siitä löytyy täyden leveyden PCI-e3.0@x16 (HBA korttien pitäisi toimia?), kaksi 1gbit ethernet porttia ja kuusi sata porttia. Kingstonin NVMe toimii sitten cachena tai käynnistyslevynä.
upload_2020-1-14_22-1-5.png

Onko tämä kokoonpano siis varteenotettava yllälistattuihin käyttötarkoituksiin?

Käyttöjärjestelmästä en tiedä, mutta unRaid vaikuttaa mielenkiintoiselta näin vasta-alkajan näkökulmasta. Tosin luotettavuus (RAID 10?) on myös vaakakupissa ja FreeNAS näyttää tarjoavan sitä. Tarkoituksena on siis lisätä lisää levyjä tulevaisuudessa sitä mukaan mitä niitä tarvitsee.

Kaiken tämän valkkauksen keskellä kuitenkin törmäsin aika edulliseen HPE ProLiant MicroServer Gen10 Entry -palvelimeen, joka näyttää aika pätevältä ratkaisulta. Onko tuo mistään kotoisin omaan käyttötarkoitukseen?
 

dun

Liittynyt
18.10.2016
Viestejä
1 068
Tarkoituksena olisi rakentaa ensimmäinen NAS tietojen säilömistä varten.

Pääkriteereinä ja käyttötarkoituksena on siis:
  • Energiatehokkuus (max TDP jotain 65w)
  • Toimii pääsijaisesti tiedostopalvelimena
  • Joitakin sovelluksia tulee käytettyä(beets, radarr, sonarr, syncthing)
  • Laajennettavuus (min neljä levyä sisään)
  • Suorituskyky riittää jossain määriin pyörittämään virtuaalikoneita (ei pakollinen)
  • Plex transkoodaus toimii ainakin parilla striimillä sujuvasti (ei pakollinen

Alunperin mietin valmiin ratkaisun ostoa eli joko Synology DS918+ (Celeron J3455) tai DS418play. Näillä oli kuitenkin suhteellisen korkea hinta niin asetin kuitenkin DS918+ suorituskyvyn minimirajaksi.

Aluksi katselin yllämainittuja Asrockin celeron emo+prossu settejä mutta kaikissa näissä oli vain pari sata porttia, ja PCI-E slotit toimi 2.0@x1 nopeuksilla todellisuudessa. Eli esim LSi:n hba kortit ei toimi koska ne nähtävästi vaativat x8 nopeuden?

Päädyin sitten lopulta alla olevaan kokoon panoon, joka nyt koostuu kuluttajaraudasta.
Prossun passmark on ~5000scorea vs J3455 2000scorea. Harmillisesti emo ei tue ECC muisteja, mutta siitä löytyy täyden leveyden PCI-e3.0@x16 (HBA korttien pitäisi toimia?), kaksi 1gbit ethernet porttia ja kuusi sata porttia. Kingstonin NVMe toimii sitten cachena tai käynnistyslevynä.

Onko tämä kokoonpano siis varteenotettava yllälistattuihin käyttötarkoituksiin?

Käyttöjärjestelmästä en tiedä, mutta unRaid vaikuttaa mielenkiintoiselta näin vasta-alkajan näkökulmasta. Tosin luotettavuus (RAID 10?) on myös vaakakupissa ja FreeNAS näyttää tarjoavan sitä. Tarkoituksena on siis lisätä lisää levyjä tulevaisuudessa sitä mukaan mitä niitä tarvitsee.

Kaiken tämän valkkauksen keskellä kuitenkin törmäsin aika edulliseen HPE ProLiant MicroServer Gen10 Entry -palvelimeen, joka näyttää aika pätevältä ratkaisulta. Onko tuo mistään kotoisin omaan käyttötarkoitukseen?
Minulla on pois siirtyvässä nassissa asrockin mini-itx emolevy i3:lla (ecc tuki) ja 2 x 4GB ECC ddr3 kampaa (emolevy on rikki jotenkin, koska virrat kun lähtee, niin kello sekoaa riippumatta mikä patteri on emossa kiinni). ASRock Rack > E3C226D2I HBA kortti on kiinni ja se pelittää kyllä, tosin vauhdista en ole varma (pci-e 2.0 x8 kortti kyseessä ja maksimissaan 300MB/s olen sieltä lukenut, mutta on hitaat levyt niin voi siitäkin olla kiinni). Kortin pitäisi tarjota täydet 8 x 6Gbps sata3 linkkiä ja arvostelussa se on niin tehnytkin.

Emo on vuodelta 2015, joten ihan hyvin pärjännyt käyttöikänsä. Nyt olen vaihtamassa sitä uuteen, mutta tuotetta odotellaan vielä (https://bbs.io-tech.fi/threads/arvostelu-uusi-omarakenteinen-nas.219486)...

Tuota samaa koppaa mietin itse aikoinaan, mutta päädyin ensin chenbron hotswapilla varustettuun 4 x 3,5" koteloon ja vaihdoin sen nopeasti nykyiseen Silverstone DS380:een (8 x 3,5" + 4 x 2,5"). Ne on näköjään aika hinnakkaita nyt, mutta sanoisin että kokonsa, hiljaisuutensa ja lajennettavuutensa puolesta pesee noden kyllä mennen tullen, ne on melkein saman kokoisia meinaan. Aikoinaan ei ollut paha hinta. Parempia ei kotikäyttäjälle ole tarjolla.
 
Liittynyt
19.10.2016
Viestejä
1 690
Kaiken tämän valkkauksen keskellä kuitenkin törmäsin aika edulliseen HPE ProLiant MicroServer Gen10 Entry -palvelimeen, joka näyttää aika pätevältä ratkaisulta. Onko tuo mistään kotoisin omaan käyttötarkoitukseen?
Juuri eilen pyöräytin yhden 4 x WD Red 1Tb NASsin tuolla rungolla kotona pyörimään, FreeNAS käyttiksenä. Eipä tuosta huonoa ole sanomista, hoitaa hommansa. Meinasin myös kasata osista NASsin, mutta eipä jaksanut. Tuolla mennään hamaan tulevaisuuteen, tilaa pitää varmaan jossain vaiheessa laajentaa tai hommata toinen microserver rinnalle.

ECC-muistit taitaa olla välttämättömyys pitemmässä juoksussa, itse en lähtisi rakentamaan ilman niitä.
 
Toggle Sidebar

Statistiikka

Viestiketjut
237 442
Viestejä
4 161 900
Jäsenet
70 410
Uusin jäsen
Acrat

Hinta.fi

Ylös Bottom