NAS rakentelut

  • Keskustelun aloittaja Keskustelun aloittaja dun
  • Aloitettu Aloitettu
Itsellä on kaksi erillistä nassia joista toinen on nopea 8 levyn järjestelmä X kapasiteetilla ja kahden levyn leviämisestä suojattu ja toinen on 4 levyn ja yhden levyn leviämisestä suojattu saman kapasiteetin järjestelmä. Tästä nopeammasta valuu snspshotteja/levykuvia toiselle kokoajan ja jos menetän homman kumman järjestelmän niin pilvestä löytyy vielä kriittinen data ja perhekuvat. Mutta kandee hommata toinen Nas samalla ja laittaa laitteet ottamaan kopio toisesta ajastetulla kopiolla niin voi vanhemmatkin datan palauttaa jos hukkuu...

Edit: Päänassissa on 30 pv ajalta levykuvat kokoajan kaikesta ja kakkosella on muistaakseni vuoden. Eli jos ei heti tajua menettäneensä jotain tärkeää, niin historiasta löytyy...
 
Laitetaanpa tännekin kokemuksia uudesta raudasta, eli noista pari sivua takeperin mainituista Epyc-seteistä. (H12SSL-i + Epyc 7302)

Tilasin tugm4470 tms. hahmoselta romut, tulivat todella nopeasti viikossa. Omat vanhat LRDIMMit eivät toimineet, joten nopeasti lainasin toisesta koneesta RDIMMit ja niillä kokoonpano on ollut nyt käytössä muutaman viikon. Ei mitään muita ongelmia, kaikki slotit toimii ja kukkuu, PCIe-asetukset BIOSista kun rukkaa kuntoon (above 4G decoding, AER & ACS) niin IOMMU-ryhmät saa optimaalisesti. Cooleriksi Jimmsin valikoimasta tuli Arcticin SP3 U4, johon nippusiteillä kiinnitin 140 mm tuulettimen. ipmitoolilla voi käskyttää tuuletinkontrolleria, joten sille piti kirjoittaa skripti joka bootissa ajaa soppelit tuuletinnopeudet koska Corsairin maglevit pyörivät liian hitaasti:

Koodi:
#!/bin/bash

# set thresholds so ipmi won't cycle fans 0-100
ipmitool sensor thresh FANA lower 0 100 200
ipmitool sensor thresh FANB lower 0 100 200
ipmitool sensor thresh FAN2 lower 0 100 200
ipmitool sensor thresh FAN3 lower 0 100 200
ipmitool sensor thresh FAN4 lower 0 100 200
ipmitool sensor thresh FAN5 lower 0 100 200
sleep 1

# set fans full hd spede
ipmitool raw 0x30 0x45 0x01 0x01
sleep 1

# set fans to 45%ish cycle
ipmitool raw 0x30 0x70 0x66 0x01 0x00 0x28
sleep 1
ipmitool raw 0x30 0x70 0x66 0x01 0x01 0x35
ja ajo systemd:n kautta bootissa. Ilman sleepejä komennot ei välttämättä ottaneet ekalla ajolla.
 
Rakentelin itselle Truenas scalella nas:sin kotiin, nyt olisi tarkoituksena hankkia pyörivää ruostetta kunnolla.
Pohdin vielä Että teenkö ubuntun serveristä oman ratkaisun tai unraidissakin näytti olevan hyviä vaihtoehtoja.
Docker/kubernatesilla tarkoitus ajaa muutamaa palvelua, samalla siinä sivussa.

Kertokaa mikäli kokemuksia siitä että millä kannataa lähteä liikkeelle.
 
Rakentelin itselle Truenas scalella nas:sin kotiin, nyt olisi tarkoituksena hankkia pyörivää ruostetta kunnolla.
Pohdin vielä Että teenkö ubuntun serveristä oman ratkaisun tai unraidissakin näytti olevan hyviä vaihtoehtoja.
Docker/kubernatesilla tarkoitus ajaa muutamaa palvelua, samalla siinä sivussa.

Kertokaa mikäli kokemuksia siitä että millä kannataa lähteä liikkeelle.

Itse tein nas:sin ubuntu serverin päälle. Saa samalla muutakin ja tuttu ympäristö.
 
Rakentelin itselle Truenas scalella nas:sin kotiin, nyt olisi tarkoituksena hankkia pyörivää ruostetta kunnolla.
Pohdin vielä Että teenkö ubuntun serveristä oman ratkaisun tai unraidissakin näytti olevan hyviä vaihtoehtoja.
Docker/kubernatesilla tarkoitus ajaa muutamaa palvelua, samalla siinä sivussa.

Kertokaa mikäli kokemuksia siitä että millä kannataa lähteä liikkeelle.
Itse lähdin liikkeelle aikoinaan Buffalon ja QNapin tuotteilla ja kun nälkä alkoi syödessä niin asensin Ubuntu serverin joskus 2010 aikoihin kotiin. Ensimmäinen oli HPe Microserver N36L (AMD turion 10W tai vastaava) ja sillä mentiin 2-3 vuotta, sitten päivitettiin omatekoiseen mini-itx asroc:iin ja Intelin i3-410xT malliin. Sitten alkoikin olla parin vuoden päästä nykyisen AMD Epycin päivitys 2019 vuoden aikana ja siirryin samalla 4 levyn setistä 8 levyn vehkeeseen (Mini-ITX Silverstone DS380, 8 x 3,5 hotswap + 4 x sisäistä 2.5").

Seuraavana on tarkoitus pysyä nykyisessä Silverstonen kopassa, mutta päivittää joko yksitellen tai kerralla kaikki 8 pyörivää ruostelevyä 4TB SSD:ksi. Tässä odottelen että levyn hinta tippuu 200€ kpl, nyt on 260€ kpl Amazonista. Levyjen ikä tulee vastaan itsellä kohta, jolloin niitä alkaa särkyä (niitä on jo 4 kpl:ta särkynyt sitten 2014 vuoden kun vaihdoin kaikki Seagaten Barracudat Seagaten Ironwolffeihin ja aika moni ulkomailta tilattu on ollut DOA)... Kaikki Suomesta alunperin tilatut vielä kukkuu ilman ongelmia, että en tiedä johtuuko se vaan käsitelystä vai huonosta tuurista että kaikki ulkomailta tilatut on hajoneet takuuaikana.
 
Päädyin nyt kuitenkin mini-ITX:n rajoitusten vuoksi mikro-ATX -kokoluokkaan. Ja kun kaupasta sai "halvalla" 12 TB Ironwolf-levyjä niin totesin että kaksi sellaista (mirrorissa) saa riittää minulle, ja sitä kautta koteloksi valikoitui Jonsbo V4. Eihän tuo pieni ole mutta mahtuu silti asumaan perus ikeahyllyyn. Prossuksi valikoitui tarjouksesta i3-12100 ja muita osia sitten enemmän tai vähemmän hinnat alkaen -osastolta. Menee kyllä varmaan vähintään ensi viikolle ennen kuin osat saapuvat ja tuota pääsee rakentamaan.
Kiintolevyjen toimituksessa vierähtikin vähän pidempään, mutta kone on nyt vihdoin siinä kunnossa että kaikki palvelut on siirretty pois Raspberry Piltä eli uusi kone toimii nyt pääasiallisena NASina/kotipalvelimena.

Arvoin vielä Proxmoxin kanssa mutta päädyin asentamaan Debianin suoraan raudalle ja kaikki palvelut sitten pyörimään dockerin päälle, eli vastaava setuppi kuin aiemmin tuon RasPin kanssa. Ei mitään valittamista, kone toimii hyvin ja palvelut sai siirrettyä uudelle koneelle helposti. Ehkä isoin säätö oli saada dockeroitu Plex pelaamaan Intelin QuickSyncin kanssa, mutta sekin onnistui lopulta aika helposti kun löytyi sopivat rimpsut dummy-näytön konfiguroimiseen.

Seuraava päivitys ehkä sitten joskus kun SSD hinnat tippuvat lähemmäs 25€/TB.
 
Suunnitelmissa olisi hommata levypalvelimeksi joku käytetty pöytäkone, johon saisi tarpeeksi 3.5" kiekkoja sisään. Olen noita parinsadan euron käytettyjä yrityskoneita (Dell OptiPlex, HP EliteDesk jne) katsellut ja nuo vaikuttavat muuten täydellisiltä aihioilta, mutta käytännössä kaikkien kanssa tilanne on se, että lisälevyjä mahtuu korkeintaan yksi tai kaksi. Osaisiko joku heittä suositusta hyvästä aihiosta tuolla n. 200€ hintaluokassa (pelkkä kone)? Ajatuksena siis kohtuullisen kevyt verkkolevypalvelinkäyttö kotiympäristössä, aluksi luultavasti ihan vain verkkoon jaettuna levytilana, kunnes/jos jaksan jossain kohtaa viritellä jotain unraid/opennas tms. Oleellisimmat speksit olisi siis lähinnä: gigan bitti, "tarpeeksi" rammia ja prossua, paljon levypaikkoja ja mielellään vähävirtaisena.
 
Suunnitelmissa olisi hommata levypalvelimeksi joku käytetty pöytäkone, johon saisi tarpeeksi 3.5" kiekkoja sisään. Olen noita parinsadan euron käytettyjä yrityskoneita (Dell OptiPlex, HP EliteDesk jne) katsellut ja nuo vaikuttavat muuten täydellisiltä aihioilta, mutta käytännössä kaikkien kanssa tilanne on se, että lisälevyjä mahtuu korkeintaan yksi tai kaksi. Osaisiko joku heittä suositusta hyvästä aihiosta tuolla n. 200€ hintaluokassa (pelkkä kone)? Ajatuksena siis kohtuullisen kevyt verkkolevypalvelinkäyttö kotiympäristössä, aluksi luultavasti ihan vain verkkoon jaettuna levytilana, kunnes/jos jaksan jossain kohtaa viritellä jotain unraid/opennas tms. Oleellisimmat speksit olisi siis lähinnä: gigan bitti, "tarpeeksi" rammia ja prossua, paljon levypaikkoja ja mielellään vähävirtaisena.
Paljonko on tarpeeksi 3.5" kiekkoja? 5 vai 10?

Pari vaihtoehtoa koteloksi, jos osista päädyt rakentamaan:
Jonsbo N1, ITX, 5 HDD paikkaa.
FD Define 7, ATX, 14 HDD paikkaa lisätarvikkeilla.
FD Define 7 XL, ATX, 18 HDD paikkaa lisätarvikkeilla.

Itsellä on Define 7 kaksin kappalein, varsinaisen nassille ja backup nassille. Vähintäänkin riittävästi mahtuu kovoja ja muutenkin hyvä ja hiljainen eristetty kotelo tuohon käyttöön.
 
Paljonko on tarpeeksi 3.5" kiekkoja? 5 vai 10?

Pari vaihtoehtoa koteloksi, jos osista päädyt rakentamaan:
Jonsbo N1, ITX, 5 HDD paikkaa.
FD Define 7, ATX, 14 HDD paikkaa lisätarvikkeilla.
FD Define 7 XL, ATX, 18 HDD paikkaa lisätarvikkeilla.

Itsellä on Define 7 kaksin kappalein, varsinaisen nassille ja backup nassille. Vähintäänkin riittävästi mahtuu kovoja ja muutenkin hyvä ja hiljainen eristetty kotelo tuohon käyttöön.

Niinjoo, olisi tosiaan voinut tarkentaa, että semmoiset 4-5 HDD-paikkaa riittää.
 
Niinjoo, olisi tosiaan voinut tarkentaa, että semmoiset 4-5 HDD-paikkaa riittää.

Jos käytettyä konetta olet etsimässä niin toissapäivänä asentelin Dell Optiflex 9020 konetta ja siihen saisi kaksi 3.5" HDD kovalevyä kiinni ja CD/DVD-paikkoihin saisi kaksi kovalevyä tällaisilla adaptereilla: AXAGON RHD-435, asennusrauta 5.25" laitepaikkaan, maks. 4 x 2.5" / 2 x 2.5" + 1 x 3.5" kiintolevy, musta - 5,90€

Noita Dellin Optiflex 9020 koneita saa kohtuu hintaan useammasta paikkaa.
 
Jos käytettyä konetta olet etsimässä niin toissapäivänä asentelin Dell Optiflex 9020 konetta ja siihen saisi kaksi 3.5" HDD kovalevyä kiinni ja CD/DVD-paikkoihin saisi kaksi kovalevyä tällaisilla adaptereilla: AXAGON RHD-435, asennusrauta 5.25" laitepaikkaan, maks. 4 x 2.5" / 2 x 2.5" + 1 x 3.5" kiintolevy, musta - 5,90€

Noita Dellin Optiflex 9020 koneita saa kohtuu hintaan useammasta paikkaa.

Hiukan jos kehtaa panostaa niin siihen 5,25 paikkaan voi heittää tällaisen niin alkaa saada tavaraa kiinni.

 
Tuollaista kokoonpanoa suunnittelin. Tosiaan NAS ja kevyttä virtualisointia (HA) olisi tarkoistus harrastaa. Toki valaiskaa jos jokin kaupallinen laite olisi fiksumpi, nopealla vilkaisulla alle 500€ Qnapit js Synologyt vaikuttaa aika mopoilta. Antakaahan kommenttia
 

Liitteet

  • Screenshot_20230314_225517.jpg
    Screenshot_20230314_225517.jpg
    79,2 KB · Luettu: 192
Tuollaista kokoonpanoa suunnittelin. Tosiaan NAS ja kevyttä virtualisointia (HA) olisi tarkoistus harrastaa. Toki valaiskaa jos jokin kaupallinen laite olisi fiksumpi, nopealla vilkaisulla alle 500€ Qnapit js Synologyt vaikuttaa aika mopoilta. Antakaahan kommenttia
Varmaan muuten ihan pätevää rautaa, mutta miksi 3kpl muistikampoja, typo? Emossa kaksi muistipaikkaa. 32GB muutenkin pienin määrä, millä lähtisin NASsia ja virtualisointia tekemään.
 
Viimeksi muokattu:
Varmaan muuten ihan pätevää rautaa, mutta miksi 3kpl muistikampoja, typo? Emossa kaksi muistipaikkaa. 32GB muutenkin pienin määrä, millä lähtisin NASsia ja virtualisointia tekemään.
Voin vahvistaa. Jos TrueNASia meinaat käyttää, niin sille muisti maistuu (+ suosituksena on 1GB rammia/1TB raakadatatilaa).
Aloitin itse tuoreimman verkkopalvelimeni kanssa 16GB:llä muistia, mutta aika pian päivitin 32GB:hen, toki käyttötarkoituskin laajeni pelkästä NAS-käytöstä yleiseen kevyeen palvelinkäyttöön.
 
Voin vahvistaa. Jos TrueNASia meinaat käyttää, niin sille muisti maistuu (+ suosituksena on 1GB rammia/1TB raakadatatilaa).
Ei normaali NAS-käyttö paljon muistia tarvitse, ellei jotain ZFS käytä. Truenas näyttää suosittelevan vähintään 8 GB joka riittää 8:lle levylle. Tietty on erikoistapauksia jolloin lisääntyy myös muistintarve.


Silti, vaihtaisin 8 GB -> 16 GB jos tarkoitus Truenas + HA lisäksi ajaa virtualisoituna.
 
Tuollaista kokoonpanoa suunnittelin. Tosiaan NAS ja kevyttä virtualisointia (HA) olisi tarkoistus harrastaa. Toki valaiskaa jos jokin kaupallinen laite olisi fiksumpi, nopealla vilkaisulla alle 500€ Qnapit js Synologyt vaikuttaa aika mopoilta. Antakaahan kommenttia

En tiedä mitä nas softaa meinasit ajaa, mutta jos truenas ja siinä zfs niin eikös ne suosittele ecc muistia. Itsellä vuonna miekka ja kivi oli eka freenas setti hetken ihan normi komponenteilla eikä ollut ongelmia. Aika pian kuitenkin tuli siirryttyä supermicron ipmilliseen emoon ja ecc muisteihin ihan varmuuden vuoksi.
 
Viimeksi muokattu:
Ei normaali NAS-käyttö paljon muistia tarvitse, ellei jotain ZFS käytä. Truenas näyttää suosittelevan vähintään 8 GB joka riittää 8:lle levylle. Tietty on erikoistapauksia jolloin lisääntyy myös muistintarve.
Niinjoo, ZFS:n käyttö unohtui mainita omassa viestissä.
 
Tuollaista kokoonpanoa suunnittelin. Tosiaan NAS ja kevyttä virtualisointia (HA) olisi tarkoistus harrastaa. Toki valaiskaa jos jokin kaupallinen laite olisi fiksumpi, nopealla vilkaisulla alle 500€ Qnapit js Synologyt vaikuttaa aika mopoilta. Antakaahan kommenttia
Kun aloitin tämä threadin joskus ammoisina aikoina, niin pyörittelin silloin muistaakseni 8GB nassia (amd 10W turion joku N36L prossu muistaakseni). Siinä oli 4 x 2TB WD Greenit joila mentiin pitkään. Siitä sitten hyppäys i3-41xxT prossuun ja vähän myöhemmin nykyiseen Epyc 3251 mini-itx embedded emoon ja 32GB rammiin (8 x 2TB lätyt oli jossain vaiheessa, z2 ollut kokoajan). ZFS ollut kokoajan ja voin sanoa että 32GB ahdisti kirjoituksissa ja luvuissa tosi paljon. Edes SSD cachetus ei muuttanut mitään. mdadm Raidiin verrattuna ZFS on samalla raudalla nopeampi ja vikasietoisempi, niin sitä ei kannata edes miettiä. Samoin käytin Facebookin (nykyisin Metan) suunnitelemaan tiedostojärjestelmää joka kirjoitti ssd:n läpi suoraan levylle, mutta se ei ollut kovin stabiili joskus vuonna 2016-18 kun sitä viimeeksi kokelin. Olikohan nimeltään fastcache.

Eli jos ajat ZFS:ää, niin laita niin paljon muistia kun saat emoon kiinni. Itsellä on nyt 128G ja se riittää nippa nappa (maksimi mitä emo ottaa kiduksiinsa on 512GB). Heti kun tiputaan muistista pois niin kirjouts tippuu sisäisesti sinne 100-150MB/s nopeuteen (joka toki riittää gigaselle verkolle hyvin kun ei se nopeampaan pääse). Niin kauan kun kirjoitettava data on L1arc:ssä (l2arc:n ei juuri nopeuta isoilla muistin määrillä koska siirtoaika mekaaniselta levyltä SSD:lle ja sitten luku sieltä kestää 2 x ajan kuin suoraan levyltä lukeminen L1arc:een).

Ainoa joka nopeuttaa zfs:ää keskusmuistin jälkeen on nopeammat levyt (=sas/sata ssd tai jos on pci-e laneja niin nvme levyt).

Tässä pari muistisääntöä joka on tullut vuosien saatossa testattua moneen kertaan:
8 levyä tai enemmän
1Gbe LAN (112MB/s) => 32GB muistia ja mitä tahansa pyörivää ruostetta
2.5Gbe LAN (280MB/s) => 64-128GB muistia ja mitä tahansa pyörivää ruostetta
5Gbe LAN (550 MB/s) =>32 GBmuistia ja kaikki levyt sata SSD
10Gbe LAN (~1 GB/s) => 64-128GB muistia ja kaikki levyt sata ssd
> 10Gbe LAN (xxxx GB/s) =>128GB+ muistia ja kaikki levyt nvme ssd.
 
Tässä pari muistisääntöä joka on tullut vuosien saatossa testattua moneen kertaan:
8 levyä tai enemmän
1Gbe LAN (112MB/s) => 32GB muistia ja mitä tahansa pyörivää ruostetta
2.5Gbe LAN (280MB/s) => 64-128GB muistia ja mitä tahansa pyörivää ruostetta
5Gbe LAN (550 MB/s) =>32 GBmuistia ja kaikki levyt sata SSD
10Gbe LAN (~1 GB/s) => 64-128GB muistia ja kaikki levyt sata ssd
> 10Gbe LAN (xxxx GB/s) =>128GB+ muistia ja kaikki levyt nvme ssd
32 gb siis riittäisi 8 x12 tb levylle? Ja meinaatko ettei 2x 1 tb 970 prosta ole mitään iloa muistin ja hdd:n väliportaana(ostin ne jokin aikasitten suht ok hinnalla ajatellen että aito mlc voisi olla hyödyksi)? Ja jos 2,5 gb verkon haluaa, niin ssd:t ei auta mitään. 2x 32 gb ddr4 ecc udimm muistia ei ole halpaa.

Rakentanut tuota omaa mediapalvelinnassia, kuin iisakin kirkkoa ja vielä on mahdollista tehdä jotain muutoksia.

Ja olisiko tuosta deduplicationista mediapalvelimessa juurikaan hyötyä? Vissiin on ainakin varsin muistinälkäinen.
 
Eli jos ajat ZFS:ää, niin laita niin paljon muistia kun saat emoon kiinni. Itsellä on nyt 128G ja se riittää nippa nappa (maksimi mitä emo ottaa kiduksiinsa on 512GB). Heti kun tiputaan muistista pois niin kirjouts tippuu sisäisesti sinne 100-150MB/s nopeuteen (joka toki riittää gigaselle verkolle hyvin kun ei se nopeampaan pääse).

Kiitos tästä tiedosta. Varmistaa sen että zfs ei tule tänne ikinä jos suorituskyky on noin surkea. Nykyinen mdadm viritys kun kirjoittaa ihan iloisesti about 500MB/s ja ei ole kuin 16GB muistia.

EDIT: toki se riippuu että miten testaa. Jos rouskuttaa vaikka dd:n kanssa defautti blokki koolla eli 512kb niin sitten suorituskyky on ihan onneton, mutta 1MB blokkikoolla alkaa tavara liikkumaan.
 
Viimeksi muokattu:
Kiitos tästä tiedosta. Varmistaa sen että zfs ei tule tänne ikinä jos suorituskyky on noin surkea. Nykyinen mdadm viritys kun kirjoittaa ihan iloisesti about 500MB/s ja ei ole kuin 16GB muistia.

Ei ZFS oikeasti tarvi noin paljoa muistia kotikäytössä. Ehkä sitten, jos sillä ajettaisiin jotain palvelinta jolla on oikeaa kuormaa (eli paljon satunnaislukua).
 
Ei ZFS oikeasti tarvi noin paljoa muistia kotikäytössä. Ehkä sitten, jos sillä ajettaisiin jotain palvelinta jolla on oikeaa kuormaa (eli paljon satunnaislukua).

Pariteettipohjaista raidia muutenkaan toimita ajella mitään database vasten. Parempi sellaiselle datalle jota muutellaan harvoin.
 
32 gb siis riittäisi 8 x12 tb levylle? Ja meinaatko ettei 2x 1 tb 970 prosta ole mitään iloa muistin ja hdd:n väliportaana(ostin ne jokin aikasitten suht ok hinnalla ajatellen että aito mlc voisi olla hyödyksi)? Ja jos 2,5 gb verkon haluaa, niin ssd:t ei auta mitään. 2x 32 gb ddr4 ecc udimm muistia ei ole halpaa.

Rakentanut tuota omaa mediapalvelinnassia, kuin iisakin kirkkoa ja vielä on mahdollista tehdä jotain muutoksia.

Ja olisiko tuosta deduplicationista mediapalvelimessa juurikaan hyötyä? Vissiin on ainakin varsin muistinälkäinen.

Ei ole tullut vähään aikaan katseltua onko vaatimukset muuttuneet, mutta hihavakiolla tulee freenas ajoilta mieleen ZFS ohje, että 1giga rammia joka teraa kohden ja 5gigaa rammia per tera jos deduplikointi käytössä.

Itsellä 24gb muistia omassa nassissa ja tällähetkellä 6kpl 8tb dechuckattuja wd:n sata lättyjä kiinni (ZFS RAIDZ2). Giganen verkko tukkeutuu ennen nassia kun sinne tietoa siirtää. Tosin itsellä ei siis deduplikointi ole käytössä enkä sitä ole kokeillut.
 
Viimeksi muokattu:
Ei ole tullut vähään aikaan katseltua onko vaatimukset muuttuneet, mutta hihavakiolla tulee freenas ajoilta mieleen ZFS ohje, että 1giga rammia joka teraa kohden ja 5gigaa rammia per tera jos deduplikointi käytössä.

Itsellä 24gb muistia omassa nassissa ja tällähetkellä 6kpl 8tb dechuckattuja wd:n sata lättyjä kiinni. Giganen verkko tukkeutuu ennen nassia kun sinne tietoa siirtää.
Kuulostaa todella paljolta, varsinkin kun olen halunnut pitää fyysisen koon pienenä (mini itx + silverstone ds380 lähinnä valikoitui koska sain halvemmalla tehokkaammat osat kuin ostamalla synologyn, yms valmiin paketin.). Ja olin ajatellut että nuo 2x teran ssd:t auttaisi vähentämään muistin tarvetta.
 
Kuulostaa todella paljolta, varsinkin kun olen halunnut pitää fyysisen koon pienenä (mini itx + silverstone ds380 lähinnä valikoitui koska sain halvemmalla tehokkaammat osat kuin ostamalla synologyn, yms valmiin paketin.). Ja olin ajatellut että nuo 2x teran ssd:t auttaisi vähentämään muistin tarvetta.

Itse en ole tota deduplikointia koskaan kokeillut, mutta tosiaan muistista se ymmärtääkseni tykkää. SSD cache varmaan auttaa kyllä muutoin nopeuksiin.
Oma käyttöni on vain mediaserverinä toimimista ja omien valokuvien ja dokumenttien tallentamista. Ja jopa ilman SSD cachea ja "vain" 24gb muistilla on aina tullut oman verkon rajat vastaan ennen nassia. Kokeile ihmeessä miten menee tuolla kokoonpanollasi... itsellä oli aiemmin 16gb ram ja hyvin pelasi silläkin.. löysin vaan niin halvalla tuota unbuffered ddr3 ecc rammia että tökkäsin lisätikut tonne emolle.
 
Siis mihin se ZFS sitä keskusmuistia käyttää? Ja millaisissa siirroissa se alkaa tukkeutumaan? Jos on vaikka 3 samanaikaista käyttäjää, jotka kaikki siirtää 4Gt kokoisen tiedoston ja käytössä on 16Gt keskusmuistia niin ZFS menee tukkoon vaikka 3x4Gt mahtuisi helposti keskusmuistiin? Ilmeisesti ei koske levyiltä lukemista ja siinä ei tukkeudu?

Oon miettiny laittavani yksittäisiä levyjä sileäksi ja tekeväni niistä yhden ison ZFS-poolin, mutta ei kyllä houkuttele, jos sen suorituskyky on noin huono.
 
Siis mihin se ZFS sitä keskusmuistia käyttää? Ja millaisissa siirroissa se alkaa tukkeutumaan? Jos on vaikka 3 samanaikaista käyttäjää, jotka kaikki siirtää 4Gt kokoisen tiedoston ja käytössä on 16Gt keskusmuistia niin ZFS menee tukkoon vaikka 3x4Gt mahtuisi helposti keskusmuistiin? Ilmeisesti ei koske levyiltä lukemista ja siinä ei tukkeudu?

Oon miettiny laittavani yksittäisiä levyjä sileäksi ja tekeväni niistä yhden ison ZFS-poolin, mutta ei kyllä houkuttele, jos sen suorituskyky on noin huono.
Mitä olen ymmärtänyt, niin vikasietoisuuden ja vakauden ylläpitoon. ZFS on ymmärtääkseni näillä mittareilla paras tiedostojärjestelmä.

Itse en pysty antaa parempaa vastausta, kun osaamistaso on aikaheikkoa.
 
Itsellä on nykyisessä Proxmox-koneessa vain 16 gigaa (non-ecc) muistia, ja pääasiassa tästä syystä valitsin ZFS:n sijaan BTRFS:n. Sehän on vielä kokeiluasteella Proxmoxissa, mutta sisältää monia hienoja ominaisuuksia verrattuna perinteisiin tiedostojärjestelmiin ja mdraid-systeemeihin ja mikä parasta, ei nojaa samalla lailla muistiin kuin ZFS. Nyt 7 virtuaalikonetta/konttia ajossa (Nextcloud, Grafana, Collabora, Shinobi, Scrutiny, Pihole, Unifi) ja muistia 5-6 gigaa käytössä. TrueNAS virtuaalikoneen kun käynnistää niin se haukkaa jäljellä olevat muistit yhtenä suupalana :D Yhtään levyä ei toistaiseksi ole hajonnut tai muuten tarvinnut vaihtaa, niin ei toki ole kovin syvällistä kokemusta tuosta BTRFS:stä vielä mutta tän kokemuksen perusteella voin suositella ainakin kaikkeen ei-tuotantokäyttöön ja erityisesti silloin kun muistia on rajallisesti saatavilla. Sikäli kun se jotakuta jäi kiinnostamaan niin käytössä 2x500GB SSD-levyjä Proxmoxille ja virtuaalikoneille ja lisäksi kaksi 2x8TB nippua datalle, jokainen nippu BTRFS raid1.
 
Viimeksi muokattu:
Nythän on muuten btrfs:n tulossa kernel 6.2 sen verran parannusta raid-5 puolelle että se vaikuttaisi olevan jo lähes käytettävä. En ole varma että onko siinä jo scrub korjattu, jos ei ole niin sitten sitä ei vielä kehtaa oikein ajaa.

Lisäksi ovat jo alustavia lisäyksiä tehneet cryptauksen toteuttamiseksi.

Kunhan tuon scrub ongelman saisivat korjattua ja natiivin kryptauksen, niin sehän alkaisi olla jo ihan toimiva tällaisiin harrastehommiin. Scub ongelma siis on sellainen että raid-5 tulee ns. race tilanne kun kaikille levyille ajetaan sitä scrub ns. samanaikaisesti ja sitten kun pitää pariteetti tarkistella niin menee ihan tukkoon se scrub. Viimeeksi kun tuota btrfs kokeilin niin reilun 10 teran poolin scrub olisi kestänyt yli kuukauden.


Itteäni suuresti kiinnostaa tuo btrfs:n raid-5 toteutus koska se olisi todella joustava tällaisiin harrastehommiin. Levyjen ei tartte olla saman kokoisia vaan sulla voi olla sekaisin vaikka 6kpl 3TB ja 5kpl 4TB lättyjä jolloin pooli rakennetaan kahdesta alueesta tähän tyyliin

Ja mitä tulee tuohon zfs muistisyöppöyteen ja sen parhauteen niin noh.. Itte olen ajanut yli 20v mdadm raid-5 ja en ole mitään kriittistä datan menetystä koskaan sen takia kokenut.
En siis ymmärrä tuota vouhotusta että zfs olisi jotenkin ylivertainen verrattuna mdadm joka on kuitenkin linuxin natiivi softa raid toisin kuin zfs.

Lähinnä miellän sen laiskan miehen raidiksi kun se on niin "helppo" verrattuna mdadm. Ja en tietenkään kiellä etteikö siinä olisi yhdessä paketissa kova kattaus mutta sen mitä zfs tarjoaa, saa kyllä linuksin natiiveilla kikkareilla myös tehtyä, vaatii vaan hiukan vaivaa opetella.
 
32 gb siis riittäisi 8 x12 tb levylle? Ja meinaatko ettei 2x 1 tb 970 prosta ole mitään iloa muistin ja hdd:n väliportaana(ostin ne jokin aikasitten suht ok hinnalla ajatellen että aito mlc voisi olla hyödyksi)? Ja jos 2,5 gb verkon haluaa, niin ssd:t ei auta mitään. 2x 32 gb ddr4 ecc udimm muistia ei ole halpaa.

Rakentanut tuota omaa mediapalvelinnassia, kuin iisakin kirkkoa ja vielä on mahdollista tehdä jotain muutoksia.

Ja olisiko tuosta deduplicationista mediapalvelimessa juurikaan hyötyä? Vissiin on ainakin varsin muistinälkäinen.
Ei se deduplikointi loppuen lopuksi ole, siitä ei ole vain hirveästi apua. Muistiakaan se ei enää vie nykyisellä openzfs:llä, aikoinaan Oraclella vei, sieltä suurin osa väärinkäsityksistä vielä jäljellä. Deduplikoinnista saa tosiaan enemmän irti jos siirtää metadatan nvme:lle, jolloin se ei vie muistia ja tulee melkein yhtä nopeasti sieltä. Ajoin omalle datasetille (n. 20TB) deduplikointilaskelman ja hyöty oli n. 1,2, eli olisin säästänyt 20% kiintistilasta. Parempi että kotikäytössä (vaikka samat jpeg kuvat olisi 10 kertaa eri paikoissa) laittaa vain pakkaus päälle. Jos on muutama sama tiedosto tiedostojärjestelmässä, niin se deduplikointi ei hirveästi säästä tilaa. Halvemmalla pääsee hommamalla isommat levyt tai enemmän levyjä.

Sulla riittää myös vain 8GB ram, se on aika minimi, 4GB saattaa riittää jo. Mutta mitä enemmän on, sitä nopeammin toimii. Gigasella verkolla ei ole juurikaan väliä jos on z1 tai z2 ja 6 levyä tai enemmän. 32GB ei ole hätää.
 
Riittää se vähempikin muisti. Käyttötapauksen mukaan muistia voi mennä enemmän, joten se kannattaa avata.
 
hei tämä ei ehkä kuulu tänne mutta en löytäny oikeeta paikkaa missä kysyä apua taikka neuvoo mutta huomasiin täällä on alan tietäjiä niin voinko yhdistää kaksi verkkoa yhteen kyseessä on 4g liittymät asun maalla niin ei tahdo oikeen striimi jutut toimii network bonding tuollainen juttu tuli netissä vastaan jos jollain tietoo niin olis kiva jos vähän joku auttaas :)
 
hei tämä ei ehkä kuulu tänne mutta en löytäny oikeeta paikkaa missä kysyä apua taikka neuvoo mutta huomasiin täällä on alan tietäjiä niin voinko yhdistää kaksi verkkoa yhteen kyseessä on 4g liittymät asun maalla niin ei tahdo oikeen striimi jutut toimii network bonding tuollainen juttu tuli netissä vastaan jos jollain tietoo niin olis kiva jos vähän joku auttaas :)
Tommossen tekeminen onnistuu itse linuxin verkon avulla (mutta vaatii osaamista, opettelua ja ylläpitoa), tai valmiin paketin ostaminen kaupasta joka yhdistää kaksi eri verkkoa yhteen (Asuksella on tämmöisiä wlan/reitittimiä esim..: "4G-AX56" https://dlcdnets.asus.com/pub/ASUS/wireless/4G-AX56/FI19878_4G-AX56_UM_WEB.pdf). Termi jota ehkä haluat etsiä on "Kuormatasapaino", s.61.

Halvemalla pääset varmaan kun hommaat hyvän Asuksen reittimen jossa toi ominaisuus on sisäänrakennettuna.
 
En tiiä meneekö tämä nyt oikeaan threadiin täällä, mutta otin asiakseni sitten NAS-rakentelun vanhoista paloista mitä minun kaapeista löytyy. Asensin nyt näilllä tiedoilla OpenMediaVaultin softaksi sen takia koska sen pitäisi ymmärtää WIFIä kun taas TrueNAS ei sitä ymmärrä. Se sitten taas muuttui vähän turhaksi perusteeksi, koska käyttämäni ulkoinen verkko-dongeli oli täysin epäluotettava OMVn käytössä, se saattoi tipahtaa pois käytöstä kesken asennusten tms. Netissä sitten suositeltiin että osta tuollainen WIFI-silta, minkä sitten riipaisin kun sillä on muutakin käyttöä ja verkkokaapelin vetäminen kytkimeltä koneelle tässä kohtaa olisi vallan haastavaa. Vaihdettuani langalliseen asennus oli simppeliä ja onnistui yhdellä kertaa, purkki on nyt pystyssä ja OMV6 on siellä asennettuna ja se on saatavissa verkon yli kaikille koneille.

Ongelmaksi muodostuu nyt se, että en haluaisi koneen olevan aina päällä vaan haluaisin herättää sen etänä käyttäen Wake-on-Lania. Tämä on minulle vähän vierasta aluetta noin ylipäätänsä, niin yritän tässä nyt keksiä miten sen saisi toimimaan. Minulla on on Elisan ADSL-modeemi, mallia Huawei DG8245W2. Tästä menee langattomalla yhteys yläkerrassa olevaan range-extenderiin, josta lähtee taas letku koneeseen. Koneessa on PCI-E väylässä verkkokortti minkä mallista en tiedä, varmaan pitäisi ottaa selvää kun tätä hommaa selvittelee.

Asioita mitä tähän mennessä on tehty:
- kytkenyt BIOSin APM-asetuksista päälle "Wake on PCI-E"
- Laittanut OMVstä verkkokortille WOLin päälle.
- olen asettanut debianiin kyseiselle adapterille wakeup on lanin päälle, tämän tein ohjeilla mitä löysin netistä eikä tämä ainakaan välittömästä sano etteikö tuo minun adapteri tukisi herätystä:

Asensin asiakaskoneeseen tommoisen wakeonlan -skriptin homebrewlla ja yritän sillä lähettää ko. koneen MAC-osoitteeseen paketteja, kone ei kuitenkaan herää. Ensisijaisesti kysymys on, että puuttuuko yo. listasta jotakin oleellista minkä kokeneemmat tämän kanssa peuhanneet tunnistaa? Elän siinä ymmärryksessä että se paketti missä tämä herätetieto kulkee joku UPD paketti, mutta onko olemassa jotakin simppeliä konstia seurata että missä kohtaa se hukkuu jos hukkuu ylipäätänsä? Yksi epäilys oli tuo silta missä WIFI-signaali muutetaan ethernetiksi. Toinen on se että se ei välttämättä kulje ensinkään ja se pitäisi tukiasemasta kytkeä jotenkin päälle, mutta reitittimessä on valtavasti optioita enkä oikeen ymmärrä niistä mitään. Asiaa ei edes helpota se, että tuossa laitteessa on käytössä heikko konekäännös käyttöliittymässä, joten sitä on joskus tosi vaikea arvailla että mitä ne optiot ylipäätänsä voisi olla englanniksi.

Toinen kysymys nyt on se, että koska alkuperäinen syy OMVn valintaan oli WIFI-tuki, niin periaatteessa voisin tässä vaiheessa siirtyä TrueNasin pariin jos siitä saa jotakin erityistä hyötyä? Ilmeisesti keskeisin on tuo ZFS, mutta mahtaako hardware tulla tässä vastaan? Kone on ikivanha 2600K ja siinä 8 gigaa muistia ilman virheenkorjauksia tms.
 
Hieman asiaa sivuten, wake-on-lanin voit helpoiten lähettää puhelimella sopivalla appilla. Olethan myös konfiguroinnnin jälkeen tarkistanut, että wol on edelleen päällä? Eli ethtoolilla katsonut että asetukset ovat pysyneet. Muistaakseni se täytyy asettaa aina ennen buuttia (tai ainakin itselläni oli sellainen kone joskus ja siitä jäänyt tapa).
 
Hieman asiaa sivuten, wake-on-lanin voit helpoiten lähettää puhelimella sopivalla appilla.

Hyvä tietää, se helpottaakin merkittävästi testailua. Täytyy ladata joku, niitä näköjään on useampikin.

Olethan myös konfiguroinnnin jälkeen tarkistanut, että wol on edelleen päällä? Eli ethtoolilla katsonut että asetukset ovat pysyneet. Muistaakseni se täytyy asettaa aina ennen buuttia (tai ainakin itselläni oli sellainen kone joskus ja siitä jäänyt tapa).

En ole tietoisesti sitä käynyt katsomassa niin tähän tulee kyllä jyrkkä ehkä, joten täytyy varmistaa kun pääsee kotiin. Nyt toki luin nuo ohjeet uudelleen täysin hereillä niin tajusin, että siellä on ohjeita mitä lukea liittyen tuohon ethtoolin outputtiin. Eilen vielä kopioin niitä loitsunomaisesti terminaaliin enkä oikein tiennyt mitä olen tekemässä. Täytyy tuplatsekata sekin.
 
Jäähän RJ45 porttiin valot päälle kun sammutat NAS koneen?
Jos ei niin tuola toimivat ohjeet, omv:n wol täpistä en tiedä. (mulla virtuaalikoneessa)

Ei jää valot palamaan. Kokeilin rullata nuo linkittämäsi ohjeet läpi, mutta ne ei nyt tässä vaiheessa antanut ratkaisua. Jonkun verran edistystä kuitenkin tuli sitä kautta, että tuo verkkokortin WOL jää kyllä päälle uudelleenkäynnistyksessä, myöskin tcpdump näyttää että NAS näkee herätepaketit, se ei vaan osaa jostakin syystä reagoida niihin.
 
Ei jää valot palamaan. Kokeilin rullata nuo linkittämäsi ohjeet läpi, mutta ne ei nyt tässä vaiheessa antanut ratkaisua. Jonkun verran edistystä kuitenkin tuli sitä kautta, että tuo verkkokortin WOL jää kyllä päälle uudelleenkäynnistyksessä, myöskin tcpdump näyttää että NAS näkee herätepaketit, se ei vaan osaa jostakin syystä reagoida niihin.

Jos siinä ei pala valot koneen ollessa sammuksissa, niin ei se myöskään silloin niitä paketteja näe. Sun täytyy saada emolevy antamaan sille verkkokortille virtaa sammuksissa ollessa.
 
Jonkun verran edistystä kuitenkin tuli sitä kautta, että tuo verkkokortin WOL jää kyllä päälle uudelleenkäynnistyksessä,
Hyvä perusedellytys täyttyy :)
Varmista vielä kerran että mac on oikein, mä sekoilin välillä usb donglen ja emon mac:n välillä kumma kyllä usb herätys toimi?
Mulla linux ympäristössä herätys tapahtuu gwakeonlan:lla myös opnsensessä taitaa olla optio.

MIkä runko sulla on mulla ongelmat alkoi Lenovon kanssa.
 
Melkein jo luulin että tässä oli tapahtunut amatööri-moka. Otin asiakseni nyt purkaa koneen, halusin poistaa äänekkään näyttiksen kun sillä nyt tässä operaatiossa ole mitään väliä, samalla kattoa mikä se verkkokortin merkki ja malli on. Se näyttää olevan A-link NA1GHR, se näkyy olevan vastoin mielikuvaa PCI-paikkainen laitos. Kokeilin sitten siirtää BIOSin APMstä tuon Allow computer to wake on PCI tilaan enabled ja poistin sen wake on PCI-E. Näistä operaatioista ei kuitenkaan ollut mitään apua, kone edelleen on käynnistymättä.

Säätö menee jo vähän epätoivoiseksi, siirsin verkkokortin toiseen PCI-paikkaan mutta sillä ei ollut mitään merkitystä. Tuplatsekkasin myös sen MAC-osoitteen, sekin on kunnossa.

Jos siinä ei pala valot koneen ollessa sammuksissa, niin ei se myöskään silloin niitä paketteja näe. Sun täytyy saada emolevy antamaan sille verkkokortille virtaa sammuksissa ollessa.

Tämä jäi vaivaamaan, että mitenköhän tämmöinen sitten saadaan aikaan? Netistä löytyy vähän heikosti tuloksia kun en täysin tiedä mitä hakea. Toki tässä voi vähän olla vaihteeksi vainoharhainen, ohjekirjasta löytyy tämmöinen info liittyen PCI-väylästä herättämiseen: "This feature requires an ATX power supply that provides at least 1A to +5 VSB lead". sitä en sitten tiedä kuinka todennäköinen skenaario se olisi että tämä 600W Super flower ei jaksaisi tuota herätyshommaa hoitaa.
 
Kysymys liittyen omv:hen.

Mitä tapahtuu tallennuslevyille jos levy missä käyttis asustaa hajoaa? Tai jos jostain syystä rauta vaihtuu? Säilyykö kaikki data tallennuslevyillä kun käyttöjärjestelmä asennetaan uudestaan?

En ole ennen nassia laittanut toimintaan, niin ajattelin kysyä tuollaisen varmaan ihan perusjutun. Windows ympäristössähän se data ei sieltä mihinkään häviä, mutta en ole kyllä windowsissa raideja käyttänyt.
 
Kysymys liittyen omv:hen.

Mitä tapahtuu tallennuslevyille jos levy missä käyttis asustaa hajoaa? Tai jos jostain syystä rauta vaihtuu? Säilyykö kaikki data tallennuslevyillä kun käyttöjärjestelmä asennetaan uudestaan?

En ole ennen nassia laittanut toimintaan, niin ajattelin kysyä tuollaisen varmaan ihan perusjutun. Windows ympäristössähän se data ei sieltä mihinkään häviä, mutta en ole kyllä windowsissa raideja käyttänyt.

Jos ovat fyysisesti eri levyillä, niin data toisella levyllä säilyy. Tietysti jos joku virtapiikki hajottaa levyn, niin voi käydä että hajottaa molemmat. Tosin eikös nykyään salaman aiheuttamat virtapiikit ole aika harvinaisia kun kaapelit kaivettu maahan? Mutta eihän se harvinaisuus lohduta yhtään jos se omalle kohdalle sattuu.
 
Mitä tapahtuu tallennuslevyille jos levy missä käyttis asustaa hajoaa? Tai jos jostain syystä rauta vaihtuu? Säilyykö kaikki data tallennuslevyillä kun käyttöjärjestelmä asennetaan uudestaan?

En ole ennen nassia laittanut toimintaan, niin ajattelin kysyä tuollaisen varmaan ihan perusjutun. Windows ympäristössähän se data ei sieltä mihinkään häviä, mutta en ole kyllä windowsissa raideja käyttänyt.

Data säilyy kyllä, olettaen ettei ole käyttänyt mitään proprietary rauta-raidia. Toinen mahdollisuus on että olisi salannut datat, ja salausavain olisi vain siellä käyttislevyllä.
 
Data säilyy kyllä, olettaen ettei ole käyttänyt mitään proprietary rauta-raidia. Toinen mahdollisuus on että olisi salannut datat, ja salausavain olisi vain siellä käyttislevyllä.
Raid 5 ajattelin laittaa tuohon pyörimään kun levypaikkoja löytyy 4kpl ja levyjäkin 4 eli tässä tilanteessa ei varmaan ole ongelmaa? Toki nyt kun järjestelmää pystyttelen, niin otan yhden backupin ulkoiselle kovolle jonka sitten tyrkkään takaisin nassiin.
 
Raid 5 ajattelin laittaa tuohon pyörimään kun levypaikkoja löytyy 4kpl ja levyjäkin 4 eli tässä tilanteessa ei varmaan ole ongelmaa? Toki nyt kun järjestelmää pystyttelen, niin otan yhden backupin ulkoiselle kovolle jonka sitten tyrkkään takaisin nassiin.

Onko toi raid-5 siis softalla vai miten?
 
Nyt kun tämä threadi pomppasi eteen, niin niille joita tämä minun NAS-saaga kiinnostaa, niin tuo WOL ei lähtenyt skulaamaan mitenkään päin. Oletan että tuo rauta on vaan syynä siihen, joten ostan jossakin vaiheessa uutta rautaa tätä varten. Kokoonpano tulee varmaan olemaan tuommoinen J4125 -emolevy ja picoPSU siihen kylkeen niin saan kaiken turhan pöhinän pois kotelosta.

Mitä tapahtuu tallennuslevyille jos levy missä käyttis asustaa hajoaa? Tai jos jostain syystä rauta vaihtuu? Säilyykö kaikki data tallennuslevyillä kun käyttöjärjestelmä asennetaan uudestaan?

Tieto on niillä levyillä, että jos asennat asemat uudestaan niin pystyt myös mounttaamaan samat levyt. Yleinen ohjeistus suosittaa irrottamaan tallennusasemat uudelleenasennuksen yhteydessä, siitä en tiedä että onko se käytännössä miten tarpeellista - Näin maallikkona kuulostaa vähän oudolta että se asennus olisi tehty niin huonosti että asennus nuuskii järjestelmään kytketyt levyt ja vetäisee ne sileäksi pyytämättä ja yllättäen - minulla ole sitä vielä tehnyt kun tässä olen lyhyen NAS-taipaleeni aikana asennellut käyttistä monta kertaa uudestaan, mutta minulla ei ole vielä ollut missään välissä mitään oleellista dataa siellä.
 
Onko toi raid-5 siis softalla vai miten?
Kun se tuolta omv:n käyttöliittymästä määritellään, niin eikös se sitten ole softalla toteutettu raidi?

Tieto on niillä levyillä, että jos asennat asemat uudestaan niin pystyt myös mounttaamaan samat levyt. Yleinen ohjeistus suosittaa irrottamaan tallennusasemat uudelleenasennuksen yhteydessä, siitä en tiedä että onko se käytännössä miten tarpeellista - Näin maallikkona kuulostaa vähän oudolta että se asennus olisi tehty niin huonosti että asennus nuuskii järjestelmään kytketyt levyt ja vetäisee ne sileäksi pyytämättä ja yllättäen - minulla ole sitä vielä tehnyt kun tässä olen lyhyen NAS-taipaleeni aikana asennellut käyttistä monta kertaa uudestaan, mutta minulla ei ole vielä ollut missään välissä mitään oleellista dataa siellä.
Joo varmaan uudelleen asennuksen yhteydessä ottaisin noi datalevyt irti, ihan kuten windows asennuksessakin olen tehnyt eli aina vain käyttis levy kiinni ettei vahingossa ajeta käyttistä väärälle levylle.
 

Statistiikka

Viestiketjuista
258 289
Viestejä
4 486 425
Jäsenet
74 133
Uusin jäsen
Jaakko0000000

Hinta.fi

Back
Ylös Bottom