NAS rakentelut

Liittynyt
10.01.2018
Viestejä
212
Pakkaako zoneminder videon, vai tallennetaanko se käsittelemättä? Pakkaus ainakin selittäisi miksi C2550 ei riitä.
SATA-ongelmaan ehdottomasti LSI:n SAS-kortteja edelleen, ebaysta esimerkiksi 8i-mallit tuppaa olemaan edullisia (20-40 € / kpl + kaapelit). Yhdestä kortista saa SAS-SATA kaapelilla 8 SATA-liitintä. Isommat mallit (16i) maksaa sitten reilusti enemmän.
 
Liittynyt
23.10.2016
Viestejä
999
Zoneminderissä menee hurjasti tehoa jos kamerat ovat suurella resoluutiolla, paljon fps:iä ja liiketunnistus (modect) on päällä. Sehän purkaa streamin jpg-kuviksi ja analysoi niitä. Jotkut käyttävät kameran lowres streamia liiketunnistuksen analysointiin ja tallentavat sitten täyden tarkkuuden streamia tuon hälytyksen perusteella.
 
Liittynyt
21.05.2017
Viestejä
202
Onkohan tämä ASRock J4105-ITX paras Mini-ITX-lankku hinta-/laatusuhteeltaan mitä on saatavilla (ja oikeasti varastossa eikä vain listoilla ilman saatavuustietoja)? Onko prossu liian mopo tai max 8GB RAM ongelma? Tämän hetkisissä suunnitelmissa:
Step 1:
- Perus Ubuntu server -asennus
- 2-6 levyä RAID1 (ylimääräisiä levyjä löytyy nurkista)
- Linux-koneet varmuuskopioituu tuonne ehkä ihan vaan rsyncillä, vaimon Windows-läppäri jollain muulla
Step 2:
- NAS-purkista kryptattu varmuuskopio johonkin pilveen
- Nextcloud pyörimään ja sinne puhelimista kuvien synccaus
 
Liittynyt
17.01.2018
Viestejä
1 997
Onkohan tämä ASRock J4105-ITX paras Mini-ITX-lankku hinta-/laatusuhteeltaan mitä on saatavilla (ja oikeasti varastossa eikä vain listoilla ilman saatavuustietoja)? Onko prossu liian mopo tai max 8GB RAM ongelma? Tämän hetkisissä suunnitelmissa:
Step 1:
- Perus Ubuntu server -asennus
- 2-6 levyä RAID1 (ylimääräisiä levyjä löytyy nurkista)
- Linux-koneet varmuuskopioituu tuonne ehkä ihan vaan rsyncillä, vaimon Windows-läppäri jollain muulla
Step 2:
- NAS-purkista kryptattu varmuuskopio johonkin pilveen
- Nextcloud pyörimään ja sinne puhelimista kuvien synccaus
Minulla on J4205-ITX, melkein sama mutta DDR3 ja max 16G.
Koneessa on halpis ASM1062 pcie-sata lisäkortti ja 5 levyä (käyttis + 2kpl peilejä), debian server.
CPU ei ole ottanut vastaan omassa käytössä säilytyspönttönä/muiden varmuuskopiona, ensimmäisenä hidastaa 1G verkko ja toisena hdd:t. Kopionopeus on aika tarkkaan se mikä 1G verkosta menee läpi.
Muistin käyttö kun uptime tänään 32pv, 8G riittäisi myös mutta kun oli niin otin käyttöön.
Koodi:
              total        used        free      shared  buff/cache   available
Mem:       16245192      210848     9185344      165284     6849000    15526852
Swap:       2097148        1024     2096124
Tuo on nyt pyörinyt ~2018 alusta, ei ole kaduttanut missään vaiheessa (viritelmä).

Nextcloudista ei ole mitään hajua. Eikä kryptauksesta pilveen, siinä varmaan cpu tulee vahvasti mukaan.
 
Liittynyt
31.05.2017
Viestejä
4 336
Yritin tuossa kirjautua kotona lähiverkossa, toisella koneella etänä sekä kännykällä kotona olevaan Synology DS918+:aan. Google Authenticatorin koodi ei toimi jostain syystä millään laitteella. Mikähän neuvoksi? En tietysti pääse Synologyn tilille edes selaimen kautta, koska sinne tarvisi 2-step verificationin. Tilasin jonkun backup-viestin sähköpostiin eikä sitä ikinä tullut. Onkohan joku kaapannut tuon Synology-tilini?

Nas toimii läheverkossa normaalisti kyllä, mutta en vain pääse sinne sisään. Verkkokovalevyille siis kyllä pääsen, mutta en nassia säätämään.

E: Löysin Autheticatorin backup-koodit ja pääsen selaimella Synology-tilille, mutta nassiin en. Tilasin "emergency coden" jo toiseen kertaan, mutta sitä ei tule.

Tässähän tilanne tosiaan oli se (kuten googlaus auttoikin), että Synologyn kellonaika ei ollut päivittynyt. Piti tehdä soft reset ja kävi ilmi, että Synologyn aika oli n. 3 minuuttia jäljessä. Googlasin lisää ja tein taskin, joka päivittää kerran vuorokaudessa kellon ja ilmoittaa sähköpostilla, jos päivitys epäonnistuu. Nyt ehkä uskaltaa laittaa 2-step verificationin taas päälle. Alla ohjeet, jos jotakuta kiinnostaa:


1.PNG
2.PNG
3.PNG
4.PNG
 

dome

Tukijäsen
Liittynyt
17.10.2016
Viestejä
585
Synologyn valikoista löytyy kyllä ihan suoraan vaihtoehto käyttää NTP:tä ajan määritykseen. Ei tarvitse ajastetusti ajella ntpdatea ja hälytellä sähköpostiin (ellei jostain syystä nimenomaan halua). NTP muutenkin hyvä olla kaikkialla käytössä missä vain suinkin mahdollista. 2FA ei tunnetusti toimi laitteesta riippumatta ellei aika ole synkassa.
 
Liittynyt
23.01.2017
Viestejä
121
Onkohan tämä ASRock J4105-ITX paras Mini-ITX-lankku hinta-/laatusuhteeltaan mitä on saatavilla (ja oikeasti varastossa eikä vain listoilla ilman saatavuustietoja)? Onko prossu liian mopo tai max 8GB RAM ongelma? Tämän hetkisissä suunnitelmissa:
Step 1:
- Perus Ubuntu server -asennus
- 2-6 levyä RAID1 (ylimääräisiä levyjä löytyy nurkista)
- Linux-koneet varmuuskopioituu tuonne ehkä ihan vaan rsyncillä, vaimon Windows-läppäri jollain muulla
Step 2:
- NAS-purkista kryptattu varmuuskopio johonkin pilveen
- Nextcloud pyörimään ja sinne puhelimista kuvien synccaus
Varmasti pärjää noilla tarpeilla.

ASRockilta tulossa J5040, mutta ei tällä hetkellä näytä olevan saatavissa Suomesta: ASRock J5040-ITX available .

Edit: noissa J-lankuissa Intel AES-NI jota hyödynnetään kryptauksessa ja sen purkamisessa esimerkkejä asiasta tästä.
 
Viimeksi muokattu:
Liittynyt
21.05.2017
Viestejä
202
Varmasti pärjää noilla tarpeilla.

ASRockilta tulossa J5040, mutta ei tällä hetkellä näytä olevan saatavissa Suomesta: ASRock J5040-ITX available .

Edit: noissa J-lankuissa Intel AES-NI jota hyödynnetään kryptauksessa ja sen purkamisessa esimerkkejä asiasta tästä.
Hyviä vinkkejä! Tämä projekti ei ole ihan päivistä kiinni, niin voisihan tuota J5040-malliakin hetken odottaa. Vaikuttaisi ainakin jossain päin Eurooppaa olevan jo myynnissä. Näköjään noissa kaikissa uudemmissa tuo max RAM 8 GB, mutta sillä varmaan tosiaan pärjätään.
 
Liittynyt
22.08.2017
Viestejä
593
Pitäisi saada unRAID NASsille "backup" lähinnä bit rottia ja raudan hajoamista vastaan. Koko NASsia ei ole tarkoitus backupata, ainoastaan tärkeimmät tiedostot. Puhutaan kuitenkin usemmasta terasta. Kyseisen backupin ei ole tarkoitus suojata esimerkiksi varkaudelta tai tulipalolta. Kaikista tärkeimmät ja korvaamattomat tiedostot kopioidaan lisäksi pilveen.

Vaihtoehtoja joita olen miettinyt:
- Rakentaa jokin muutaman levyn NAS ZFS:llä
- Valmis NAS, esim. 2 levylle
- Polttaa Bluray levyille
- Ulkoinen "cold storage" kovalevy joka kytketään kiinni vain dataa lisättäessä

Mielipiteitä?
 
Liittynyt
30.04.2017
Viestejä
279
NAS-palvelimessa joka on nyt ollut telakalla tässä jonninaikaa on HP Smart Array P410 RAID -kortti ja tekisi mieli hankkia joku hieman modernimpi tilalle. Koneena on HP Proliant DL380 G6 eli aikamoista SER-jätettä mutta on ihan kelpomäärällä levypaikkoja (12 x 3.5"), muistia mukavasti (120GB) ja kivikautisia corejakin riittävästi (2x 6C/12T).

Raudassa on ollut VMWare ESXi asennettuna mutta enköhän siihen vaihda jonkun ihan tavallisen distron kun vastaa paremmin nykymenoon ja melkoista vääntöä tuo ESXin ajo SER-raudan kanssa. RAIDit on tehty tuolla kortilla mutta pitää askarella kaikki uusiksi ja jatkossa jotain muuta tilalle eli HBA/IT-mode pitäisi ilmeisesti olla.

Mutta ongelma on kun tuosta P410 -kortilta lähtee yksi kaapeli backplanelle (HP 579265-001 Mini SAS 36 Pin to Mini SAS SFF-8087) että jos ostan jonkun LSI HBA (vaikka nyt joku LSI SAS 9207-8i) kortin niin toimiiko ne kaikki backplanen 12 levypaikkaa silti vai mitä tuohon nyt pitää hankkia? Tuossa Smartarrayssa on kaksi kpl moisia liittimiä, ja ei siinä toisessa ole ollut mitään kaapelia kiinni. Muistelisin että levyjä olisi 10 kpl koneessa kiinni tällä hetkellä 300 Gt - 8000 Gt väliltä.

Käyttislevyinä on pari kpl SAS levyjä jotka voisi kyllä hävittää anyway (2x 300GB), mutta muuten ovat ihan perus SATA levyjä syönyt tuo. Varmaan jotain SSD:tä tarvis läiskiä systeemille, että oishan se kiva että virtuaalit toimis vähän vikkelämmin. Tosin ne nyt voi laittaa myös ilman että ovat backplanen kautta kiinni vaikka erillisen ohjaimen kautta että ei sillä suorituskyvyllä niin väliä ole.
 
Liittynyt
23.01.2017
Viestejä
121
Pitäisi saada unRAID NASsille "backup" lähinnä bit rottia ja raudan hajoamista vastaan. Koko NASsia ei ole tarkoitus backupata, ainoastaan tärkeimmät tiedostot. Puhutaan kuitenkin usemmasta terasta. Kyseisen backupin ei ole tarkoitus suojata esimerkiksi varkaudelta tai tulipalolta. Kaikista tärkeimmät ja korvaamattomat tiedostot kopioidaan lisäksi pilveen.

Vaihtoehtoja joita olen miettinyt:
- Rakentaa jokin muutaman levyn NAS ZFS:llä
- Valmis NAS, esim. 2 levylle
- Polttaa Bluray levyille
- Ulkoinen "cold storage" kovalevy joka kytketään kiinni vain dataa lisättäessä

Mielipiteitä?
Uusi odroid-hc4 ja jotain ulkoisia WD:n levyjä (koska halvempia), joista sitten ottaa kuoret irti ja nakata tuohon kiinni. Odroid-hc4 melko tuore eikä siitä itsellä ole kokemuksia, mutta itseäni tuollainen tällä hetkellä kiinnostaisi. Olikos jotain budjettia mielessä omille NAS-kasauksille? Ja oliko jotain tiettyä ajatusta ZFS:n (ja levymäärien) suhteen?

Valmiita NASseja en osaa suositella.

Bluray-polttavia taitaa saada M-Disc yhteensopivina ja liekö maksimissaan 100Gb BD-XL -levyillä, jotka ei nyt mitään halpoja ole. Teoreettisesti kestää tuhat vuotta, mutta tiedäppä tuota. Levyt eivät ole uudelleen kirjoitettavaa tyyppiä. Ja jos sitä backupattavaa dataa oli useampi tera niin melkoinen työsarka tiedossa.

Lienee halvin vaihtoehto ostaa juurikin joku ulkoinen isohko levy jota välillä käyttää koneessa kiinni. Taitaa tällä hetkellä amazonista halvin (Suomeen lienee helpoin amazon.de:stä) ostella juurikin noita mainitsemiani WD:n ulkoisia (3.5") kovalevyjä. Juuri nyt on Black Friday halvennukset tuolla menossa, että saa melko huokeaan hintaan. Täältä saa nopeahkosti vilkaistua halvimmat hinnat: diskprices.com
 
Liittynyt
22.08.2017
Viestejä
593
Uusi odroid-hc4 ja jotain ulkoisia WD:n levyjä (koska halvempia), joista sitten ottaa kuoret irti ja nakata tuohon kiinni. Odroid-hc4 melko tuore eikä siitä itsellä ole kokemuksia, mutta itseäni tuollainen tällä hetkellä kiinnostaisi. Olikos jotain budjettia mielessä omille NAS-kasauksille? Ja oliko jotain tiettyä ajatusta ZFS:n (ja levymäärien) suhteen?

Valmiita NASseja en osaa suositella.

Bluray-polttavia taitaa saada M-Disc yhteensopivina ja liekö maksimissaan 100Gb BD-XL -levyillä, jotka ei nyt mitään halpoja ole. Teoreettisesti kestää tuhat vuotta, mutta tiedäppä tuota. Levyt eivät ole uudelleen kirjoitettavaa tyyppiä. Ja jos sitä backupattavaa dataa oli useampi tera niin melkoinen työsarka tiedossa.

Lienee halvin vaihtoehto ostaa juurikin joku ulkoinen isohko levy jota välillä käyttää koneessa kiinni. Taitaa tällä hetkellä amazonista halvin (Suomeen lienee helpoin amazon.de:stä) ostella juurikin noita mainitsemiani WD:n ulkoisia (3.5") kovalevyjä. Juuri nyt on Black Friday halvennukset tuolla menossa, että saa melko huokeaan hintaan. Täältä saa nopeahkosti vilkaistua halvimmat hinnat: diskprices.com
Varsinaista budjettia ei ole, mutta kustannustehokkuus olisi melko korkealla prioriteettilistalla. Backupattava data kun ei ole kriittistä.
Ulkoinen kovalevy (cold storage) olisi ehdottomasti helpoin. Redditin datahoarder ryhmää lukiessa kuitenkin tulee sellainen kuva, että pitääkseen datan tallella kovalevyllä tulisi sitä kirjoittaa/tarkastaa ~vuoden välein. Haussa on kuitenkin ns. "backup and forget" tyyppinen ratkaisu. Lisäksi kovalevyn hajotessa on riskinä menettää kaikki backupit.

Dataa ei tällä hetkellä ole tuota mainittua "useampaa teraa", mutta sitä tulee jatkuvasti lisää. Lähinnä maininnan syy se, että ei puhuta sellaisesta tarpeesta, joka mahtuisi helposti lähes kaikkiin ilmaisiin/halpoihin pilvipalveluihin.
 
Liittynyt
10.07.2017
Viestejä
1 512
Ei kai se data siellä kovolla miksikään muutu jossei se päällä ole säilytyksen aikana sen enempää kuin optisilla levyillä? Itse käytän Freenas (nykyisin Truenas) koneessa välillä usbi telakassa isoa 6Tb levyä johon ajan replicaatiolla viimeisimmät snapshotit.
 
Liittynyt
21.05.2017
Viestejä
202
Nyt kokoonpanossa Asrock J5040 ja ITX-koppa mihin mahtuu myös ATX-virtalähde. Aloitin kaapista löytyneellä vanhalla 500W Zalman silentilla, mutta käyntiääni ei ole tasainen vaan ärsyttävän aaltoileva, vaikka kone idlenä.

Uusi virtalähde olisi siis haussa:
- Mahdollisimman hiljainen
- modulaarinen
- tarve 6 kpl SATA-liitännälle

Täysin passiivinen tai zero rpm moden sisältävä kiinnostaisi, mutta joutuuko noista reilun sata euroa maksamaan...
 

dun

Liittynyt
18.10.2016
Viestejä
1 068
Nyt kokoonpanossa Asrock J5040 ja ITX-koppa mihin mahtuu myös ATX-virtalähde. Aloitin kaapista löytyneellä vanhalla 500W Zalman silentilla, mutta käyntiääni ei ole tasainen vaan ärsyttävän aaltoileva, vaikka kone idlenä.

Uusi virtalähde olisi siis haussa:
- Mahdollisimman hiljainen
- modulaarinen
- tarve 6 kpl SATA-liitännälle

Täysin passiivinen tai zero rpm moden sisältävä kiinnostaisi, mutta joutuuko noista reilun sata euroa maksamaan...
Noilla spekseillä löytyy tämmöinen. Virtalähteeseen kannattaa panostaa, koska sen käyttöikä on helposti 10-20 vuotta. Seasonic Prime Platinum Fanless 500 W -ATX-virtalähde
 
Liittynyt
17.10.2016
Viestejä
960
Onko tuo Freenassin suositus 1TB = 1GB rammia kuinka vaatimus? Nas tulisi mediaserveriksi jossa maksimaalinen yhtäaikaisten käyttäjien määrä on 2.
 
Liittynyt
20.10.2016
Viestejä
593
Onko tuo Freenassin suositus 1TB = 1GB rammia kuinka vaatimus? Nas tulisi mediaserveriksi jossa maksimaalinen yhtäaikaisten käyttäjien määrä on 2.
Tuo mainittu muistivaatimus liittyy ZFS-levyjärjestelmän deduplication-ominaisuuteen, jossa duplikaatit levyblokit poistetaan käytöstä ja jokaisesta blokista on vain yksi uniikki kopio käytössä. Ilman deduplication-ominaisuuden käyttöä, ZFS ei vaadi sen enempää keskusmuistia kuin muutkaan levyjärjestelmät. ZFS osaa käyttää kaiken saatavilla olevan keskusmuistin välimuistina ja säätää muistin käyttöä dynaamisesti järjestelmän kuormituksen mukaan.
 
Liittynyt
05.01.2019
Viestejä
42
Onko tuo Freenassin suositus 1TB = 1GB rammia kuinka vaatimus? Nas tulisi mediaserveriksi jossa maksimaalinen yhtäaikaisten käyttäjien määrä on 2.
FreeNASin vaatii minimissään 8GB RAM:a, joka riittää kahdeksalle kovalevylle, jonka jälkeen 1GB per levy.
FreeNAS® Hardware Requirements and Recommendations
8 GB RAM (ECC recommended but not required) will support up to 8 hard drives and an additional 1 GB of RAM is suggested for each additional drive
 
Liittynyt
20.09.2018
Viestejä
315
Toinen use case milloin RAMin määrällä on merkitystä on käytettäessä L2ARC:ia. Suositusten mukaan L2ARC saa olla korkeintaan 5x RAMin määrä. Ja L2ARC kanssa on hyvä muistaa että se syö suhteellisen paljon RAMia joten käytettävissä olevan nopeamman ARCin määrä vähenee.
 
Liittynyt
10.01.2018
Viestejä
212
Muistaakseni itse ZFS pitää järkevänä rajana vähintään 2-4 GB ramia (kokonaismäärä) lähteestä riippuen. Varsinaisesti sekään ei taida olla vaatimus, mutta on vaan turhan hidas tämän rajan alla. Muistelen että on ZFSää ajettu myös 1 GB ramilla. Mitä enemmän ramia, sitä nopeampi NAS. Tuo 1 GB per TB tulee dedupen käytöstä. Älä käytä sitä. Käytä aina pakkausta, älä koskaan dedupea. FreeNAS tekee paljon yleistyksiä tähän tyyliin, voi kieltäytyä asentumasta tai muuta jos ei sen mielestä ole tarpeeksi ramia. 1 GB ramia per 1 TB levyä on yleissuositus, joka tulee dedupen vaatimasta tilantarpeesta, ja tekee ilman dedupea olevasta järjestelmästä paljon nopeamman. Mutta muistelen että ei mikään FreeNASissa(kaan) estä sinua ajamasta 60 TB poolia 8 GB ramilla.
 
Liittynyt
07.07.2017
Viestejä
525
Toinen use case milloin RAMin määrällä on merkitystä on käytettäessä L2ARC:ia. Suositusten mukaan L2ARC saa olla korkeintaan 5x RAMin määrä. Ja L2ARC kanssa on hyvä muistaa että se syö suhteellisen paljon RAMia joten käytettävissä olevan nopeamman ARCin määrä vähenee.
Riippuu ihan record sizestä. Oletusasetuksen 128 kB koolla tuo suositus on nykyisin noin 200x RAMin määrä. L2ARC ei syö kuin 70B / record.

Deduplikointi on ainoa asia ZFS:ssä, joka oikeasti vaatii sitä muistia mainittavia määriä. Varmuuskopiointikoneella on ZFS:lle käytettävissä noin 8 GB, mikä riittää enemmän kuin hyvin sen 16 TB tilalle.
 
Liittynyt
17.10.2016
Viestejä
792
Link aggregation tuo lisää vaan rinnakkaisia yhteyksiä, 1gigan portti läpäisee vaan sen 1 gigaa. Saadaksesi enmmän vauhtia, tarvitset nopeammat kortit koneeseen ja NASsiin.
 

dome

Tukijäsen
Liittynyt
17.10.2016
Viestejä
585
Levyjen piti olla erittäin hiljaisia, mutta nakuttavat kyllä kuin syöpä. Googletus (hankinnan jälkeen) paljasti että jollain muulla oli täysin samaa ongelmaa vastaavalla kombolla.
4TB vastaavia itsellä ja pitää kyllä melko jäätävää rutinaa. Tuli vähän yllätyksenä vaikka en 7200rpm levyjä äänettömiksi odottanutkaan. Noh ei ongelmia ja sopivan nopeita ovat joten olkoon, kun ei mölyäminen juuri haittaa nykyisessä sijoituspaikassa.
 
  • Tykkää
Reactions: Fex

dun

Liittynyt
18.10.2016
Viestejä
1 068
Noh, itsellä on nyt levyjä tarpeeksi, mutta seuraavat päivitykset pitäisi tehdä:
* Uudempi HBA kortti vanhan tilalle (nyt noita vanhoja Dellin perc levyjä it firmiksellä ja yhteensopivuus ongelmia yllättävän paljon oli että sai AMD:n serveri emo+prossulla toimimaan. Vaati bios kikkailuja ja pci-e 2.0 nopeuden pudotuksen, että pelitti). Pakka on kyllä vielä ihan riittävän nopea, mutta kuitenkin.
* pci-e splitteri että saisi mini-itx emolevyllä ainoan pci-e 16x väylän kahtia, että saisi sekä 10Gbps kortin että hba-kortin sisään.
* Ehkä Silverstone:n mini-dtx kopan vaihdon rack-malliseen koteloon (8 x hotswap levyjen laajennuksen 12 tai 16x kelkkoihin). Tai sitten odottaa että levyjen hinnat ja kapasiteetit muuttuisi. Nyt on ollut jo vuosia melkein saman hintaisena, joten ei ole oikein järkeä vaihtaa 8 kpl:ta levyjä tuplakokoisiin, kun hinnat ei ole muuttuneet. Sitä mukaa kun levyjä laukeaa, niin vaihtelee samankokoisiin uusiin.
 
Liittynyt
18.04.2017
Viestejä
438
Dellin perc levyjä it firmiksellä ja yhteensopivuus ongelmia
Ongelmista pääset kortilla eroon yksinkertaisesti leikkaamalla tai teippaamalla PCIe-väylän B5 ja B6. Ovat foliot 5. ja 6. vasemmalta, kun katsot levyä (komponentin puoli). Poistaa SMBusin käytöstä.
Toimii pcie2 ja pcie3 ongelmitta. Poistuu näyttiksen ja muistikampojen päällekkäiset laiteosoitteet samalla.

1608966942521.png
 
Liittynyt
12.06.2017
Viestejä
193
Pistetääs omaa pohdintaa mITX-nassista. Käyttötarkoituksena nas, nextcloud, plex, kymmenisen docker-containeria ja 3-5 virtuaalikonetta + testailuvara. Ajankohtaistuu vuoden alkupuoliskolla.

Helppo vaihtoehto:
HPE Proliant Microserver Gen 10+
4 3.5" levypaikkaa
4 nic
+ 16 gb lisäram
Xeon E-2224, yht n. 855 €, Passmark 7487.
Vaihtoehtona myös tuunata tuota ja vaihtaa prossuksi Xeon E-2234, jolloin hinta -> n. 950 € ja Passmark score 9555).

DIY-vaihtoehto:
Muuten pitkälti samat osat, paitsi kotelo ja poweri kaupasta.
Emoksi Asus P10S-I, niccien määrä tippuu kolmeen.

Ryzen-vaihtoehto:
Emoksi Gigabyte B550I AORUS PRO AX, Mini-ITX
Kotelo + poweri
32 gb ECC-rammia
Prossuksi 3600, yht 766 €, Passmark 17888
Vaihtoehtoprossu 3300X, yht 690 €, Passmark 12763
Lisäksi joku halpa näyttis ja 2 nic verkkokortti.

Softaksi tullee Proxmox tai Truenas. Levyt 2x 2tb wd red ja 2x 6tb hgst. Lisäksi buuttilevyinä pari ssd/nvme.

Proliant on tuttu ja turvallinen aiemmista sukupolvista, mutta tuo vakio E-2224 on aika tuhnu. Form factor on aika lyömätön. Mutta onko tähän hintaluokkaan mitään järkeä ottaa muuta, kuin Ryzen? Niistä löytyy ECC-tuki, ytimiä ja tehoa enemmän, sekä matalammat TDP-arvot.
 
Liittynyt
17.10.2016
Viestejä
1 935
Aika paljon sulla tossa tavaraa jo, en kyllä vain 4 coreen ja 32 gigaan jäämistä voi mitenkään suositella tuohon. Kannattaa tosissaan miettiä, onko se mitx kokoluokka se mitä oikeasti tarvitaan.

Itse kasailin aikoinaan node 304:ään ja kyllä monet kerrat todennut, että liikaa kompromisseja tuli tehtyä. Nyt se onkin jo pelkkänä nassina johon sen vanha rauta toimii varsin hyvin.
 
Liittynyt
12.06.2017
Viestejä
193
Aika paljon sulla tossa tavaraa jo, en kyllä vain 4 coreen ja 32 gigaan jäämistä voi mitenkään suositella tuohon. Kannattaa tosissaan miettiä, onko se mitx kokoluokka se mitä oikeasti tarvitaan.

Itse kasailin aikoinaan node 304:ään ja kyllä monet kerrat todennut, että liikaa kompromisseja tuli tehtyä. Nyt se onkin jo pelkkänä nassina johon sen vanha rauta toimii varsin hyvin.
Ei se mITX aivan absoluuttisen pakollinen ole, mutta tila, harrastelun tarve ja WAF ajaa vahvasti siihen suuntaan. Tällä hetkellä Proliant micro gen 8 nassina, sis 8gb ram ja 1 virtuaalikone. Fujitsun vanhassa SFF-serverissä 16 gb ram, E3-1231 v3, sis. proxmox, 4 virtuaalikonetta. Plex ja dockerit. Tältä pohjalta laskeskelin tehotarpeita, toki kaikkiin ylläoleviin setteihin taitaa saada tarvittaessa 64 gb rammia (Asuksen emosta en ole ihan varma).

Tarkoituksena olisi yhdistää kaikki nykyiset palvelut saman katon alle, Fujitsu siirtää testialustaksi ja vanha Proliant jalostaa offsite-backupiksi. Lisäksi pari raspi 4 4gb kantamassa omat kortensa kekoon.
 
Liittynyt
17.10.2016
Viestejä
1 935
Tuo yksi itx purkki ei noihin oikein olisi mikään päivitys. Melkein sama määrä ytimiä ja erityisesti muistia. Vielä jos jättät noita vanhoja "romuja" nurkkiin, niin edelleen miettisin sitä form-factoria. Itx tuppaa olemaan vähän kalliimpaakin.
 
Liittynyt
06.11.2018
Viestejä
1 874
Mä pohdiskelin just samaa. Levytilaa en oikeastaan tarvitse kuin 4TB ja yksi vaatimus hiljaisuus.

Pitkään pohdiskelin kyllä tuota Microserveriä. Siinähän olis myös vaihtoehto tilata mopommalla prossulla ja vaihtaa vähän tehokkaampikin. Jätin kuitenkin väliin kun monilla on ollut ongelmia isojen SSD levyjen kanssa, ja HP’n käytännöt eivät ole kivoja (vaihda tilalle HP’n levy, et saa uutta bios’ia ellet maksa tukisopparia).

Tilasin sitten damiconista supermikron itx emon ja Xeon 2246 prossun. Virtuaalikoneille 1TB Samsungin 970 evo plus, tiedostoille 4TB Samsungin 860 evo ja ylimääräisenä yksi vanha 1TB levy ”jollekin”. Vesijäähyllä toivottavasti hiljainen.
 
Liittynyt
17.10.2016
Viestejä
141
Pistetääs omaa pohdintaa mITX-nassista. Käyttötarkoituksena nas, nextcloud, plex, kymmenisen docker-containeria ja 3-5 virtuaalikonetta + testailuvara. Ajankohtaistuu vuoden alkupuoliskolla.
Noista vaatimuksista käsittääkseni virtuaalikoneet ja dockerit tarvitsee muistia ja CPU:ta ja jos Plexin pitää transkoodata yhtään enempää, niin se hoituu helpoimmalla sopivalla GPU:lla -> helpoimmalla, halvimmalla ja vähimmällä virrankulutuksella moderni (esim.10th gen) Intelin integroidulla näytönohjailmella oleva prosessori, jolloin Plexi käyttää sitä videon käsittelyyn ja CPU puoli jää vapaaksi muuhun hommaan. Konffaukseen en ota kantaa virtuaaliympäristössä...
 
Liittynyt
17.10.2016
Viestejä
960
Pistetääs omaa pohdintaa mITX-nassista. Käyttötarkoituksena nas, nextcloud, plex, kymmenisen docker-containeria ja 3-5 virtuaalikonetta + testailuvara. Ajankohtaistuu vuoden alkupuoliskolla.

Helppo vaihtoehto:
HPE Proliant Microserver Gen 10+
4 3.5" levypaikkaa
4 nic
+ 16 gb lisäram
Xeon E-2224, yht n. 855 €, Passmark 7487.
Vaihtoehtona myös tuunata tuota ja vaihtaa prossuksi Xeon E-2234, jolloin hinta -> n. 950 € ja Passmark score 9555).

DIY-vaihtoehto:
Muuten pitkälti samat osat, paitsi kotelo ja poweri kaupasta.
Emoksi Asus P10S-I, niccien määrä tippuu kolmeen.

Ryzen-vaihtoehto:
Emoksi Gigabyte B550I AORUS PRO AX, Mini-ITX
Kotelo + poweri
32 gb ECC-rammia
Prossuksi 3600, yht 766 €, Passmark 17888
Vaihtoehtoprossu 3300X, yht 690 €, Passmark 12763
Lisäksi joku halpa näyttis ja 2 nic verkkokortti.

Softaksi tullee Proxmox tai Truenas. Levyt 2x 2tb wd red ja 2x 6tb hgst. Lisäksi buuttilevyinä pari ssd/nvme.

Proliant on tuttu ja turvallinen aiemmista sukupolvista, mutta tuo vakio E-2224 on aika tuhnu. Form factor on aika lyömätön. Mutta onko tähän hintaluokkaan mitään järkeä ottaa muuta, kuin Ryzen? Niistä löytyy ECC-tuki, ytimiä ja tehoa enemmän, sekä matalammat TDP-arvot.
Ryzen ei käsittääkseni oikein toimi Truenassilla. Vai onko tähän tullut muutos viimeaikoina?
 
Liittynyt
12.06.2017
Viestejä
193
Ryzen ei käsittääkseni oikein toimi Truenassilla. Vai onko tähän tullut muutos viimeaikoina?
Truenas 12.0 (beta kesällä, nyt live) eteenpäin Ryzen toiminut käsittääkseni hyvin, ja tuoreita buildeja löytynyt kasapäin, kun selvitellyt vaihtoehtoja.
 

dun

Liittynyt
18.10.2016
Viestejä
1 068
Truenas 12.0 (beta kesällä, nyt live) eteenpäin Ryzen toiminut käsittääkseni hyvin, ja tuoreita buildeja löytynyt kasapäin, kun selvitellyt vaihtoehtoja.
No, tee samanlainen kuin mitä itse tein (ipmi:llä varustettu serveri-emo):
* Silverstone DS380 (mini-dtx/itx, 8 x hotswap 3.5". 4 x 2,5" sisäiset): SilverStone DS380 INTRODUCTION
* 8c/16t AMD Epyc Supermicro (M11SDV-8C+-LN4F) M11SDV-8C+-LN4F | Motherboards | Super Micro Computer, Inc.
* Haluamasi virtalähde
* Haluamasi määrä muistia (512GB on maksimi)

Suomesta oli yllättäen halvin tilata, yllätti minut positiivisesti. Alla olevaa linkkiä jos seuraa, niin löytää buildin tiedot, modet täällä sai jonkun aivopierun ja yhdisti threadin tähän isoon threadiin jostain syystä, niin sekaisin viestit ja tekstit (eikä postausta löydä kovin helposti). Mutta täällä on aina helpompi kysyä sama kysymys 15 viestin välein kun ei enää näe vanhoja keskusteluita :)

Ks: NAS rakentelut
 
Liittynyt
12.06.2017
Viestejä
193
No, tee samanlainen kuin mitä itse tein (ipmi:llä varustettu serveri-emo):
* Silverstone DS380 (mini-dtx/itx, 8 x hotswap 3.5". 4 x 2,5" sisäiset): SilverStone DS380 INTRODUCTION
* 8c/16t AMD Epyc Supermicro (M11SDV-8C+-LN4F) M11SDV-8C+-LN4F | Motherboards | Super Micro Computer, Inc.
* Haluamasi virtalähde
* Haluamasi määrä muistia (512GB on maksimi)

Suomesta oli yllättäen halvin tilata, yllätti minut positiivisesti. Alla olevaa linkkiä jos seuraa, niin löytää buildin tiedot, modet täällä sai jonkun aivopierun ja yhdisti threadin tähän isoon threadiin jostain syystä, niin sekaisin viestit ja tekstit (eikä postausta löydä kovin helposti). Mutta täällä on aina helpompi kysyä sama kysymys 15 viestin välein kun ei enää näe vanhoja keskusteluita :)

Ks: NAS rakentelut
Kiitos! Tämä on tosiaan tuttu ilmiö, kun hyppää uutena ketjuun, pitäisi plärätä väh. 10 sivua taaksepäin, mutta kun niitä uusia ketjuja tuppaa olemaan niin paljon. :rofl: Jonkunnäköinen koonti ketjun buildeista aloituspostaukseen vaikka spoilereihin, voisi toimia.

Silverstonen kotelo vaikuttaa aika hyvältä, peittoaa nuo katselemani Fractal Designin nodet.

Kiitos myös emoehdotuksesta. Super Micron sivuilla kun seikkaili, löysin listauksista vain uudempi emo Epycillä, jonka hintalappu oli 1200+. Harkitsin myös ASRock Rack X570D4I-2T, mutta kaikkinensa taitaa embedded-versiot voittaa. Halvemmalla olisi myös vaihtoehtona MBD-M11SDV-4C-LN4F-O. Gigabyteltä myös tulossa MJ11-EC0...

Osaatko suoralta kädeltä perustella, oliko tuossa ehdottamassani B550I AORUS PRO AX -emossa jotain vikaa? IPMI ja reg ecc puuttuu, mutta niiden kanssa voi elää. Hinta on huomattavasti halvempi, prossussa enemmän valinnanvaraa ja 4 rammikampaa ei ole must, kun tuohon saisin tarvittaessa 2x32gb kampaa.
 
Liittynyt
06.11.2018
Viestejä
1 874
Jos ei halua ECC muistia niin toki kannattaa ottaa kuluttajalle suunnattu emo. Valinnanvaraa enemmän, ja hinta puolet pienempi.
 
Liittynyt
13.01.2017
Viestejä
976
Jos Plexillä on tarvetta transkoodata 4K materiaalia, niin kannattaa katsoa Intelin Quicksync-tuellisten prossujen listaa. Mitä nyt noita vaatimuksia lukaisin sinulta, niin tuntuu, että harva sellaisista prossuista riittää sinun tarpeisiisi (Xeon E-2200-sarja jää lähinnä vaihtoehdoksi). Vaihtoehdoksi toki jää transkoodaaminen GPU:lla, mutta siihen menisi silloin tuo ainoa mITX-emon PCI-e slotti. Jos taas transkoodaat vain 1080p materiaalia, niin siihen riittää melkein mikä vaan katsomistasi prossuista ihan mukavasti, Quicksyncilla/Nvencillä tai ilman. Tosin sinulla tämä Plexin pyörittäminen taitaa olla aika pienessä roolissa?

Ymmärrän toki jos WAF meinaa tulla vastaan, mutta jo mATX kokoluokkaan hyppääminen auttaa huomattavasti, kun laajennusvara ei lopu välittömästi. mATX-kotelo ei ole kuitenkaan keskimäärin kovin iso. PCI-e sloteille on helppo keksiä hyvää käyttöä (GPU, 10Gbe NIC, SAS-kortti jne.) ja niiden loppuminen saattaa harmittaa nopeasti. Jos lähdet tuollaiseen embedded-ratkaisuun, niin menee seuraavaksi koko buildi uusiksi, jos haluaakin päivittää.

Minullakin alkoi oman buildin suunnittelu ITX-kokoluokasta ja AsRock J4105 emolevystä. Lopputulos oli kuitenkin, että rakensin kuluttajaraudasta ATX-kokoisen palvelimen. Vielä olisi tilaa neljälle levylle, mutta muuten kotelo/emolevy alkaa olla populoitu. Halvemmaksi ja helpommaksi tulee se että jättää päivityksille tilaa. Ei tälläiset projektit kai kellään mene niin, että kerran rakennetaan ja ei enää koskaan päivitetä.
 
Liittynyt
13.01.2017
Viestejä
976
Jostain ymmärsin että monissa xeoneissa quicksync ei ole käytettävissä?
Itse en tuollaista löytänyt, mutta pientä BIOS-säätöä vaatii IPMI+QuickSync, jotta sen saa toimimaan: Keskustelua parin vuoden takaa

Olisiko jotain lähdettä tuolle, että ominaisuus ei olisi käytettävissä? Intel kuitenkin listaa QuickSyncin monelle Xeonille. Esimerkiksi https://ark.intel.com/content/www/us/en/ark/products/193743/intel-xeon-e-2288g-processor-16m-cache-3-70-ghz.html
 
Liittynyt
17.10.2016
Viestejä
792
Itse asiassa joistakin xeoneista löytyy quicksync, mutta miten se toimii lankkukohtaisesti, en osaa sanoa. Intelin sivuilta saa kätevästi listauksen quicksyncciä tukevista prossuista.

Intel product specifications
 

dun

Liittynyt
18.10.2016
Viestejä
1 068
Jos Plexillä on tarvetta transkoodata 4K materiaalia, niin kannattaa katsoa Intelin Quicksync-tuellisten prossujen listaa. Mitä nyt noita vaatimuksia lukaisin sinulta, niin tuntuu, että harva sellaisista prossuista riittää sinun tarpeisiisi (Xeon E-2200-sarja jää lähinnä vaihtoehdoksi). Vaihtoehdoksi toki jää transkoodaaminen GPU:lla, mutta siihen menisi silloin tuo ainoa mITX-emon PCI-e slotti. Jos taas transkoodaat vain 1080p materiaalia, niin siihen riittää melkein mikä vaan katsomistasi prossuista ihan mukavasti, Quicksyncilla/Nvencillä tai ilman. Tosin sinulla tämä Plexin pyörittäminen taitaa olla aika pienessä roolissa?

Ymmärrän toki jos WAF meinaa tulla vastaan, mutta jo mATX kokoluokkaan hyppääminen auttaa huomattavasti, kun laajennusvara ei lopu välittömästi. mATX-kotelo ei ole kuitenkaan keskimäärin kovin iso. PCI-e sloteille on helppo keksiä hyvää käyttöä (GPU, 10Gbe NIC, SAS-kortti jne.) ja niiden loppuminen saattaa harmittaa nopeasti. Jos lähdet tuollaiseen embedded-ratkaisuun, niin menee seuraavaksi koko buildi uusiksi, jos haluaakin päivittää.

Minullakin alkoi oman buildin suunnittelu ITX-kokoluokasta ja AsRock J4105 emolevystä. Lopputulos oli kuitenkin, että rakensin kuluttajaraudasta ATX-kokoisen palvelimen. Vielä olisi tilaa neljälle levylle, mutta muuten kotelo/emolevy alkaa olla populoitu. Halvemmaksi ja helpommaksi tulee se että jättää päivityksille tilaa. Ei tälläiset projektit kai kellään mene niin, että kerran rakennetaan ja ei enää koskaan päivitetä.
No, jos plexpass + tarpeeksi nopeita coreja, gpu:ta ei tarvitse mihinkään + laatu on hyvä softa transkoodauksella. Nimimerkillä voin ajaa lisenssin sisältävällä plexillä dokeroituna nätisti vaikka 10x 4k transcodausta 1080p/720p eikä nikottele ollenkaan enää (eli tilin tarvii, tai hardkoodattu 5 x on limitti transkoodaukselle ennen kuin alkaa nykimään). Siitäkin lisää tuosta postauksesta jonka linkkasin aikaisemmin (tosin koska se alkuperäinen tota buildia koskenut threadi mergettiin tähän, niin siellä on sekaisin ties mitä kommentteja välissä). Eli jos modet voisi siirtää takaisin sen threadin erikseen, niin linkkaaminen tänne olisi helpompaa...

Yksi vaihtoehto on vielä, mitä kannattaa harkita (jos esim. 5 levyä riittää): The TrueNAS Mini X and Mini X+ are here! - iXsystems, Inc. - Enterprise Storage & Servers
Arvostelu: iXsystems TrueNAS Mini X+ ZFS NAS Review | ServeTheHome

Kyseessä siis kohtuu edullinen valmis koppa jossa on emo + prossu + poweri kiinni. Muisti ja levyt on vapaa valinnaisia, vastaa hp:n microserveriä, mutta varmasti toimii.

Tuo 4coren tai 8coren atomi riittää todella hyvin plexille myös, joten jos tarve on, niin kandee etsiä emo jossa on toi 3xxx sarjan atomi jos ei suoraan koteloa halua ostaa valmiina.
 
Liittynyt
06.11.2018
Viestejä
1 874
Itse asiassa joistakin xeoneista löytyy quicksync, mutta miten se toimii lankkukohtaisesti, en osaa sanoa. Intelin sivuilta saa kätevästi listauksen quicksyncciä tukevista prossuista.

Intel product specifications
HP’n keskustelupalstalla oli aiheesta keskustelua uusimpaan (Xeon) Mikroserveriin liittyen. Tuotepäällikkö sanoi että yleensä Xeon emolevyissä tuota ei ole enabloitu (en muista minkä ominaisuuksien välillä siinä päätettiin).

Mulla on odottamassa Supermikron itx emo ja 2246G prossu, voin kattoa toimisko niissä kun noudan ensi viikolla.

Edit: no toi löytykkn nopeasti: Microserver Gen10 Plus and Intel Quick Sync
 
Viimeksi muokattu:
Liittynyt
13.01.2017
Viestejä
976
No, jos plexpass + tarpeeksi nopeita coreja, gpu:ta ei tarvitse mihinkään + laatu on hyvä softa transkoodauksella. Nimimerkillä voin ajaa lisenssin sisältävällä plexillä dokeroituna nätisti vaikka 10x 4k transcodausta 1080p/720p eikä nikottele ollenkaan enää (eli tilin tarvii, tai hardkoodattu 5 x on limitti transkoodaukselle ennen kuin alkaa nykimään). Siitäkin lisää tuosta postauksesta jonka linkkasin aikaisemmin (tosin koska se alkuperäinen tota buildia koskenut threadi mergettiin tähän, niin siellä on sekaisin ties mitä kommentteja välissä). Eli jos modet voisi siirtää takaisin sen threadin erikseen, niin linkkaaminen tänne olisi helpompaa...
En tajunnutkaan miten paljon vääntöä noissa uudemmissa Epyceissä onkaan. Oletko testannut tuon toimivuuden jollain korkeamman bitraten tiedostolla (50-100mbps)? Vaikuttaako HDR Tone Mapping mitenkään rasitukseen? Vaikuttaa sen verran mielenkiintoiselta, että jos joskus päivittelen kokoonpanoa, niin ei tarvitse juosta tuon iGPU:n perässä enää tai varata slottia näytönohjaimelle. Jotenkin minun mielestä ihan älytöntä, että AMD:n prossut ovat vaan niin järeitä, että HW transkoodaus alkaa vaikuttaa turhalta.

Tammikuussa on yleensä hyvin tavaraa alennuksessa, mutta jos sitä nyt malttaisi kuitenkin...
 
Liittynyt
12.06.2017
Viestejä
193
Jos ei halua ECC muistia niin toki kannattaa ottaa kuluttajalle suunnattu emo. Valinnanvaraa enemmän, ja hinta puolet pienempi.
Aika moni kuluttajaemo tukee ECC-muistia näin Ryzen-aikana, jonka takia jäin pohtimaan. Toki halvimman pään emot toimivat ECC-muistilla, mutta non-ecc modessa. Tuo mainitsemano Aorus on niitä harvoja alle 200 € kuluttajaemoja, joilla toimii ECC kunnolla. Ainakin oman etsimisen perusteella, aika moni valmistaja ilmaisee asian epäselvästi.

Tuo Plex pass vaikuttaa kyllä lupaavalta, saisi taasen hinnasta tiputettua näyttiksen verran. Nuo valmiit TrueNAS-boksit näyttää myös houkuttelevilta. Kiitoksia kaikille, nyt ollaan päästy omista parista vaihtoehdoista niin moneen vaihtoehtoon, että iskee valinnanvaikeus. :hmm:

E: Truenas-bokseja myydään näemmä vain jenkkikaupassa.
 
Viimeksi muokattu:
Liittynyt
17.10.2016
Viestejä
792
Pistetääs omaa pohdintaa mITX-nassista. Käyttötarkoituksena nas, nextcloud, plex, kymmenisen docker-containeria ja 3-5 virtuaalikonetta + testailuvara. Ajankohtaistuu vuoden alkupuoliskolla.

Helppo vaihtoehto:
HPE Proliant Microserver Gen 10+
4 3.5" levypaikkaa
4 nic
+ 16 gb lisäram
Xeon E-2224, yht n. 855 €, Passmark 7487.
Vaihtoehtona myös tuunata tuota ja vaihtaa prossuksi Xeon E-2234, jolloin hinta -> n. 950 € ja Passmark score 9555).

DIY-vaihtoehto:
Muuten pitkälti samat osat, paitsi kotelo ja poweri kaupasta.
Emoksi Asus P10S-I, niccien määrä tippuu kolmeen.

Ryzen-vaihtoehto:
Emoksi Gigabyte B550I AORUS PRO AX, Mini-ITX
Kotelo + poweri
32 gb ECC-rammia
Prossuksi 3600, yht 766 €, Passmark 17888
Vaihtoehtoprossu 3300X, yht 690 €, Passmark 12763
Lisäksi joku halpa näyttis ja 2 nic verkkokortti.

Softaksi tullee Proxmox tai Truenas. Levyt 2x 2tb wd red ja 2x 6tb hgst. Lisäksi buuttilevyinä pari ssd/nvme.

Proliant on tuttu ja turvallinen aiemmista sukupolvista, mutta tuo vakio E-2224 on aika tuhnu. Form factor on aika lyömätön. Mutta onko tähän hintaluokkaan mitään järkeä ottaa muuta, kuin Ryzen? Niistä löytyy ECC-tuki, ytimiä ja tehoa enemmän, sekä matalammat TDP-arvot.
Yhtenä vaihtoehtona voisi olla Shuttlelta runko SH370R8 - Shuttle Europe johon mahtuu 4xsata levyä ja nvme levy sekä 2 PCI-E paikkaa vielä.
Prossuksi jokin intelin kikkare tarpeen mukaan. :)
 
Liittynyt
06.11.2018
Viestejä
1 874
Mikäs emo Supermicrolta? Prossu vaikuttaa ainakin pätevältä.
X11SCL-iF

Pitkään emmin noita Epyc embedded alustoja (saa kans Damiconilta) ja sitä Asrock Rack emoa. Jotenkin oli vaan liikaa säätöä tai epävarmuuksia suuntaan tai toiseen. Xeoni tulee jonkun satasen halvemmaksi jne.

Eli vähän jäi harmittamaan että toki AMD’n pitäisi näinä päivinä olla se valinta, mutta noi ”kotiserverien” emot ei ehkä ole vielä ihan loppuun asti hiottuja tai saatavuus surkea.
 
Toggle Sidebar

Statistiikka

Viestiketjut
237 321
Viestejä
4 157 211
Jäsenet
70 408
Uusin jäsen
maurichia

Hinta.fi

Ylös Bottom