NAS rakentelut

[timetraveller]

On NVME levyt tulevaisuuden ratkaisu, kuluttaja raudassa taitaa rajoittaa lähinnä kuluttajaprosessorien rajallinen PCIe kaistojen määrä, bifubrication rajoitukset ja kuluttaja NVME levyjen pienempi kirjoituksen kestävyys. Kirjoitusten kestävyyskään ei taida olla ongelma jos ei käytä näitä levyjä missään write cache ym vaativassa käytössä. Pyörivissä levyissä saa vielä enemmän tilaa eurolla, mutta muuta parempaa niissä ei enää taida olla.

Kuinka monta yli 10TB NVME asemaa on olemassa? Magneettinen on edelleen ylivoimainen suuremmissa arkistointitarpeissa.

 

[PekoniMuuri]

Kuinka monta yli 10TB NVME asemaa on olemassa? Magneettinen on edelleen ylivoimainen suuremmissa arkistointitarpeissa.

Montako yli 100TB HDD levyä on olemassa? magneettinen toki halvin €/tb mut kyllä ssd heittämällä ohi menee kapasiteetissa kun rahaa on

 

[samim]

Jos kapasiteettia, niin LTO.

 

[Obi-Lan]

Kuinka monta yli 10TB NVME asemaa on olemassa? Magneettinen on edelleen ylivoimainen suuremmissa arkistointitarpeissa.

Palvelinpuolelta kyllä löytyy ns. sopivaan hintaan:

15.36TB Ssd for sale | eBay

Get the best deals for 15.36TB Ssd at eBay.com. We have a great online selection at the lowest prices with Fast & Free shipping on many items!

www.ebay.com

Pardon Our Interruption...

Näistä ei taida enää sata väyläistä löytyä eli vain SAS tai NVME U.2/3 NVME väylällä.

 

[timetraveller]

Montako yli 100TB HDD levyä on olemassa? magneettinen toki halvin €/tb mut kyllä ssd heittämällä ohi menee kapasiteetissa kun rahaa on

Hmm, puhutaanko nyt kuluttajatuotteista vai yritystuotteista? Minä tarkoitin lähinnä kuluttajatuotteita. Siinä tapauksessa kapasiteettia saa helpoiten magneettisilla, toistaiseksi...

 

[Daatta]

Mielenkiintoista keskustelua. Olen seurannut Youtubesta NAS-kanavia ja koittanut selvittää, mikä olisi seuraava ratkaisu. Nyt on ajossa Dell PowerEdge T320, 48GB ram ja nopein E5-2470 v2 Xeon mitä siihen saa. Levyinä on 4x3-4TB levyt ja cachena 1TB NVME PCIe lisäkortilla. 10Gb verkko löytyy myös. Käyttis Unraid 7. Cache-levyn riski realisoitui taannoin, kun terainen 980 levy hajosi ja menetin kaikki docker konfiguraatiot ja VM't... Varmuuskopiot olivat viime vuodelta, keväänä punnerrettu käyttöön Swag reverse proxyt, Nextcloudit jne. Onneksi HA on omalla raudalla ja kamerat hoitaa UDM Pro... PowerEdge on yllättävän vähävirtainen, idlailee 42 Watilla. Muutenhan tuo on aika SER-tasoinen.

Tallennustilaa ei hirveästi tarvitse, pari 16TB Exosta varmaan riittäisi pysyväistallennukseen. NVME levyjä sitten dockereille ja VM:lle. XFS tuli "uutena" Unraidiin jo aikaa sitten, mutta migraatio vaikutti aika työläältä. Unraidia tuskin tulee vaihdettua pois, vaikka menikin vuosimaksulliseksi.

Moderni NVME Nas kuten Beelink ME mini kiinnostelisi myös, mutta tallennustilasta pitäisi silloin tinkiä, ehkä vähän tehostakin. Youtuben mukaan refurb Enterprise NVME levyjä alkaa vyöryä markkinoille, pikaisella googletuksella ovat isoja ja kalliita sekä omituisella PCIe liitännällä varustettuja.

 

[lehtv]

On NVME levyt tulevaisuuden ratkaisu, kuluttaja raudassa taitaa rajoittaa lähinnä kuluttajaprosessorien rajallinen PCIe kaistojen määrä, bifubrication rajoitukset ja kuluttaja NVME levyjen pienempi kirjoituksen kestävyys. Kirjoitusten kestävyyskään ei taida olla ongelma jos ei käytä näitä levyjä missään write cache ym vaativassa käytössä. Pyörivissä levyissä saa vielä enemmän tilaa eurolla, mutta muuta parempaa niissä ei enää taida olla.

Vanhempi käytetty TR4 emolevy ja threadripperi voi olla tämmöiseen sopiva budjettiratkaisu. Saa runsaasti PCIe3.0 kaistoja ja yleensä emolevystä löytyy x4/x4/x4/x4 bifurkaatiolle tuki jotta saa yhteen x16 paikkaan 4 kpl M.2 (tai vaikka U.2) levyjä. 3.0x4 kuitenkin riittää sinne 3.5GB/s asti.

 

[JeanS]

Mulla on myyntipalstalla Threadripper 1950x + Asus Zenith Extreme + 64GB ECC RAM jne. Jos jotain kiinnostaa, voin myydä emo+prossu+muisti kombon erikseen
Tämä on ollut Proxmox / NAS (TrueNAS virtualisoituna) käytössä. Tohon saa 3 NVME levyä (Gen3) + U.2

 

[hassumurmels]

Olis hienoa korvata levyt SSD:illä, mutta levyjen määrä on nyttenkin rajattu koska mieluummin pyörittelen mini PC:tä ja ulkoista levykehikkoa kuin teen jonkin ITX-buildin. Toki lisäks vielä tuo nykyinen tukee vain sataa.

Onkos noille PCIe-asemille mitään järkeviä (mielellään toki ei datacenter-kamaa) vaihtoehtoja missä ne asemat on ulkoisessa ja erillisessä laatikossa? Ekana tulee mieleen joku eGPU-härveli johon sitten joku bifurcation setuppi

 

[Obi-Lan]

Vanhempi käytetty TR4 emolevy ja threadripperi voi olla tämmöiseen sopiva budjettiratkaisu. Saa runsaasti PCIe3.0 kaistoja ja yleensä emolevystä löytyy x4/x4/x4/x4 bifurkaatiolle tuki jotta saa yhteen x16 paikkaan 4 kpl M.2 (tai vaikka U.2) levyjä. 3.0x4 kuitenkin riittää sinne 3.5GB/s asti.

Joo Epyceissä on reilusti PCIe kaistoja, vähintään 128 lanea? Katselin sellaisia, mutta sain sitten Xeon osia "halvalla" ja toki tässäkin on 48 PCIe lanea. Samassa kasassa tuli SAS SSD levyjä ja ihan kivasti suihkii 12Gbps SAS väylälläkin.

 

[TheBigFoot]

Tää käyttis PC (b550-A pro + 5600x) on melkein aina päällä. Mietin et yks vaihtoehto olis laittaa tähän windows alustalle pyörimään 2x4tb NVME PCIe 3.0 x4 nopeudella. Olis juuri tuo 3.5GB/s nopeus. RAID 1, niin pitäis olla valokuvat ym turvassa. Sit joku keino, et automaattisesti dumppaa puhelimen kuvat talteen. Vois olla esim ku puhelin on kotiwifissä ja laturissa, niin latais kuvat talteen.

Myöhemmin, ku tulee aika päivitellä prossu, emo, muistit, niin tän emolevyn vois pyhittää ihan NAS:lle.
Sitten olis näyttiksen PCIe 4.0 ja ilmeisesti toimii bifurkaatio x4+x4+x4+x4. Ainakin biosista sai tollasen valittua tuolle GPU:n PCIe slotille. Siinä vois olla 4x4Tb raid5, niin sais 12Tb nopeeta tallennustilaa. Kone voisi olla esim mediaplayerinä olohuoneessa, niin GPU:lle saisi toiseen 16x liittimeen, mistä saisi PCIe 3.0 kaistoja x4.. Varmaa riittäis tollasee mediakäyttöön?
10gbit netille ei vaa löytyis enää paikkaa tolla setillä. 2.5gbit menis vissii jopa PCIe 2.0 x1 slottii.

 

[devaaja]

Sit joku keino, et automaattisesti dumppaa puhelimen kuvat talteen. Vois olla esim ku puhelin on kotiwifissä ja laturissa, niin latais kuvat talteen.

Kannattaa tutustua immich. Pätevän oloinen systeemi ollut ja paranee vain. Puhelimesta wireguard VPN yhden VPS kautta NASiin ja sitä kautta siirtää kuvat aina kun puhelin laturissa. VPS välissä koska siinä on kiinteä IP ja toimii myös reverse proxynä.

 

[TheBigFoot]

Mut jos asuu saman lähiverkon alla, ni ei tartte VPN? VPN on kyllä kiva, jos haluu päästä tiedostoihin käsiks etänä. Et kyl se vaa VPN taitais tulla käyttöön anyway.
En oo VPS perehtynyt, mut onko se tarpeellinen VS dynamic DNS?

 

[hassumurmels]

WireGuardin ja muiden VPN-säätöjen tilalle ehdottaisin Tailscaleen tutustumista. Mulla se on ollut nyt muutaman kuukauden käytössä ja kotona pyörivien palveluiden käyttö etänä on helpottunut suuresti.

Se käyttää taustalla WireGuardia, mutta sen lisäks Tailscale puhkoo kotinettien NATiin reiän aina kun tarve tulee, eli staattisia IP:itä tai dy.fi tyylisille jutuille ei ole tarvetta, ellei tietty halua julkinettiin laittaa näkyviin. Halutessa Let’s Encryptikin onnistuu suoraan kun omalle verkolle määritetään muistaakseni xxx.ts.net domaini ja dokumentaatiosta löytyy ohjeita jos jonkinmoiseen

 

[devaaja]

Mut jos asuu saman lähiverkon alla, ni ei tartte VPN? VPN on kyllä kiva, jos haluu päästä tiedostoihin käsiks etänä. Et kyl se vaa VPN taitais tulla käyttöön anyway.
En oo VPS perehtynyt, mut onko se tarpeellinen VS dynamic DNS?

Jos ei tarvitse etänä päästä niin silloin ei tarvitse tuota VPN.

Itsellä on tuo immich puhelimien kuvien backupiin ja sitten läppärit ja pöytäkoneet backup syncthing avulla NASiin. Syncthingin avulla saa mukavasti niin että pöytäkoneella ja läppärillä on samat kansiot ja tiedostot ja muutokset synkronoituu kymmenissä sekunneissa laitteiden välillä. Vähän kun olisi oma Onedrive. Esim niin että NAS on vähän kun päätallennuspaikkana ja muut koneet sitten lataa ja lähettää sinne muuttuneet tiedostot josta ne jakaantuu muille laitteille. Tulee vähän automaattisesti tuo 3-2-1 backup jos on läppäri yhtenä laitteen joka kulkee mukana tai yksi pöytäkone ja NAS eri osotteissa.

Etäyhteys tapoja on kyllä monia. Wireguard ja VPS (Hetzner palvelin jossa debian) on tullut ite valittua ja toiminut moitteetta, tuo VPS tosin maksaa sen noin 4€/kk. Tällöin omistaa itse datansa ja konffit joka tietenkin vaatii että vähän tietää mitä tekee mutta toisaalta ei ole niin paljon muiden armoilla. Itse wireguardi on kyllä mielestäni aika helppo. wg.conf sisältää sen noin kymmenen konffiparametria per laite ja sitten vain käyntiin. Mutta kannattaa myös tutustua muihin vaihtoehtoihin ja valita mieluisin. Sitähän tämä homelab harrastus oikeastaan on.

 

[TheBigFoot]

WireGuardin ja muiden VPN-säätöjen tilalle ehdottaisin Tailscaleen tutustumista. Mulla se on ollut nyt muutaman kuukauden käytössä ja kotona pyörivien palveluiden käyttö etänä on helpottunut suuresti.

Se käyttää taustalla WireGuardia, mutta sen lisäks Tailscale puhkoo kotinettien NATiin reiän aina kun tarve tulee, eli staattisia IP:itä tai dy.fi tyylisille jutuille ei ole tarvetta, ellei tietty halua julkinettiin laittaa näkyviin. Halutessa Let’s Encryptikin onnistuu suoraan kun omalle verkolle määritetään muistaakseni xxx.ts.net domaini ja dokumentaatiosta löytyy ohjeita jos jonkinmoiseen

Vastaavaan oon käyttänyt ZeroTier, mutta tuokin vaikuttaa mielenkiintoiselta!

 

[vokE]

Tailscalelle iso suositus, on kyllä elämä helppoa sen kanssa.

 

[Obi-Lan]

Jos tarve on pelkkä kuvien kopiointi kännykkä -> pöytäkone niin Syncthing lienee yksinkertaisin varmuuskopioimaan kuvat.

 

[tirppy]

Tarkoitus olisi korvata tämänhetkinen setup jonkinlaisella aikajänteellä vähän simppelimpään ja nykyaikaisiin värmeisiin.
Tällähetkellä
Dell Latituden raato (8gb ram, i5-4310u) WIN10 Pro
2kpl 4tb ulkoista kovalevyä kytketty USB:llä kys läppäriin.
Käyttö lähinnä Jellyfin serverin ja ulkoisten kovalevyjen kansoiden selaaminen talouden muilla Windows laitteilla.

Käytännön ongelmat on se, että läppäri ei tue rauta transkoodausta H265:lle joten ei saa 4K HDR videoita + tekstityksiä pyöritettyä laitteilla jotka eivät tue Direct Playtä.
Ja tallennustila loppuu kesken, enkä halua lisätä/ketjutaa lisää ulkoisia kovalevyjä. Molemmissa kovalevyissä on myös aika kovat tunnit +65k.

Linux käyttäjä en koskaan ole oikein ollut, mutta en usko että asennuksissa ja muissa on mitään ylitsepääsemätöntä.
Onko jotain syytä miksi en esimerkiksi ostaisi tätä laitetta ja asentaisi siihen jonkin 18-24tb levyn, johon migroida nykyiset tiedot ulkoisilta kovalevyiltä ja asentaa itse laitteeseen Proxmox ja opiskella sen toiminta? Nälkähän kasvaa varmasti syödessä, joten voi sitten tarvittaessa jostain tarjouksesta nappasta taas uuden kiintolevyn ja työntää pesään?

AOOSTAR WTR PRO INTEL N150 4-bays Nas Mini PC（For EU regions only）

The N150 WTR PRO has arrived at our EU warehouse. Remarks You will receive a free M.2 KEY TO M.2 NVME adapter , which makes it easy to add M.2 NVME SSDs to your WIFI slots faster to add more storage space to your machine. AOOSTAR has not developed any NAS software, and Windows 11 Pro has been...

aoostar.com

Tämä tuntuu jotenkin erityisen edulliselta?

Lähin kilpailija vaikuttaa olevan tämä allaoleva, joka on huomattavasti kalliimpi?

High-Performance NAS | 4-Bay NAS Storage

Elevate enterprise storage with this premium 4-bay NAS Plus. Advanced security, faster processing, and enhanced business collaboration tools.

nas-eu.ugreen.com

Lisänä vielä, että jonkinverran tullut kytättyä käytettyä markkinaa 7. sukupolven Intel yritys ja muihin koneisiin, hinnat tuntuu aivan järkyttävän kovalle + monesti koteloissa ei ole tilaa useammalle kun 1-2 3,5" kiintolevylle.

 

[Jote]

Tarkoitus olisi korvata tämänhetkinen setup jonkinlaisella aikajänteellä vähän simppelimpään ja nykyaikaisiin värmeisiin.
Tällähetkellä
Dell Latituden raato (8gb ram, i5-4310u) WIN10 Pro
2kpl 4tb ulkoista kovalevyä kytketty USB:llä kys läppäriin.
Käyttö lähinnä Jellyfin serverin ja ulkoisten kovalevyjen kansoiden selaaminen talouden muilla Windows laitteilla.

Käytännön ongelmat on se, että läppäri ei tue rauta transkoodausta H265:lle joten ei saa 4K HDR videoita + tekstityksiä pyöritettyä laitteilla jotka eivät tue Direct Playtä.
Ja tallennustila loppuu kesken, enkä halua lisätä/ketjutaa lisää ulkoisia kovalevyjä. Molemmissa kovalevyissä on myös aika kovat tunnit +65k.

Linux käyttäjä en koskaan ole oikein ollut, mutta en usko että asennuksissa ja muissa on mitään ylitsepääsemätöntä.
Onko jotain syytä miksi en esimerkiksi ostaisi tätä laitetta ja asentaisi siihen jonkin 18-24tb levyn, johon migroida nykyiset tiedot ulkoisilta kovalevyiltä ja asentaa itse laitteeseen Proxmox ja opiskella sen toiminta? Nälkähän kasvaa varmasti syödessä, joten voi sitten tarvittaessa jostain tarjouksesta nappasta taas uuden kiintolevyn ja työntää pesään?

AOOSTAR WTR PRO INTEL N150 4-bays Nas Mini PC（For EU regions only）

The N150 WTR PRO has arrived at our EU warehouse. Remarks You will receive a free M.2 KEY TO M.2 NVME adapter , which makes it easy to add M.2 NVME SSDs to your WIFI slots faster to add more storage space to your machine. AOOSTAR has not developed any NAS software, and Windows 11 Pro has been...

aoostar.com

Tämä tuntuu jotenkin erityisen edulliselta?

Lähin kilpailija vaikuttaa olevan tämä allaoleva, joka on huomattavasti kalliimpi?

High-Performance NAS | 4-Bay NAS Storage

Elevate enterprise storage with this premium 4-bay NAS Plus. Advanced security, faster processing, and enhanced business collaboration tools.

nas-eu.ugreen.com

Lisänä vielä, että jonkinverran tullut kytättyä käytettyä markkinaa 7. sukupolven Intel yritys ja muihin koneisiin, hinnat tuntuu aivan järkyttävän kovalle + monesti koteloissa ei ole tilaa useammalle kun 1-2 3,5" kiintolevylle.

N150-koneet ovat parhaimmillaan alle 150€, eli hinnat ovat aika maltilliset. Sinällään tuossa maksaa aika paljon kotelo ja PCIe-SATA -muunnin.

Samalta valmistajalta löytyy myös halvempi kahden levyn laite. AOOSTAR R1 2 Bay 40T Storage Nas Intel N150 Mini PC

Samaa runkoa löytyy myös muilta valmistajilta tai brändääjiltä. Ryzen 5000-pohjaiset n. 100€ hintavemmat ja suorituskyky kasvaa reilusti.

 

[cman]

Samaa runkoa löytyy myös muilta valmistajilta tai brändääjiltä. Ryzen 5000-pohjaiset n. 100€ hintavemmat ja suorituskyky kasvaa reilusti.

Onhan Ryzen tehokkaampi paitsi juuri siiinä transkoodauksessa. Uskoisin että N150 ja Intelin quicksync vie 5000 sarjan Ryzeniä transkoodauksen suorituskyvyssä kuin litran mittaa. Ainakin se on paremmin tuettu.

 

[tirppy]

Tuli tilattua tuo AOOSTAR WTR PRO INTEL N150 16b/512gb malli - 305e jäi loppusummaksi, kun kassalla sai maksaa vielä dollareina.
Lähtenyt tulemaan näköjään Saksasta.
Kylkeen vielä amazon.de:ltä Digital Emporiumin myymä 24tb refurbi/käytetty Exos.

Eiköhän näillä pärjätä alkuun, kun tuolla edellisellä systeemilläkin tuli sitkuteltua se 8 vuotta.
Jos nälkä kasvaa kamalasti tässä syödessä, niin eiköhän tuon saa kiertoon pistettyä.

 

[fin_modder]

Mitäs käy kun nörtille annetaan 12kpl turhia 1.9TiB Enterprise SAS SSD:tä? No sehän tuhlaa sitten varmaan valmiin NAS:n verran rahaa SER jätteeseen ja rakentaa All-flash NAS:n

Elikkäs, tuli töissä vastaan poistuvaa SAS SSD:tä, eikä raudanhimo antanut millään periksi. Syntyi ainakin omaan käyttöön totaalisen overkill NAS.
Rautaa:
1kpl HPE Proliant ML350 Gen9 tower mallin palvelin.
- Prossu: Xeon E5-2609v4
- RAM: 8x 16GiB ECC DDR4 @ 2400 MHz
- P440ar levykontrolleri HBA tilassa
- 2x Intel DC S3520 240GiB SATA SSD
- 8x SanDisk DOPE1920S5xnNMRI 1.92TB SAS SSD

Syntymätarina noin suunnilleen kronologisessa järjestyksessä.
Levyjä keräilty hetken aikaa. Ostin palvelimen käytettynä, ilman RAID korttia (koska ajattelin että käytän LSI SAS kortteja...).
Aikaisemmasta CEPH SSD projektista jäi ylimääräiseksi 2kpl LSI-9400 tri-mode HBA/RAID/NVMe PCI-e kortteja. No ei mitään, kortti kiinni palvelimeen -> hirveä meteli. Ei voinut (ex HPE huoltoteknikko) millään tietää että HPE ei syö muun kuin HPE:n romuja sisäänsä Eli tuulettimet jäivät 30-50% tilaan ja meteli oli aikamoinen.

No, ebay.de auki ja etsimään romurautaa. Sieltähän löytyi huokeaan 15€ + postit hintaan HPE P440ar kortti, joka kiinnittyy emolevyyn omaan hienoon paikkaan ilman että se vie yhtäkään PCI-e paikkaa. Kortti kiinni -> firmispäivitys. Silti tuulettimet huutaa 35%. Tarkemmin katsottuna, vain yksi tuulettimista oli tuossa käyttiksen asennuksen jälkeen, muut laskivat mukavan hiljaiseen 7-12% väliin.

No mitähän pve:tä tässä nyt oikein on vikana. 8h ongelmanselvityksen jälkeen, ennen kuin viimeisenä optiona asentaisin koneeseen custom modatun iLO4 ROM:n (joka saattaa rikkoa emon), kokeilin viimeisen taikavalikon. iLO:ssa RBSU asetusten takana kun painaa CTRL-D näppäinyhdistelmää, pääsee salaiseen diagnostiikkamenuun. Sieltä full reset ilo + BIOS, sekä emolevyltä BIOS reset dippikytkin päälle -> resetin jälkeen kaikki 3kpl tuulettimia nätisti 7%, ai että mikä hiljaisuus!

Seuraavaksi torista SAS kaapeleita tilaukseen jotta saan levyjen kotelon backplanen kiinni ohjaimeen. Sitten käyttisasennus Intelin SSD:lle. Kun käyttis asennettu, sain "ripustettua" levyt kotelon sisälle, niin että kaikki kahdeksan hot-swap levypaikkaa jäivät vapaaksi. Emolevyllä on siis kaksi SATA porttia, joissa toisessa on alunperin DVD asema. Virta + SATA tulee Delockin MOLEX -> SATA Power + Data combokaapelilla. Kotelossa on kätevästi 2kpl molex virtaliittimiä vapaana.

Seuraavaksi kaikki 12kpl SAS SSD:tä piti formatoida edellisen järjestelmän 520b lohkokoosta 512b lohkokokoon jota voi käyttää natiivisti Linuxissa.
Homma oli erittäin simppeli:
1. levy kiinni, "fdisk -l" kunnes uusi levy tuli näkviin.
2. ajetaan komento "sg_format -v --format --size=512 /dev/sdx"
3. sitten odotellaan noin pari minuuttia per levy
4. varmistetaan että levy näkyy oikein "smartctl --all /dev/sdx"
5. levy irti ja toista 11 kertaa!
Tarkempi ohje löytyy How to reformat 520 byte drives to 512 bytes (usually)

Tämän jälkeen proxmoxin asennus, simppeli homma. Tee USB tikku, tökkää koneeseen kiinni ja asenna etäkonsolin kautta oletusasetuksilla.

Pienen testaamisen jälkeen huomasin että levyt käyvät erittäin lämpimänä... No halvalla kun piti päästä, niin ratkaisu oli pakkausteippi, jolla peitetään 90% ilma-aukoista etulevyssä ja pakotetaan ilma menemään levyjen läpi -> levyt mukavan viileät 22C!

Seuraavassa jaksossa Truenas VM:n asennus ja erinäiset jippaskonstit ja taikatemput mitä piti tehdä jotta tuo "kätevä" P440ar saadaan raakana Truenas virtuaalikoneelle hallitsemaan levyjä.

 

[Brunberg]

Mulla meni kanssa säätämisen puolelle rakenteluissa. Teen videotyötä toisena työnä vapaa-ajalla ja mulle jaetaan raakamateriaali google driven syncillä asustorin nassikkaan. No wanhan asustorin tuki oli ja meni, kaikkien syncroinointien toiminta loppui pikkuhiljaa, ensin onedriven ja sitten googlen. Vanhaan 6600K/Z170 koneeseen kiireellä pieni SSD truenasille ja kolme 3TB lättyä raidz1. Sync taskit kuntoon ja taas toimii.

Lisäjalostuksena tulossa pci-e kortti kuudelle lisälevylle, 8x4TB levyt, uusi virtalähde, 2,5Gbps verkkorojut ja piuhat ym. Toimii jo nyt tuplasti paremmin ja nopeammin kuin asustor, hiljaisempikin vielä.

Toi verkkojako syncalla on pakko toimia luotettavasti tai videotyöt jää kokonaan tekemättä, loppuu päivässä tunnit kesken ilman helppoa tapaa saada tiedostot koneelle asti.

 

[Daatta]

Seuraavassa jaksossa Truenas VM:n asennus ja erinäiset jippaskonstit ja taikatemput mitä piti tehdä jotta tuo "kätevä" P440ar saadaan raakana Truenas virtuaalikoneelle hallitsemaan levyjä.

Sehän kävi he-he-helposti. Onko tuossa jotain vastaavaa hyötyä ajella Truenassia Proxmox alustalla? Itsellä Unraid ajossa, mutta sitäkin käsittääkseni virtualisoidaan.

Miten Truenas hanskaa nuo raakalevyt, ZFS siihen päälle?

 

[fin_modder]

Mitäs käy kun nörtille annetaan 12kpl turhia 1.9TiB Enterprise SAS SSD:tä? No sehän tuhlaa sitten varmaan valmiin NAS:n verran rahaa SER jätteeseen ja rakentaa All-flash NAS:n

Elikkäs, tuli töissä vastaan poistuvaa SAS SSD:tä, eikä raudanhimo antanut millään periksi. Syntyi ainakin omaan käyttöön totaalisen overkill NAS.
Rautaa:
1kpl HPE Proliant ML350 Gen9 tower mallin palvelin.
- Prossu: Xeon E5-2609v4
- RAM: 8x 16GiB ECC DDR4 @ 2400 MHz
- P440ar levykontrolleri HBA tilassa
- 2x Intel DC S3520 240GiB SATA SSD
- 8x SanDisk DOPE1920S5xnNMRI 1.92TB SAS SSD

Syntymätarina noin suunnilleen kronologisessa järjestyksessä.
Levyjä keräilty hetken aikaa. Ostin palvelimen käytettynä, ilman RAID korttia (koska ajattelin että käytän LSI SAS kortteja...).
Aikaisemmasta CEPH SSD projektista jäi ylimääräiseksi 2kpl LSI-9400 tri-mode HBA/RAID/NVMe PCI-e kortteja. No ei mitään, kortti kiinni palvelimeen -> hirveä meteli. Ei voinut (ex HPE huoltoteknikko) millään tietää että HPE ei syö muun kuin HPE:n romuja sisäänsä Eli tuulettimet jäivät 30-50% tilaan ja meteli oli aikamoinen.

No, ebay.de auki ja etsimään romurautaa. Sieltähän löytyi huokeaan 15€ + postit hintaan HPE P440ar kortti, joka kiinnittyy emolevyyn omaan hienoon paikkaan ilman että se vie yhtäkään PCI-e paikkaa. Kortti kiinni -> firmispäivitys. Silti tuulettimet huutaa 35%. Tarkemmin katsottuna, vain yksi tuulettimista oli tuossa käyttiksen asennuksen jälkeen, muut laskivat mukavan hiljaiseen 7-12% väliin.

No mitähän pve:tä tässä nyt oikein on vikana. 8h ongelmanselvityksen jälkeen, ennen kuin viimeisenä optiona asentaisin koneeseen custom modatun iLO4 ROM:n (joka saattaa rikkoa emon), kokeilin viimeisen taikavalikon. iLO:ssa RBSU asetusten takana kun painaa CTRL-D näppäinyhdistelmää, pääsee salaiseen diagnostiikkamenuun. Sieltä full reset ilo + BIOS, sekä emolevyltä BIOS reset dippikytkin päälle -> resetin jälkeen kaikki 3kpl tuulettimia nätisti 7%, ai että mikä hiljaisuus!

Seuraavaksi torista SAS kaapeleita tilaukseen jotta saan levyjen kotelon backplanen kiinni ohjaimeen. Sitten käyttisasennus Intelin SSD:lle. Kun käyttis asennettu, sain "ripustettua" levyt kotelon sisälle, niin että kaikki kahdeksan hot-swap levypaikkaa jäivät vapaaksi. Emolevyllä on siis kaksi SATA porttia, joissa toisessa on alunperin DVD asema. Virta + SATA tulee Delockin MOLEX -> SATA Power + Data combokaapelilla. Kotelossa on kätevästi 2kpl molex virtaliittimiä vapaana.

Seuraavaksi kaikki 12kpl SAS SSD:tä piti formatoida edellisen järjestelmän 520b lohkokoosta 512b lohkokokoon jota voi käyttää natiivisti Linuxissa.
Homma oli erittäin simppeli:
1. levy kiinni, "fdisk -l" kunnes uusi levy tuli näkviin.
2. ajetaan komento "sg_format -v --format --size=512 /dev/sdx"
3. sitten odotellaan noin pari minuuttia per levy
4. varmistetaan että levy näkyy oikein "smartctl --all /dev/sdx"
5. levy irti ja toista 11 kertaa!
Tarkempi ohje löytyy How to reformat 520 byte drives to 512 bytes (usually)

Tämän jälkeen proxmoxin asennus, simppeli homma. Tee USB tikku, tökkää koneeseen kiinni ja asenna etäkonsolin kautta oletusasetuksilla.

Pienen testaamisen jälkeen huomasin että levyt käyvät erittäin lämpimänä... No halvalla kun piti päästä, niin ratkaisu oli pakkausteippi, jolla peitetään 90% ilma-aukoista etulevyssä ja pakotetaan ilma menemään levyjen läpi -> levyt mukavan viileät 22C!

Seuraavassa jaksossa Truenas VM:n asennus ja erinäiset jippaskonstit ja taikatemput mitä piti tehdä jotta tuo "kätevä" P440ar saadaan raakana Truenas virtuaalikoneelle hallitsemaan levyjä.

Saaga jatkuu.
UPS vei lähimpään (eli neljän kilometrin päähän) pakettipisteeseen HPE Smart Array P840 12G SAS ohjaimen. Hintaa saksasta posteineen 30€.

Tässä möhkössä on 2kpl tupla-leveitä SFF-8654 -portteja, 4GiB flash välimuistia (mitä ei käytetä HBA modessa), levyjen cryptaus tuki sekä täysi SSD PLP tuki emolevylle lisättävän pariston avulla.
Eli tähän laitetaan postissa tulevat seuraavat kaksi 8x SFF levykoteloa.

Ensiksi korttiin firmispäivitys. Menee about näin:
1. Kortti kiinni
2. iLO:n kautta System Config -> Smart Array P840 Controller -> Muuta HBA modeen.
3. Boottaa linuxiin, lataa paketti https://support.hpe.com/connect/s/softwaredetails?language=en_US&collectionId=MTX-61f59cb79a694ca7
4. Aja jossain tmp kansiossa "Installation instruction" välilehden ohjeet, riippuen käytätkö RPM pohjaista käyttistä vai et.
5. Boottaa palvelin, katso iLO:sta että firmis tosiaan on 7.20

Sitten se truenassin asennus proxmoxin päälle niin, että kummatkin PCI-e kortit laitetaan suoraan virtuaalikoneelle läpi. Tässä hyödynnetään SR-IOV:ta sekä VFIO:ta.
Ensiksi pitää säätää muutama asetus BIOS tasolla jotta HPE ei "varasta" kortteja iLO:oon ja aiheuta kernel panic:ia kun laitat virtuaalikoneen päälle
1. Boottaa palvelin, F9 -> system configuration.
2. Valitse raid kortti
3. HPE Shared Memory Features -> Disabled!
4. Toista kaikille korteille.
5. Tarkista iLO:sta että System Information -> Device Inventory näyttää korteille tilaa "Unknown". Tämä on tuon muutoksen ainoa harmitus että kaikki iLO näkyvyys korttiin katoaa.

Sitten proxmoxin ja truenassin jännittäviin säätöihin.
1. Asenna proxmox.
2. Avaa asennetussa proxmoxissa shell
3. Asenna HPE työkalut:
# Ensiksi laitetaan HPE julkaisuavaimet aptia varten.

curl [URL]https://downloads.linux.hpe.com/SDR/hpePublicKey2048_key2.pub[/URL] | gpg --dearmor | tee -a /usr/share/keyrings/hpePublicKey.gpg > /dev/null
curl [URL]https://downloads.linux.hpe.com/SDR/hpPublicKey2048_key1.pub[/URL] | gpg --dearmor | tee -a /usr/share/keyrings/hpePublicKey.gpg > /dev/null
curl [URL]https://downloads.linux.hpe.com/SDR/hpePublicKey2048_key1.pub[/URL] | gpg --dearmor | tee -a /usr/share/keyrings/hpePublicKey.gpg > /dev/null

# Sitten apt mirrorin sijainti

echo "deb [signed-by=/usr/share/keyrings/hpePublicKey.gpg] HPE Software Delivery Repository bookworm/current non-free" >> /etc/apt/sources.list.d/hpe.list

# Asennetaan hpe softat

apt install ssa ssacli ssaducli storcli

# Asennetaan käsin hp-ams jotta saadaan käyttis näkyviin iLOon

wget [URL]https://downloads.linux.hpe.com/SDR/repo/mcp/debian/pool/non-free/hp-ams_2.8.3-3056.1ubuntu16_amd64.deb[/URL]
dpkg -i hp-ams_2.8.3-3056.1ubuntu16_amd64.deb

4. Tunkataan iommu päälle tiedostoon "/etc/default/grub"

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on,relax_rmrr iommu=pt"

5. Tunkataan vfio päälle tiedostoon "/etc/modules-load.d/modules.conf"

vfio
vfio_iommu_type1.allow_unsafe_interrupts=1
vfio_pci
vfio_virqfd

6. Lisätään HPE:n raid ohjain kernelin lataus estolistaan. Tällä varmistetaan että kyseinen ohjain ei missään tapauksessa aktivoidu proxmoxiin.

echo "blacklist hpsa" >> /etc/modprobe.d/hpe-smartarray-blacklist.conf

7. Päivitetään kerneli jotta muutokset tulevat voimaan.

pve-efiboot-tool refresh

8. Bootti!

Nyt kun proxmox boottaa, yhtäkään levyohjainta eikä levyä pitäisi näkyä saatavilla noodin "Disks" valikon alta.

Truenas VM spesifit säädöt:
1. Lataa truenas iso image proxmox noodille.
2. Luo uusi VM seuraavilla asetuksilla:

* CD asemaan toki se truenas ISO image.
3. PCI devices kohtaan about näin kumpikin ohjain:

* ROMBAR pitää olla pois päältä!
* All functions päällä!
4. Processors kohdassa en saanut konetta toimimaan "host" typellä, vaan laitoin oman prossun generaation (Broadwell) valintaan.
5. Muuten asetukset aika normaalina.
6. Laita VM päälle, jos tuulettimet huutavat 100%, unohdit jonkun BIOS asetuksen tai PCI-e asetus vinossa...
6. Laita VM päälle, jos saat epämääräisen QEMU virheen, luultavasti unohdit tehdä kernel muutokset.

Jos kaikki menee oikein, truenassissa pitäisi näkyä jotain tälläistä:

 

[fin_modder]

Ja sitten se tärkein, kuinkas nopea tämä on?
TLDR, on pirun nopea, ja käytännössä NIC:n pitää olla minimissään 10G, ellei jopa 40G jotta voitaisiin hyödyntää kaikki levykapasiteetti NAS käytössä.
Lukunopeudet on häikäisevä 14GiB/s, mikä pitäisi kyllä riittää niiden Linux ISO:n katsomiseen
TN Bench:

FIO testit
16 threadia 128k blokkikoko:

TEST: (g=0): rw=rw, bs=(R) 128KiB-128KiB, (W) 128KiB-128KiB, (T) 128KiB-128KiB, ioengine=psync, iodepth=16
...
fio-3.33
Starting 16 processes
TEST: Laying out IO file (1 file / 51200MiB)

TEST: (groupid=0, jobs=16): err= 0: pid=5870: Wed Oct  1 20:29:13 2025
  read: IOPS=16.1k, BW=2009MiB/s (2107MB/s)(235GiB/120011msec)
    clat (usec): min=16, max=280487, avg=108.17, stdev=1222.73
     lat (usec): min=16, max=280487, avg=108.53, stdev=1223.35
    clat percentiles (usec):
     |  1.00th=[   19],  5.00th=[   24], 10.00th=[   26], 20.00th=[   28],
     | 30.00th=[   29], 40.00th=[   30], 50.00th=[   31], 60.00th=[   33],
     | 70.00th=[   35], 80.00th=[   40], 90.00th=[   50], 95.00th=[  163],
     | 99.00th=[ 1205], 99.50th=[ 2343], 99.90th=[13960], 99.95th=[27919],
     | 99.99th=[50594]
   bw (  MiB/s): min=  615, max=13011, per=100.00%, avg=2009.98, stdev=98.27, samples=3776
   iops        : min= 4920, max=104089, avg=16075.37, stdev=786.19, samples=3776
  write: IOPS=16.1k, BW=2011MiB/s (2109MB/s)(236GiB/120011msec); 0 zone resets
    clat (usec): min=21, max=286287, avg=874.49, stdev=2051.07
     lat (usec): min=22, max=286290, avg=880.42, stdev=2064.95
    clat percentiles (usec):
     |  1.00th=[   24],  5.00th=[   28], 10.00th=[   29], 20.00th=[   34],
     | 30.00th=[  206], 40.00th=[  433], 50.00th=[  701], 60.00th=[  906],
     | 70.00th=[ 1090], 80.00th=[ 1303], 90.00th=[ 1663], 95.00th=[ 2180],
     | 99.00th=[ 4424], 99.50th=[ 6194], 99.90th=[28181], 99.95th=[41157],
     | 99.99th=[71828]
   bw (  MiB/s): min=  644, max=13061, per=100.00%, avg=2012.00, stdev=98.28, samples=3776
   iops        : min= 5154, max=104482, avg=16091.47, stdev=786.20, samples=3776
  lat (usec)   : 20=1.17%, 50=56.56%, 100=2.52%, 250=3.69%, 500=6.12%
  lat (usec)   : 750=5.15%, 1000=6.74%
  lat (msec)   : 2=14.65%, 4=2.64%, 10=0.57%, 20=0.08%, 50=0.09%
  lat (msec)   : 100=0.02%, 250=0.01%, 500=0.01%
  cpu          : usr=1.15%, sys=9.36%, ctx=1719564, majf=4, minf=214
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=1929095,1931006,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=16

Run status group 0 (all jobs):
   READ: bw=2009MiB/s (2107MB/s), 2009MiB/s-2009MiB/s (2107MB/s-2107MB/s), io=235GiB (253GB), run=120011-120011msec
  WRITE: bw=2011MiB/s (2109MB/s), 2011MiB/s-2011MiB/s (2109MB/s-2109MB/s), io=236GiB (253GB), run=120011-120011msec

6 threadia 128k blokkikoko

TEST: (g=0): rw=rw, bs=(R) 128KiB-128KiB, (W) 128KiB-128KiB, (T) 128KiB-128KiB, ioengine=psync, iodepth=16
...
fio-3.33
Starting 6 processes

TEST: (groupid=0, jobs=6): err= 0: pid=5978: Wed Oct  1 20:31:45 2025
  read: IOPS=16.3k, BW=2041MiB/s (2140MB/s)(239GiB/120001msec)
    clat (usec): min=16, max=124306, avg=69.13, stdev=454.06
     lat (usec): min=16, max=124306, avg=69.41, stdev=454.41
    clat percentiles (usec):
     |  1.00th=[   19],  5.00th=[   20], 10.00th=[   25], 20.00th=[   26],
     | 30.00th=[   28], 40.00th=[   29], 50.00th=[   30], 60.00th=[   32],
     | 70.00th=[   34], 80.00th=[   39], 90.00th=[   52], 95.00th=[  231],
     | 99.00th=[  578], 99.50th=[  881], 99.90th=[ 5276], 99.95th=[ 9765],
     | 99.99th=[17433]
   bw (  MiB/s): min=  627, max= 8251, per=100.00%, avg=2041.39, stdev=158.78, samples=1422
   iops        : min= 5016, max=66014, avg=16329.72, stdev=1270.23, samples=1422
  write: IOPS=16.3k, BW=2042MiB/s (2141MB/s)(239GiB/120001msec); 0 zone resets
    clat (usec): min=19, max=210839, avg=289.26, stdev=680.61
     lat (usec): min=21, max=210841, avg=293.67, stdev=687.32
    clat percentiles (usec):
     |  1.00th=[   24],  5.00th=[   27], 10.00th=[   28], 20.00th=[   31],
     | 30.00th=[   48], 40.00th=[  178], 50.00th=[  227], 60.00th=[  281],
     | 70.00th=[  347], 80.00th=[  433], 90.00th=[  578], 95.00th=[  742],
     | 99.00th=[ 1254], 99.50th=[ 1680], 99.90th=[ 7439], 99.95th=[12125],
     | 99.99th=[21890]
   bw (  MiB/s): min=  628, max= 8204, per=100.00%, avg=2041.67, stdev=158.52, samples=1422
   iops        : min= 5031, max=65635, avg=16331.96, stdev=1268.14, samples=1422
  lat (usec)   : 20=2.58%, 50=57.28%, 100=2.61%, 250=12.45%, 500=17.21%
  lat (usec)   : 750=5.17%, 1000=1.50%
  lat (msec)   : 2=0.91%, 4=0.14%, 10=0.10%, 20=0.05%, 50=0.01%
  lat (msec)   : 100=0.01%, 250=0.01%
  cpu          : usr=2.86%, sys=23.86%, ctx=1672388, majf=0, minf=79
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=1959467,1959862,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=16

Run status group 0 (all jobs):
   READ: bw=2041MiB/s (2140MB/s), 2041MiB/s-2041MiB/s (2140MB/s-2140MB/s), io=239GiB (257GB), run=120001-120001msec
  WRITE: bw=2042MiB/s (2141MB/s), 2042MiB/s-2042MiB/s (2141MB/s-2141MB/s), io=239GiB (257GB), run=120001-120001msec

6 threadia 1M blokkikoko. Koko pooli on asetettu tähän samaan blokkikokoon:

TEST: (g=0): rw=rw, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=psync, iodepth=16
...
fio-3.33
Starting 6 processes

TEST: (groupid=0, jobs=6): err= 0: pid=6062: Wed Oct  1 20:34:05 2025
  read: IOPS=2219, BW=2220MiB/s (2327MB/s)(260GiB/120003msec)
    clat (usec): min=108, max=216242, avg=360.81, stdev=746.56
     lat (usec): min=108, max=216242, avg=361.25, stdev=746.65
    clat percentiles (usec):
     |  1.00th=[  174],  5.00th=[  182], 10.00th=[  194], 20.00th=[  208],
     | 30.00th=[  215], 40.00th=[  221], 50.00th=[  229], 60.00th=[  237],
     | 70.00th=[  249], 80.00th=[  302], 90.00th=[  594], 95.00th=[ 1037],
     | 99.00th=[ 2311], 99.50th=[ 2999], 99.90th=[ 5342], 99.95th=[ 7177],
     | 99.99th=[17171]
   bw (  MiB/s): min= 1048, max= 8709, per=99.62%, avg=2211.16, stdev=124.37, samples=1422
   iops        : min= 1046, max= 8707, avg=2209.61, stdev=124.37, samples=1422
  write: IOPS=2216, BW=2216MiB/s (2324MB/s)(260GiB/120003msec); 0 zone resets
    clat (usec): min=117, max=140662, avg=2295.04, stdev=1371.13
     lat (usec): min=134, max=140694, avg=2338.40, stdev=1382.80
    clat percentiles (usec):
     |  1.00th=[  165],  5.00th=[  824], 10.00th=[ 1205], 20.00th=[ 1565],
     | 30.00th=[ 1811], 40.00th=[ 1991], 50.00th=[ 2180], 60.00th=[ 2343],
     | 70.00th=[ 2638], 80.00th=[ 2999], 90.00th=[ 3523], 95.00th=[ 3982],
     | 99.00th=[ 4883], 99.50th=[ 5604], 99.90th=[11863], 99.95th=[20055],
     | 99.99th=[50070]
   bw (  MiB/s): min= 1267, max= 9016, per=99.61%, avg=2207.69, stdev=123.48, samples=1422
   iops        : min= 1265, max= 9013, avg=2206.10, stdev=123.49, samples=1422
  lat (usec)   : 250=37.05%, 500=7.83%, 750=3.40%, 1000=2.52%
  lat (msec)   : 2=18.79%, 4=27.86%, 10=2.47%, 20=0.05%, 50=0.02%
  lat (msec)   : 100=0.01%, 250=0.01%
  cpu          : usr=1.71%, sys=18.44%, ctx=403217, majf=0, minf=70
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=266351,265965,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=16

Run status group 0 (all jobs):
   READ: bw=2220MiB/s (2327MB/s), 2220MiB/s-2220MiB/s (2327MB/s-2327MB/s), io=260GiB (279GB), run=120003-120003msec
  WRITE: bw=2216MiB/s (2324MB/s), 2216MiB/s-2216MiB/s (2324MB/s-2324MB/s), io=260GiB (279GB), run=120003-120003msec