Mitäs käy kun nörtille annetaan 12kpl turhia 1.9TiB Enterprise SAS SSD:tä? No sehän tuhlaa sitten varmaan valmiin NAS:n verran rahaa SER jätteeseen ja rakentaa All-flash NAS:n
Elikkäs, tuli töissä vastaan poistuvaa SAS SSD:tä, eikä raudanhimo antanut millään periksi. Syntyi ainakin omaan käyttöön totaalisen overkill NAS.
Rautaa:
1kpl HPE Proliant ML350 Gen9 tower mallin palvelin.
- Prossu: Xeon E5-2609v4
- RAM: 8x 16GiB ECC DDR4 @ 2400 MHz
- P440ar levykontrolleri HBA tilassa
- 2x Intel DC S3520 240GiB SATA SSD
- 8x SanDisk DOPE1920S5xnNMRI 1.92TB SAS SSD
Syntymätarina noin suunnilleen kronologisessa järjestyksessä.
Levyjä keräilty hetken aikaa. Ostin palvelimen käytettynä, ilman RAID korttia (koska ajattelin että käytän LSI SAS kortteja...).
Aikaisemmasta CEPH SSD projektista jäi ylimääräiseksi 2kpl LSI-9400 tri-mode HBA/RAID/NVMe PCI-e kortteja. No ei mitään, kortti kiinni palvelimeen -> hirveä meteli. Ei voinut (ex HPE huoltoteknikko) millään tietää että HPE ei syö muun kuin HPE:n romuja sisäänsä

Eli tuulettimet jäivät 30-50% tilaan ja meteli oli aikamoinen.
No, ebay.de auki ja etsimään romurautaa. Sieltähän löytyi huokeaan 15€ + postit hintaan HPE P440ar kortti, joka kiinnittyy emolevyyn omaan hienoon paikkaan ilman että se vie yhtäkään PCI-e paikkaa. Kortti kiinni -> firmispäivitys. Silti tuulettimet huutaa 35%. Tarkemmin katsottuna, vain yksi tuulettimista oli tuossa käyttiksen asennuksen jälkeen, muut laskivat mukavan hiljaiseen 7-12% väliin.
No mitähän pve:tä tässä nyt oikein on vikana. 8h ongelmanselvityksen jälkeen, ennen kuin viimeisenä optiona asentaisin koneeseen custom modatun iLO4 ROM:n (joka saattaa rikkoa emon), kokeilin viimeisen taikavalikon. iLO:ssa RBSU asetusten takana kun painaa CTRL-D näppäinyhdistelmää, pääsee salaiseen diagnostiikkamenuun. Sieltä full reset ilo + BIOS, sekä emolevyltä BIOS reset dippikytkin päälle -> resetin jälkeen kaikki 3kpl tuulettimia nätisti 7%, ai että mikä hiljaisuus!
Seuraavaksi torista SAS kaapeleita tilaukseen jotta saan levyjen kotelon backplanen kiinni ohjaimeen. Sitten käyttisasennus Intelin SSD:lle. Kun käyttis asennettu, sain "ripustettua" levyt kotelon sisälle, niin että kaikki kahdeksan hot-swap levypaikkaa jäivät vapaaksi. Emolevyllä on siis kaksi SATA porttia, joissa toisessa on alunperin DVD asema. Virta + SATA tulee Delockin MOLEX -> SATA Power + Data combokaapelilla. Kotelossa on kätevästi 2kpl molex virtaliittimiä vapaana.
Seuraavaksi kaikki 12kpl SAS SSD:tä piti formatoida edellisen järjestelmän 520b lohkokoosta 512b lohkokokoon jota voi käyttää natiivisti Linuxissa.
Homma oli erittäin simppeli:
1. levy kiinni, "fdisk -l" kunnes uusi levy tuli näkviin.
2. ajetaan komento "sg_format -v --format --size=512 /dev/sdx"
3. sitten odotellaan noin pari minuuttia per levy
4. varmistetaan että levy näkyy oikein "smartctl --all /dev/sdx"
5. levy irti ja toista 11 kertaa!
Tarkempi ohje löytyy
How to reformat 520 byte drives to 512 bytes (usually)
Tämän jälkeen proxmoxin asennus, simppeli homma. Tee USB tikku, tökkää koneeseen kiinni ja asenna etäkonsolin kautta oletusasetuksilla.
Pienen testaamisen jälkeen huomasin että levyt käyvät erittäin lämpimänä... No halvalla kun piti päästä, niin ratkaisu oli pakkausteippi, jolla peitetään 90% ilma-aukoista etulevyssä ja pakotetaan ilma menemään levyjen läpi -> levyt mukavan viileät 22C!
Seuraavassa jaksossa Truenas VM:n asennus ja erinäiset jippaskonstit ja taikatemput mitä piti tehdä jotta tuo "kätevä" P440ar saadaan raakana Truenas virtuaalikoneelle hallitsemaan levyjä.