Jäätävä A T K-räpellys (Algron28:n laitetilaprojekti)

[Algron28]

Näyttääkö komento sudo brctl show että bridgeissä yleensäkään on mitään interfacea olemassa ?
Ja noita kahta eri konetta vertamalla näyttäisi tässä dellissä olevan molemmat fyysiset interfacet enp2s0f0 ja enp2s0f1 alhaalla, kun taas toimivassa kokoonpanossa toinen fyysinen interface ens2f0 on ylhäällä.

Mac osoitteen perusteella verkkkokorit ovat Dellin tekemiä, mutta en nyt heti löytänyt muuta kun viitteitä Broadcomin piirisarjaan, voisiko olla niin, että kortit vaativat toimiakseen jonkin firmwaren.

Pitääs kattoa tuo komento kun pääsee kotia takaisin. Dellissä enp-interfacet on 10G liitäntöjä jotka tulee palveluyhteyksille kun taas emolevyn integroitu 2x1G (eno1) tulee olemaan hallinnalle. jos ei muuta niin voisi kokeilla konffata hallinan kokeeksi tuon 10G kautta mutta se menee fyysisesti tällä hetkellä sellaiseen paikkaan josta yhteys pitää kytkennällisesti viedä hallintaverkon kytkimeen.

 

[Ogeli]

Osoite on tuolla:
etc/network/interfaces
Hallinta on jossain hämärässä portissa (8006) tuolla ohje miten saa normaalin https:n (443) käyttöön:

Web Interface Via Nginx Proxy - Proxmox VE

pve.proxmox.com

luultavasti eno1 emon portti käytössä.
ja sudo ei toimi pelkkä brctl show riittää (ollaan roottina)
Mulla tällainen:

root@pve1:/etc/network# brctl show
bridge name     bridge id               STP enabled     interfaces
fwbr104i0               8000.7af528474d10       no              fwln104i0
                                                        tap104i0
vmbr0           8000.2c44fd2840d0       no              eno1
                                                        fwpr104p0
vmbr1           8000.503eaa106606       no              enp3s0
vmbr2           8000.001b213a72a7       no              enp1s0

 

[Algron28]

Helvetin helvetti, nyt oli kyllä oma moka kun luotti sokeasti totuttuun. Tässä Dell R210II palvelimessa jostain syystä emolevyn integroidut verkkokortit tunnistautuvat enp2 alkuisiksi ja PCI-E väylässä oleva 2x10G tunnistuu eno-alkuisiksi porteiksi. Eli siis juuri päin vastoin kuin yleensä ja päinvastoin toimivassa palvelimessa (joka HPE). Tuo olisi tietenkin selvinnyt ainakin lshw komennolla jota koitinkin kokeilla mutta tuo on poistettu proxmoxissa, ehkä sille on joku korvike siinä. Vaihdoin siis adapteria ja hallinta lähti toimimaan. Tämä uusi versio ei näytä listaavan jostain syystä broadcast osoitetta kuten tuo vanhempi asennus tekee.

 

[Algron28]

Sitten seuraava kohta. Tarkoitus on paukuttaa tuo uusi proxmox tuon vanhan kanssa clusteriksi. Ainoa pointti tällä on saada keskitetty hallinta molemmille. Virallinen dokumentaatio ja osa netin ohjeista painottaa että clustoroinnissa nodejen välinen verkko tulee olla riittävän suorituskykyinen ja varsinkin latenssi on kai tässä kriittisessä merkityksessä. Virallinen dokumentaatio taisi suositella jopa erillistä verkkoa tälle. Onko kokemusta kuinka tuo clusterointi on ronkkeli tuolle tilanteissa joissa sitä ei käytetä muuhun kuin hallinnan keskitykseen?

Omassa toteutuksessa on lähinnä seuraavat haasteet: Hallintaverkon kytkimessä on vain 100 megaiset portit ja proxmoxin backup liikenne hoituu myös samaista verkkoa pitkin. Tuohon HPEhen saisi toki toisen verkkokortin lisättyä vielä jolla saisi lisää fyysisiä paikkoja mutta Dell:issä ei ole vapaita portteja tai korttipaikkoja. Tuota periaatteessa voisi kokeilla toteuttaa niin että loisi tuolle clusteri liikenteelle oman VLANin ja katsoisi saako kytkimeen konffattua jonkun VLAN based QoS toimimaan. Loppupeleissä en usko että liikennemäärä nodejen välillä on valtava kun ei ole tarkoitus jakaa nodejen kesken mitään resursseja tai HAta käyttää.

 

[Algron28]

Noniin, nyt on tullut tuon proxmoxin kanssa paukuteltua.

Clusterointi onnistuu ihan näppärästi mutta alla olevia huomioita:

- Ilman HAta normaalitilanteissa verkonkäyttö on vähäistä, mutta clusteroinnin käyttämä Corosync on herkkä latenssille joten dedikoitu portti tälle ei ole ainakaan oikeassa tuotantokäytössä todellakaan huono idea. Corosyncin saa toimimaan myös proxmoxin hallintaportin yli, mutta jos tätä samaa putkea pitkin menee backup liikenne niin joissain tilanteissa voi ongelmia olla edessä jos kapasiteetti alkaa loppua.

- Käytännön syistä Corosync liikenne kannattaa laittaa omaan VLANiinsa. Jos jaksaa hifistellä, niin VLANin voi priorisoida kytkimissä. VLANista ei tarvitse olla pääsyä kuin nodeille. Kokeiluvaiheessa loin yhden linkin tuon hallintaportin päälle mutta tarkoitus on se siirtää omaan VLANiin.

- Varalinkin määritteleminen on suositeltavaa. Itsellä varalinkkinä toimii hyötyliikenteen (ei siis erillisen hallintaliikenteen) verkko jossa se kulkee omassa VLANissa. Näitä voi sitten priorisoida ja korkeimmalla prioriteetillä oleva linkki välittää aina liikennettä ja muut ovat varalla. Varalinkin voi määritellä GUIsta clusteria luodessa, mutta tämän jälkeen lisättävät linkin on naputelta suoraan corosync.conf tiedostoon.

- Vikatilanteissa joissa clusterin corosync liikenne ei toimi nodet pysyvät ylhäällä mutta menevät vika tilaan ja monet toimenpiteet lukittuvat ennenkuin clusteri on taas ehjä. Tämä ilmeisesti johtuu jostain clusterin käyttämästä quorum määritelmästä jolla tietyt muutokset on hyväksytettävä riittävän monella clusterin nodella. Joissain tilanteissa tämä johtaa myös clientien alasajoon tai käynnistämisen estämiseen. Tästä syystä se varalinkki, mielellään erillisellä kytkimellä, on kätevä sillä esim kytkintä käynnistäessä uudelleen clusteri menee vikatilaan ellei varatietä ole.

Clusterointi näyttää toimivan myös eri versioisilla nodeilla, clusteria luodessa toinen oli 6.4 ja toinen 7.0 versiossa. päivittelin tänään tuon RNS02 6.4 -> 7.0 joka yllättäen myöskin sujui ilman ongelmia.

 

[Hyrava]

Kiitoksia tiedoista! Itsekin tässä suunnittelin laittaa toisen koneen ajamaan proxmoxia kunhan kerkiää ja tuossa olikin pari hyvää pointtia jotka aion ottaa suoraan huomioon. Omissa koneissa on 2kpl gigaisia etskuportteja eli toinen kannattaa ilmeisesti suosiolla pyhittää tuolle corosyncille ja omalla kytkimellä. Tuota ennen pitää kuitenkin siivota koko räkki kun on vuosien varrella päässyt vähän muutoksien yhteydessä räjähtämään.

Mulla kun ei ole mitään oikeaa serverirautaa proxmoxille niin nykyisessä on muistin määrä tulossa vastaan joten on vähän pakko kohta laajentaa toisella koneella. Tietty olisihan se mukavaa jos olisi oikeaa serverirautaa johon saa paljon levyä ja muistia mutta tuppaavat olevan kovin äänekkäitä joten ei sovi oikein asuintiloihin. Duunissa joku aika boottailin olikohan se HP:n 2U räkkiserveriä jossa oli vissiin 8 vai 9 tuuletinta ja kyllä se käynnistyksessä kuulosti lähinnä hornetilta eikä se idlenäkään kovin hiljainen ollut.

 

[Algron28]

Itse käytän oman kotiverkon ja laitteiden monitorointiin Zabbixia. Meillä on zabbix myös töissä käytössä joten oli helppo lähteä sillä omaakin valvontaa tekemään. Nagios on omasta mielestäni hankalampi, tosin joissakin jutuissa ehkä parempi. On noita aika monta muutakin vastaavaa ilmaista mutta itse totesin Zabbixin helpoimmaksi.

Viestejä itselläni lähtee tarpeen mukaan sähköpostiin, tekstarina ja telegramina ja laitteita tosiaan on kotiverkossakin valvonnassa ihan kohtalaisesti. Muutamana esimerkkinä mainittakoon proxmox-virtualisointialusta ja sen virtuaalikoneet, pöytäkone, muutama raspberry pi, muutama kotiautomaation ESP32:sta, hallittavia kytkimiä, pari UPSia, kaapelimodeemi, muutama valvontakamera, AV-laitteita jne. Tällä hetkellä liki 100 hostia valvonnassa. Joukossa on kaikenlaisia "virtuaalilaitteitakin" kuten muutama asia mitä ihan kyselen netistä kuten käyttämieni DNS-serverien tila jne. Itse olen aika paljon tehnyt noita templateja ja omia valvontoja kun nuo vakiona olevat eivät riittäneet alkuunkaan.

Graafeja taas minulla piirtelee vasteajoista sun muista Grafana joka on kanssa aika simppeli työkalu. Verkkodokumentaatiota itse pidän OpenDCIM:ssä johon saa räkkikuvat, johdotukset sun muut kivasti. Ei paras mahdollinen mutta itselleni riittävä. Vastaavia työkaluja varmaan löytynee hakusanoilla DCIM tai IPAM.

Onko tuo OpenDCIM todella näin kämy näiden kaapelointien suhteen?

Reittejä voi hakea yksi kerrallaan näin-.

tai sitten niistä saa tälläisiä sekavia graafisia raportteja:

Nuo on molemmat tuon softan netti demosta otettu.

Se mitä näitä joitain on katsonut niin kaikissa on ihmetyttänyt se että vaikka kaikki muut ominaisuudet näyttää hienosti olevan toteutettu ja räkit saa kuvattu tarkasti niin sitten kaapeloinnin ja yhteyksien dokumentointi on joko sekavaa tai vaivalloista. Luulisi että kuitenkin muutostöitä ajatellen oikeissa datacentereissä yms olisi tärkeää tietää missä se tietty yhteys vilistää menemään ristikytkennöillä yms.

 

[Hyrava]

No, näyttäähän tuo OpenDCIM jokaisen liittimen paikan ja pätsin yhteydestä alusta loppuun eli näkee kaiken tarvittavan. Tuo graafinen raportti on kyllä aika kauhea, välillä se vetää noita viivoja ihan miten sattuu ristiinrastiin pitkin ruutua eikä niistä ota mitään tolkkua. Itse olen tykännyt tuosta reittihakujutusta, se näyttää varsin selkeästi miten yhteys on kytketty alusta loppuun. Tuossahan on tietty vielä sekin näkymä että menet kurkkaamaan jonkun laitteen tietoja niin se näyttää mihin sen portit on kytketty jopa ihan perille asti reitteineen. Noiden yhteyksien konffaaminen on vaan vähän työlästä, ainakin ennenkuin oppii miten ja missä järjestyksessä kannattaa asiat tehdä. Ja varsinkin kun itselläni on paljon laitteita mitä tuon softan kirjastoista ei löydy niin on tullut aika paljon luotua laitteita itse. Niin, ja itse "väärinkäytän" tuota sen verran että mulla näkyy noissa kaapeloinneissa kaikki RS232-yhteydet, VGA/HDMI-yhteydet, audioyhteydet sun muut kaikki samassa softassa.

Tuo OpenDCIM on tähän mennessä ollut mulle ehkä helpoin ja käytettävin softa näistä nykyisistä, vielä kun saisi jostain jotain Netvizin tapaista ilmaisversiona tai hyvin edullisesti niin pieksisi tuon kyllä ihan hands down.

Itse olen kyllä miettinyt että pitäisiköhän luopua koko DCIM:stä, pitäisi vaan keksiä joku hyvä piirtelysofta millä saisi nopeasti ja helposti päivitettyä kuvia. Aiempi librecadilla piirtely ei okein nappaisi, saisi olla vähän automaatiota niiden palikoiden ja viivojen piirtelyssä ettei tarvitsisi joka kulmaa itse piirrellä ja laatikoita (laitteita) copypastetella.

 

[Algron28]

Eikös noissa piirtelyissä ole vähän se ongelmana että ovat monesti staattisia. Jos verkko on vähänkään isompi, niin kuva tahtoo mennä sekavaksi. Pitäisi olla sellaisia dynaamisia kaavioita joissa voidaan kaaviolle hakea tiettyjä asioita joita halutaan juuri sillä hetkellä tarkastella tai muokata. Lisäksi yhteyksien hierarkisuus, esim VLANit olisi ihan kiva ominaisuus.

Muutenkin olen ihmetelly miksi noissa on yleensä keskitytty noihin eyecandy ominaisuuksiin. Mitä iloa on esim laitteiden naamakuvista räkin kalustuskuvassa. Eikö olennainen tieto ole se mitkä unittipaikat on vapaana.

 

[Hyrava]

Juu, sen takia joku netviz-tyylinen ratkaisu olisikin kiva kun siinä oli objektien linkityksiä sun muita featureita. Itselläni kotiverkko pysyy kohtalaisen stabiilina joten muutokset eivät ihan hirveästi työllistä mutta ainahan se olisi kiva että yhteydet päivittyisivät jotenkin dynaamisesti. Ja itse en yleensä edes yritä piirtää yhteen kuvaan kaikkea vaan koitan tehdä sellaisia loogisia kokonaisuuksia eli esim "Internet-yhteys ja kytkimet", "Kytkimen x perässä olevat laitteet", "VLAN x laitteet" jne jolloin on helppo paria kuvaa kurkkaamalla hahmottaa haluamansa asia.

Räkin naamakuvan laitekuvissa on oikeastaan hyöty vasta siinä vaiheessa kun kuvaa tuijottaa joku sellainen henkilö joka ei tiedä kyseisestä räkistä mitään. Voi selittää vaikka puhelimessa että "sellainen laite jossa on 16 porttia, vasemmassa laidassa lukee Cisco ja naama on vähän vihertävä väriltään". Jos tuntee suunnilleen räkin sisällön niin on ihan sama kunhan on edes joku vinkki mistä kohdasta räkkiä kyseinen laite löytyy, oli laitteet esitetty vaikka ihan vaan laatikoina.

Tai hyvä esimerkki työelämästä kun meillä on yleensä hyvä dokumentaatio laitteista: Soitto asiakkaalle (joku mymäläpäällikkö tai infon työntekijä), "löytäisitkö sellaisen laitteen missä lukee oikeassa yläkulmassa InterM ja siinä on paljon nappuloita? Hyvä, siinä alarivillä on rivi säätönuppeja, missä asennossa neljäs vasemmalta on? Hyvä, sen nupin yläpuolella on kaksi kytkintä, niistä pitäsi ylemmän olla painettuna pohjaan ja alemman ylhäällä. Jaa, nappien laittamisella oikeaan asentoon ongelma ratkesi, voisit ottaa kyseisestä laitteesta vaikka kuvan kun nyt kaikki toimii niin osaat laittaa sitten kuvan mukaan säädöt seuraavalla kerralla kohdalleen. Kiitos, hei!"

 

[Algron28]

Saanen esitellä: Köyhän "kuuma-kylmäkäytävä"

Varsinainen tarve tähän tuli siitä että räkin sisällä oli turhan lämmin ja tuulettimet huusi aina täysillä koska kuuma ilma pyöri kaapin sisällä. Nyt siis lisätty poistopuhalline joka on mallia tämä: Kanavapuhallin Vents TT Silent-M 340m3/h ø125mm - Ilmanvaihto Puhaltimessa integroitu nopeuden säätö joka on säädettävällä perusnopeudella muuten mutta lämpötilan noustessa yli tietyn arvon, nopeus kasvaa. On muuten pirun hiljainen puhallin vaikka kyllä se jaksaa myös ilmaakin liikuttaa.

Imu on siis viety kaapin sisään ajatuksella että kuuma ilma imetään kaapista heti pois ja kaappiin sitten virtaa viileämpää ilmaa raoista ja väleistä tilalle. Takaahan tuo musta kaappi on siis auki. Tässä tuon letkun kiinnitys kaapin takana.

Letkun päässä on imukartio jonka perinmäinen tarkoitus on estää putkeen imeytymästä sinne kuulumattomia asioita (siinä on siis verkko edessä). Tuohan puhallinhan parantaa myös muuten ilmastointia. Katossa oleva poistoputki on siis suora rööri katolle ja tässä rakennuksessa ei ole koneellista ilmastointia muutenkaan.

Tässä vielä kuva kaapin takapuolesta. Kaapissa siis rullat alla siirtelyä varten ja kaapeleissa löysää tätä varten.

 

[Pakana]

Onko sulla tuolle jokin termariohjaus, vai hurraako tuo 247?

 

[Algron28]

Onko sulla tuolle jokin termariohjaus, vai hurraako tuo 247?

Hurraa pienellä nopeudella 24/7. Siinä on siis integroituna termari+säädin johdolla.

 

[Algron28]

Juuh elikkäs, se mistä tuosta aikaisemmin puhuin clusteriin liittyen kävi tänään. Käynnistin toisen nodeista uudelleen kun ruuvasin yhden clientin kiintolevy ja ram kokoa ja kun client oli alhaalla niin päätin samalla päivittää noden. No, uudelleen käynnistyksen jälkeen cluster jäi alas eikä sen takia clientit startanneet. systemctl status corosync paljasti että corosync ei ymmärtänyt konffitiedostoa ja sitä kun hetken ihmettelin niin olin tehnyt itse mokan. Eli corosync.conf tiedostoa muokatessa pitää versionumeroa config_version: nostaa yhdellä koska clusteri ottaa korkeimmalla numerolla olevan konffin käyttöön. Olin epähuomiossa viimeksi mennyt hieman alempana olevan version: 2 vaihtamaan tuon config_version sijasta ja ilmeisesti vain 2 on tuettuna tuossa kohtaa. Tuo sama virhe oli kopioitunut myös toiselle nodelle tietenkin mutta koska sitä ei oltu uudelleen käynnistetty niin sen clientit pysyi ylhäällä.

Vaihtelin conffit molempiin koneisiin käsin ja kun corosyncin käynnisti uudelleen niin clusteri heräsi taas henkiin. Alla vielä spoilerissa netistä kaivettu ohje:

Spoileri: Koodia

# stop corosync and pmxcfs on all nodes
$ systemctl stop corosync pve-cluster

# start pmxcfs in local mode on all nodes
$ pmxcfs -l

# put correct corosync config into local pmxcfs and corosync config dir (make sure to bump the 'config_version' inside the config file)
$ cp correct_corosync.conf /etc/pve/corosync.conf
$ cp correct_corosync.conf /etc/corosync/corosync.conf

# kill local pmxcfs
$ killall pmxcfs

# start corosync and pmxcfs again
$ systemctl start pve-cluster corosync

# check status
$ journalctl --since '-5min' -u pve-cluster -u corosync
$ pvecm status

Toinen itseä tympäsevä asia oli että toisessa nodessa on zfs käytössä yhdellä levyllä vain koska yksi netin vaahtosuu ylisti sitä maasta taivaisiin tässä käytössä. Ei siinä muuta, mutta se vain syö oletuksena tarpeettoman paljon RAM muistia ja yhden levy SSD käytössä siitä ei varmasti ole sen ihmeempää iloa. Sitä nyt varmaan ei enää helposti saa vaihdettua.

 

[vesas]

En nyt ole zfs guru mitenkään, mutta eikös tuo yritä ottaa vakiona 50% muistista. ARC limitllä tuon saa suitsittua jos tuntuu että rammille on muutakin käyttöä kuin levydatan puskurointi.

Tämä siis muistinvaraisesti, aiheeseen tutustuin muutama vuosi sitten kun levypalvelin piti kotona pistää uusiksi. Juu, en päätynyt zfs:ään vaan ext4 oli kuitenkin se valinta.

 

[Algron28]

En nyt ole zfs guru mitenkään, mutta eikös tuo yritä ottaa vakiona 50% muistista. ARC limitllä tuon saa suitsittua jos tuntuu että rammille on muutakin käyttöä kuin levydatan puskurointi.

Tämä siis muistinvaraisesti, aiheeseen tutustuin muutama vuosi sitten kun levypalvelin piti kotona pistää uusiksi. Juu, en päätynyt zfs:ään vaan ext4 oli kuitenkin se valinta.

Näin minäkin luin ja kun tuota jotkut kyseenalaistivat että tarviiko se todella sen 50% niin kovasti siellä ammattilaiset heti väitti että ottaa suurta damagea suorituskyvyssä jos laittaa vähemmän. Pitää jossain kohtaa ruuvata pienemmälle. Käyttö ei kuitenkaan ole kirjoitus intensiivistä.