Jäätävä A T K-räpellys (Algron28:n laitetilaprojekti)

Tarkoituksena olisi hommata erääseen proxmoxhostiin 10gbps verkkokortti ja olen katsellut intelin x520:aa, kuitenkin olen ymmärtänyt, että intelin kortit olisivat melko nirsoja käytettävästä sfp-moduulista ja itse ajattelin käyttää dac-kaapeleita, jossa moduuli valmiina. Pitäisikö vaihtaa merkkiä johonkin toiseen hyväksi havaittuun korttiin, vai mennäänkö intelillä. Mitä 10gbps verkkokortteja olette käyttäneet omissa proxmox hosteissanne.
 
Viimeksi muokattu:
@dataaja95 Mitenkäs jos laitat 2kpl 10Gbit/s rj45 lähdöllä olevaa verkkokorttia ja tarvittaessa 1-2kpl SFP+ mediamuunninta ja näihin moduulit? Osa ei oo käsittääkseni tarkkoja noita moduuleista.
 
@dataaja95 Mitenkäs jos laitat 2kpl 10Gbit/s rj45 lähdöllä olevaa verkkokorttia ja tarvittaessa 1-2kpl SFP+ mediamuunninta ja näihin moduulit? Osa ei oo käsittääkseni tarkkoja noita moduuleista.
Tuokin on yksi vaihtoehto, tarkoituksena olisi rakentaa klusteriliikenteelle ja backupliikenteelle oma 10gbps kuituverkko useamman hostin välillle. Mietin vain, eikö tuosta tulisi hirvittävä sillisalaatti, kun aina verkkokortin perässä olisi yksi mediamuunnin, josta jatkettaisiin sfp:nä, tällaista kaapelia tai jotain vastaavaa ajattelin käyttää.
 
Itse vetäisin DACilla, kupari sfp+:t on yllättävän kalliita, DACcikaapeli halpaa ku leipä. Jos ei toimi niin palauttaa.
 
Tarkoituksena olisi hommata erääseen proxmoxhostiin 10gbps verkkokortti ja olen katsellut intelin x520:aa, kuitenkin olen ymmärtänyt, että intelin kortit olisivat melko nirsoja käytettävästä sfp-moduulista ja itse ajattelin käyttää dac-kaapeleita, jossa moduuli valmiina. Pitäisikö vaihtaa merkkiä johonkin toiseen hyväksi havaittuun korttiin, vai mennäänkö intelillä. Mitä 10gbps verkkokortteja olette käyttäneet omissa proxmox hosteissanne.
Muistelen että ainakin toinen käytössä olevista korteista olisi tuo 520-DA2 mutta brändätty IBM:äksi. Olen lukenut kans tuota samaa, mutta jostain muistelen hatarasti että joku kirjoitus oli jossa kerrottiin tuon tarkistuksen tapahtuvan ajuri tasolla eli voi olla että proxmox (linux) käyttämä ajuri ei tuota tee. En muista tarkalleen mitä optiikoita juuri tuossa on käytössä, mutta jotain vaihtoehdoista FTTX Technology tai Finisar
 
Mellanoxia täällä, hyvin toimii ja edullisia eBayssä. ConnectX 3 + DAC-kaapelit.
 
Lainaampa taas törkeästi ketjua, kun täällä näyttää osaajia olevan paikalla. Kysymykseni koskee siis klusterille tulevia verkkoja, tarkoituksena olisi rakentaa proxmox virtualisointiklusteri kolmesta koneesta ja eriyttää virtuaalikoneille, hallinnalle, clustereille ja cephille joka tulee tallennusjärjestelmäksi oma verkkonsa. Klusteriverkolla siksi kaksi interfacea ja kytkintä, koska mikäli olen oikein ymmärtänyt, jos klusteriverkon kytkin hajoaa tai se päivityksentakia esim boottaa homma pysähtyy täysin, mutta entä ceph, olisiko senkin käyttämä ns storageverkko jäärkevää kahdentaa. Tarkoitus mennä siis proxmoxin omalla ceph toteutuksella, miten arvon gurut hoitaisitte homman. Muut verkot paitsi ceph olisivat 1gpbs, cephille tulisi 10gbps interface. Verkkojen eriyttäminen hoidettaisiin perinteisesti vlaneilla, samalla saa huudella jos nurkkiin on jäänyt pyörimään jotain sopivaa 10gbps kytkintä, mikrotikiä hp:tä jne, täällä olisi sille käyttöä.
 
Mitäs tietokantaa ketjun kanssaharrastajat käytätte servereissänne, esim zabbixille, itse mietin mariadb:n vaihtamista postgresqlään.
 
Mitäs tietokantaa ketjun kanssaharrastajat käytätte servereissänne, esim zabbixille, itse mietin mariadb:n vaihtamista postgresqlään.
Zabbixissa on itselläni kotona postgres, samoin kuin duunissakin. Duunissa toisin on postgresin Timescale käytössä ja kotonakin alkaisi olla pakko siihen vaihtaa kun alkaa vakio-postgresissa puhti loppumaan.
 
Zabbixissa on itselläni kotona postgres, samoin kuin duunissakin. Duunissa toisin on postgresin Timescale käytössä ja kotonakin alkaisi olla pakko siihen vaihtaa kun alkaa vakio-postgresissa puhti loppumaan.
Mites tuo postgresqlin timescale eroaa normaalista, oletko löytänyt jotain hyvää migratointityökalua mariadbstä posgresqliin, itsellä siis mariadb vielä osittain käytössä.
 
Pitääpä tässä ohimenen mainita että seuraava iso muutos olisi tulossa kunha..... saa aikaiseksi. Nyt laitteet on siis kahdessa kaapissa jotka selkä seinää vasten. Huono juttu, sillä vaikka servien kaapissa on pyörät niin ei huvita sitä siirrellä virrat päällä ennenkaikkea NAS laitteen kiintolevyjen takia. Tästä syystä ajatuksena on yhdistää nuo kahden kaapin laitteet yhteen korkeampaan kaappiin joka olisi keskemmällä siten että taakse pääsee helposti. Koska tila on aika pieni niin tämän tekeminen käytännössä on vähän vaivalloista mutta eiköhän se tuosta hoidu ajan kanssa.
 
new_rack.jpg


Siitäpä se lähti sano Annikki Tähti. Tarkoitus olisi saada noin suurinpiirtein tälläiseen järjestykseen kaikki siirrettyä:

new_rack3.jpg


Kaapilta vedetty katon kautta kaapeliarina sähkökeskukselle.

new_rack2.jpg


Tasuri on tarkoitus asentaa pieneen seinätelineeseen ja sen akusto pieneen akkutelineeseen jotta eivät vie turhaa tilaa tuolta kaapista. Kaapelimodeemin alle tilasin 1U:n hyllyn kun kaikki hyllyt mitä oli jemmassa oli isompia. pitää vaihtaa kun tulee ja nostaa 1U ylemmäs. Aika hommahan tuossa kaiken siirrossa on mutta ehkä se siitä.
 
Hmmmmm. HPE:n servusta taitaa poweri tehdä kuolemaan. On nyt toisen kerran mystisesti sammunut niin että myös iLO on alhaalla. Powerissa oleva vihreä valo myös sammunut. Viimeksi pari viikkoa sitten kun ihmettelin asiaa luulin että oli joku sähköräpsy käynyt eikä UPS toiminut. Tuolloin heräsi henkiin kun käytti vitajohdon irti. Oli hankala diagnosoida kun iLO logissa ei näkynyt mitään. Tuossa ei siis ole kahdennettua virtalähdettä mutta pitää miettiä pitäisikö hommata toinen (paikka on siis suoraan valmiina laitteessa). Noh, tilasin nyt uuden poweri varuiksi. Toivotaan että tuo on se ongelma.
 
Hmmmmm. HPE:n servusta taitaa poweri tehdä kuolemaan. On nyt toisen kerran mystisesti sammunut niin että myös iLO on alhaalla. Powerissa oleva vihreä valo myös sammunut. Viimeksi pari viikkoa sitten kun ihmettelin asiaa luulin että oli joku sähköräpsy käynyt eikä UPS toiminut. Tuolloin heräsi henkiin kun käytti vitajohdon irti. Oli hankala diagnosoida kun iLO logissa ei näkynyt mitään. Tuossa ei siis ole kahdennettua virtalähdettä mutta pitää miettiä pitäisikö hommata toinen (paikka on siis suoraan valmiina laitteessa). Noh, tilasin nyt uuden poweri varuiksi. Toivotaan että tuo on se ongelma.
Ja powerihan se oli. Kun vaihtoi uuden tilalle niin jo alkoi toimia ja on nyt pari päivää pyörinyt hyvin. Koska serveri oli joka tapauksessa alhaalla niin siiretlin sen nyt tuohon uuteen kaappin samalla. Oikeastaan vanha musta kaappi on tyhjä ja pitäisi purkaa pois.
 
Ja powerihan se oli. Kun vaihtoi uuden tilalle niin jo alkoi toimia ja on nyt pari päivää pyörinyt hyvin. Koska serveri oli joka tapauksessa alhaalla niin siiretlin sen nyt tuohon uuteen kaappin samalla. Oikeastaan vanha musta kaappi on tyhjä ja pitäisi purkaa pois.
Hienoa että ongelma selvisi. Nuo poweriongelmat on välillä tuskaisia selvittää. Meilläkin oli duunissa yhdessä serverissä aikanaan mystisiä ongelmia, oli sellainen toissijainen serveri jonka poweria ei aiemmin ollut kahdennettu mutta rupesimme ihmettelemään kun se satunnaisesti boottaili eikä oikein mihinkään lokiin jäänyt mitään muuta kuin "laite on bootattu". Kyseisessä laitetilassa oli useampia sähkönsyöttöjä ja jostain syystä juuri meidän tuon yhden serverin syöttö pätki mutta siinä olevaa ongelmaa ei oltu aiemin huomattu kun kyseinen syöttö syötti VAIN meidän tuota serveriä jossa oli vain yksi poweri. Kun tuohon laitettiin toinen poweri joka otti sähkönsä kokonaan toisesta keskuksesta tuo yhden syötön ongelma kävi ilmi ja sekin on nyt korjattu.

Perimmäisenä vikana oli siis viallinen 3-vaihe-UPS jonka yhden vaiheen lähdössä oli joku vika (komponenttivika / kylmäjuotos / joku muu) että joskus satunnaisesti se kolmannen vaiheen lähtö räpsähti jonkun sekunnin osan verran poikki ja serveri boottasi. Räpsy oli niin nopea että UPSin oma kuormanvalvonta ei kerinnyt tuota huomaamaan mutta serveri kuitenkin kerkisi kippaamaan siinä ajassa. Tuo oli siis uusi UPS-laite eikä sen tuohon vaiheeseen oltu vielä keritty muuta kuormaa laittaa joten tuo diagnosointi ei ollut ihan simppeliä kun tottakai oletti että kun muissa vaiheissa ei mitään räpsyjä näkynyt niin tuo kolmaskin olisi ollut kunnossa.
 
Hienoa että ongelma selvisi. Nuo poweriongelmat on välillä tuskaisia selvittää. Meilläkin oli duunissa yhdessä serverissä aikanaan mystisiä ongelmia, oli sellainen toissijainen serveri jonka poweria ei aiemmin ollut kahdennettu mutta rupesimme ihmettelemään kun se satunnaisesti boottaili eikä oikein mihinkään lokiin jäänyt mitään muuta kuin "laite on bootattu". Kyseisessä laitetilassa oli useampia sähkönsyöttöjä ja jostain syystä juuri meidän tuon yhden serverin syöttö pätki mutta siinä olevaa ongelmaa ei oltu aiemin huomattu kun kyseinen syöttö syötti VAIN meidän tuota serveriä jossa oli vain yksi poweri. Kun tuohon laitettiin toinen poweri joka otti sähkönsä kokonaan toisesta keskuksesta tuo yhden syötön ongelma kävi ilmi ja sekin on nyt korjattu.

Perimmäisenä vikana oli siis viallinen 3-vaihe-UPS jonka yhden vaiheen lähdössä oli joku vika (komponenttivika / kylmäjuotos / joku muu) että joskus satunnaisesti se kolmannen vaiheen lähtö räpsähti jonkun sekunnin osan verran poikki ja serveri boottasi. Räpsy oli niin nopea että UPSin oma kuormanvalvonta ei kerinnyt tuota huomaamaan mutta serveri kuitenkin kerkisi kippaamaan siinä ajassa. Tuo oli siis uusi UPS-laite eikä sen tuohon vaiheeseen oltu vielä keritty muuta kuormaa laittaa joten tuo diagnosointi ei ollut ihan simppeliä kun tottakai oletti että kun muissa vaiheissa ei mitään räpsyjä näkynyt niin tuo kolmaskin olisi ollut kunnossa.
Joo, sellaiset ongelmat jotka ei missään logeissa näy on hankalia. Tuohan sinäänsä oli jollain tavalla helppo arvata koska serverin ei koskaan pitäisi sammua niin pahasti että edes iLO ei toimi. Toki ei voi laadusta tuota poweria kehua sillä se kuitenkin kesti vain pari vuotta. Kyseessä siis 500W HPE flex slot joten melko "standarti kamaa" HPE:n servereissä. PItää varmaan jossain vaiheessa tilata toinen poweri niin on kahdennettu ja jatkossa ei powerin vika aiheuta koko serverin sammumista.
 
Nyt on ollut aika hiljaista koska köyhä™. Viime vuonna valmistui talonyhtiön iso remontti ja tässä on nyt sitä makseltu pois.

Tosin, tässä hetki sitten hajosi hallintaverkon Huawein kytkimestä 2x10G kortti josta on mennyt hallintaverkon yhteydet proxmox VM:lli niin piti kaivaa kuvetta ja tilasin Mikrotik CRS309-1G-8S+. Pääsepähän nyt kokeilemaan miltä tuo mikrotik tuntuu. Samalla saa nyt nyt siistittyä vielä kaapin vaihdon jäljiltä vähän epäsiistiksi jäänyyttä kaappia.

Olisihan tuossa listalla noita uusimisia, mutta lähinnä se on rahasta ollut kiinni:

- NAS, nykyinen alkaa olla täynnä + ikä (tämä on osittain odottanut että saa kytkimen jossa enemmän 10G portteja, nykyiset on olleet kaikki käytössä noille oleville servereille)
- Edgerouterit haluttaisi vaihtaa jollain aikataululla pois sillä niiden tulevaisuus päivitysten yms osalta on keskipitkällä aikavälillä vähän epävarma. Pitää katsoa minkälainen tuo Mikrotik on ja olisiko siitä korvaajaksi.
- LTE modeemi -> 5G aikaan. Haluttaisi hommata se Teltonikan purkki sillä siitä saisi myös lokaalin NTP palvelimen joka synkkaa GPS:ssään
- Laitetila <-> asunnon välisen modeemiyhteyden päivitys G.fast aikaan jotta väli saadaan nopeammaksi.
 
Noniin, tässä on viikonloppu ihmetelty Mikrotikkiä. Ensivaikutelma sen perusteella on että maine hankalasti lähestyttävästä pitää osittain paikkaansa.

Koska verkonhallinnan normikone on Linux niin en jaksanut alkaa värkkäämään Winboxia, jolla Mikrotikkejä voi hallita graafisesti, toimintaan vaan päätin reippaasti turvautua perinteiseen sarjaportti konsoliin. How hard can it be.

Noh, ei se ihan suoraviivaista ollut. Mikrotikin routerOS:sä näkee selvästi sen historian että softaa on aikanaan tekemään nimenomaan reitittimen pohjalta. Oletus tunti siis vahvasti olevan että jokainen interface on aina L3-interface. Käyttö L2 kytkimenä siis tapahtuisi siltauksen kautta joka sinäänsä ei ole mitenkään poikkeuksellista reitittimissä. Tuo Mikrotikin CLI ei vain oikein tunnu loogiselta käyttää ja ilmeisesti routerOS V6. ka V7 välillä tuohon on tehty vielä jotain muutoksia toimintaperiaatteisiin ja ulkonäköön (mm että ? on korvaantunut F1 painikkeella joka ainakin omasta mielestä on typerää). Mitään erillistä konffaus ja käyttö tilaa ei ole eikä koko laitteen configuraatiota nähnyt mitenkään helposti (tyyliin display current-configuration tms".

Toinen mikä hämäsi pitkään oli tämä:

Mikrotikin ja monen muun ohjeessa varmennetaan onnistunut VLANien konffaus bridgeen alla olevalla komennolla.
1710090708306.png



MUTTA, itsellä se ei näyttänyt yhtään interfacea tuossa. Pariin kertaan konffin tyhjäyksen ja uudelleen teon jälkeen selvisi että kun print komento näyttää vain current-tagged ja current untagged joissa näkyy siis protokola tasolla ylhäällä olevat porit. Minun olisi siis pitänyt käyttää print detail komentoa että näkisi kaikki vlan taulukossa olevat portit. Tätä toki vielä vaikeutti se että koko laitteen konffeja ei CLI:n kautta saanut helposti näkyviin. Koska laite oli minulla työpöydällä etukäteen konffittavana niin siinä ei tietenkään ollut yhtään portti ylhäällä.

Alla olevassa kuvassa kytkimessä on siis kaikki VLAN 2 portit ylhäällä paitsi SFP-SFPPLUS8

1710091073801.png


Koska VLANien lisäksi toinen asia mikä piti saada konffittua oli etähallinta päätin katsastaa web-hallinnan joka laitteesta löytyy. Se matkii ulkoasultaan winboxia. Ohjelmiston päivitys verkon yli olisi onnistunut parilla napin painalluksella mutta koska hallinta IP oli oletus osoite ja toisaalta taas siellä missä konffasin ei ollut pääsyä lopulliseen hallintaverkkoon niin ajattelin että päivitys offlinena ei voi olla kovin vaikea. Noh, eihän se tavallaan ollutkaan. Ihmettelin pitkään että mistä valikosta se pitää tehdä mutta sitten selvisikin että riittää kun softapaketin lataa laitteen sisäiseen muistiin ja sitten vain...... käynnistää uudelleen laitteen niin se päivittyy itsekseen. Omasta mielestä vähintäänkin outo tapa suorittaa offline päivitys.

Konffien ihmettely webhallinan kautta tuntui paljon loogisemmalta kuin CLI joten ei ihme että monissa tutorial videoissa asiat sitä kautta tehdäänkin. Mikrotikin oma dokumentaatio taas näyttäisi poikkeuksetta käyttävän CLI-tapaa. Lisäksi ilmeisesti monia asioita on useampi eri tapa konffia jotka toimii joka omasta mielestä on huono asia ja aiheuttaa vain tarpeetonta sekavuutta varsinkin jos pengot jonkun muun konffaamaa laitetta joka on konffattu juuri niinkuin et itse ruukka konffia.

Kirjoittelen lisää ja postaan koko konffin kun saan asennuksen viimeisteltyä.
 
Noniin, tässä on viikonloppu ihmetelty Mikrotikkiä. Ensivaikutelma sen perusteella on että maine hankalasti lähestyttävästä pitää osittain paikkaansa.

Koska verkonhallinnan normikone on Linux niin en jaksanut alkaa värkkäämään Winboxia, jolla Mikrotikkejä voi hallita graafisesti, toimintaan vaan päätin reippaasti turvautua perinteiseen sarjaportti konsoliin. How hard can it be.

Noh, ei se ihan suoraviivaista ollut. Mikrotikin routerOS:sä näkee selvästi sen historian että softaa on aikanaan tekemään nimenomaan reitittimen pohjalta. Oletus tunti siis vahvasti olevan että jokainen interface on aina L3-interface. Käyttö L2 kytkimenä siis tapahtuisi siltauksen kautta joka sinäänsä ei ole mitenkään poikkeuksellista reitittimissä. Tuo Mikrotikin CLI ei vain oikein tunnu loogiselta käyttää ja ilmeisesti routerOS V6. ka V7 välillä tuohon on tehty vielä jotain muutoksia toimintaperiaatteisiin ja ulkonäköön (mm että ? on korvaantunut F1 painikkeella joka ainakin omasta mielestä on typerää). Mitään erillistä konffaus ja käyttö tilaa ei ole eikä koko laitteen configuraatiota nähnyt mitenkään helposti (tyyliin display current-configuration tms".

Toinen mikä hämäsi pitkään oli tämä:

Mikrotikin ja monen muun ohjeessa varmennetaan onnistunut VLANien konffaus bridgeen alla olevalla komennolla.
1710090708306.png



MUTTA, itsellä se ei näyttänyt yhtään interfacea tuossa. Pariin kertaan konffin tyhjäyksen ja uudelleen teon jälkeen selvisi että kun print komento näyttää vain current-tagged ja current untagged joissa näkyy siis protokola tasolla ylhäällä olevat porit. Minun olisi siis pitänyt käyttää print detail komentoa että näkisi kaikki vlan taulukossa olevat portit. Tätä toki vielä vaikeutti se että koko laitteen konffeja ei CLI:n kautta saanut helposti näkyviin. Koska laite oli minulla työpöydällä etukäteen konffittavana niin siinä ei tietenkään ollut yhtään portti ylhäällä.

Alla olevassa kuvassa kytkimessä on siis kaikki VLAN 2 portit ylhäällä paitsi SFP-SFPPLUS8

1710091073801.png


Koska VLANien lisäksi toinen asia mikä piti saada konffittua oli etähallinta päätin katsastaa web-hallinnan joka laitteesta löytyy. Se matkii ulkoasultaan winboxia. Ohjelmiston päivitys verkon yli olisi onnistunut parilla napin painalluksella mutta koska hallinta IP oli oletus osoite ja toisaalta taas siellä missä konffasin ei ollut pääsyä lopulliseen hallintaverkkoon niin ajattelin että päivitys offlinena ei voi olla kovin vaikea. Noh, eihän se tavallaan ollutkaan. Ihmettelin pitkään että mistä valikosta se pitää tehdä mutta sitten selvisikin että riittää kun softapaketin lataa laitteen sisäiseen muistiin ja sitten vain...... käynnistää uudelleen laitteen niin se päivittyy itsekseen. Omasta mielestä vähintäänkin outo tapa suorittaa offline päivitys.

Konffien ihmettely webhallinan kautta tuntui paljon loogisemmalta kuin CLI joten ei ihme että monissa tutorial videoissa asiat sitä kautta tehdäänkin. Mikrotikin oma dokumentaatio taas näyttäisi poikkeuksetta käyttävän CLI-tapaa. Lisäksi ilmeisesti monia asioita on useampi eri tapa konffia jotka toimii joka omasta mielestä on huono asia ja aiheuttaa vain tarpeetonta sekavuutta varsinkin jos pengot jonkun muun konffaamaa laitetta joka on konffattu juuri niinkuin et itse ruukka konffia.

Kirjoittelen lisää ja postaan koko konffin kun saan asennuksen viimeisteltyä.
Mikrotikit omanlaisiaan konffattavia, mutta kun noiden kanssa pääsee sinuiksi niin loistavia laitteita kyllä mielestäni. Tuossa tutkiskelin heidän tarjontaansa ja tunkkaajille näyttäisi löytyvän oikein kiva aihio 5G purkin rakentamiseen, teltonika myös toki hyvä vaihtoehto. Itse myös ihmettelin pitkään vlanissa olevien porttien näkymistä, mutta print detail komennon kautta nuo löytyvät, toisaalta miksi noita ei voida näyttää suoraan print komennolla, näitä routeros:n outouksia. Ilmeisesti useampi tapa konffata asioita johtuu mikrotikin käyttämistä kytkinsiruista ja eri laitekonfiguraatioista, joka tuo sitten painolastia käyttöjärjestelmään. TOsiaan jokin näytä koko laitteen konfiguraatio olisi mukava ominaisuus, jos konffaat jonkun toisen säätämää laitetta homma menee etsimiseksi sieltä ja täältä.
 
@Algron28
Winboxista julkaistiin juuri versio 4.0 ja softan saa vihdoinkin linuxille, helpottaa hieman teikäläisen tutustumista mikrotikkiin
 
@Algron28
Winboxista julkaistiin juuri versio 4.0 ja softan saa vihdoinkin linuxille, helpottaa hieman teikäläisen tutustumista mikrotikkiin
Kiitos tiedosta, tuli asennettua kun löytyi näppärästi Flathubista. Musta teema on kiva uudistus, muuten ei mitään positiivisia huomioita vielä. Ulkoasu ja valikoiden muotoilu muuttui sen verran että pari sessiota menee varmaan ennenkuin alkaa selkäranka löytämään oikeaan kohtaan. Tähän asti menty Windows versiolla Winen kautta.
 

Statistiikka

Viestiketjuista
258 278
Viestejä
4 486 107
Jäsenet
74 132
Uusin jäsen
Jaakko0000000

Hinta.fi

Back
Ylös Bottom