zabbix sekä muut monitorointiratkaisut

[dataaja95]

Eli siirretään tuo keskustelu monitorointiratkaisuista tänne tuolta toisesta ketjusta. Itse tässä pystyttelen zabbixia ja ongelmalliseksi on muodostunut agenttien yhdistäminen serveriin. Linuxagentin konffissa lukee seuraavaa
Server=192.168.1.1 eli zabbixserverin ip
ServerActive=192.168.1.1
hostname=clientinhostname
failin loppuun olen lisännyt
TLSAccept=unencrypted
lisään normaalisti hostin zabbixiin ja määrittelen interfaceksi zabbix agentin sekä salaustasoksi unencrypted, sekää clientin ip:n ja hostnamen. Silti zabbixin dashboardi huutelee joidenkin hostien olevan not unavailable tilassa, ainut hosti miltä tällähetkellä saadaan luettua dataa on zabbix serverin oma agentti. Mitenköhän tätä ongelmaa voisi lähteä ratkomaan.

 

[tohtori-no]

eihän sisäverkossa ole 10050 ja 10051 portit blokattu? agenttien liikenne kulkee noita pitkin. Kannattaa varmasti katsoa logitiedostot sekä agentin ja serverin päästä nyt aluksi. Onko agentti tai serveri ajossa kontissa? ja portit mapattu oikein? Käy läpi ne logit nyt ihmeessä siellä näkyy kyllä tietoja jos ei jompi kumpi löydä toista tai jotain muuta ongelmaa on.

 

[dataaja95]

eihän sisäverkossa ole 10050 ja 10051 portit blokattu? agenttien liikenne kulkee noita pitkin. Kannattaa varmasti katsoa logitiedostot sekä agentin ja serverin päästä nyt aluksi.

nyt sallin 10050 sekä 10051 portit sekä agenteilta ja serveriltä ja hostit näkyvät tilassa Unknown.
ja edittiä, homma lähti toimimaan lisäämällä hosteille template zabbix server, en tuota aijo vakiona käyttää, mutta nyt hostit näkyvät tilassa available, olisiko tuohon zabbix server ryhmään lisätty joku itemi joka pingailee hosteja säännöllisesti? Nyt vaan kovaa konffia, eiköhän homma tästäläähde toimimaan. Zabbixin logijäärjestelmää kyllä pakko kehua, uskomattoman informatiiviset logit serverillä ja klientillä mitä tutkinut. Eli virallinen käyttöönotto siis alkakoon. Miten zabbix vertautuu nagiokseen sun muihin monitorointiratkaisuihin?

 

[tohtori-no]

nyt sallin 10050 sekä 10051 portit sekä agenteilta ja serveriltä ja hostit näkyvät tilassa Unknown.
ja edittiä, homma lähti toimimaan lisäämällä hosteille template zabbix server, en tuota aijo vakiona käyttää, mutta nyt hostit näkyvät tilassa available, olisiko tuohon zabbix server ryhmään lisätty joku itemi joka pingailee hosteja säännöllisesti? Nyt vaan kovaa konffia, eiköhän homma tästäläähde toimimaan. Zabbixin logijäärjestelmää kyllä pakko kehua, uskomattoman informatiiviset logit serverillä ja klientillä mitä tutkinut. Eli virallinen käyttöönotto siis alkakoon. Miten zabbix vertautuu nagiokseen sun muihin monitorointiratkaisuihin?

meinasin kysyä että kai olet templaten määritellyt sille logitettavalle hostille, ei se muuten osaa mitään lukea sieltä oletin että templaten tietenkin määritellyt kun tuo on oleellisin osa tuota zabbixia. Työssä molempia käytössä mutta zabbix pääasiallinen työkalu valvontaan.

 

[Hyrava]

nyt sallin 10050 sekä 10051 portit sekä agenteilta ja serveriltä ja hostit näkyvät tilassa Unknown.
ja edittiä, homma lähti toimimaan lisäämällä hosteille template zabbix server, en tuota aijo vakiona käyttää, mutta nyt hostit näkyvät tilassa available, olisiko tuohon zabbix server ryhmään lisätty joku itemi joka pingailee hosteja säännöllisesti? Nyt vaan kovaa konffia, eiköhän homma tästäläähde toimimaan. Zabbixin logijäärjestelmää kyllä pakko kehua, uskomattoman informatiiviset logit serverillä ja klientillä mitä tutkinut. Eli virallinen käyttöönotto siis alkakoon. Miten zabbix vertautuu nagiokseen sun muihin monitorointiratkaisuihin?

Laita vaikka "Template OS Linux" alkajaisiksi niille hosteille templateksi, sillä tulee kivasti perusjutut hosteilta.

Ja tosiaan, kun muuttaa agentin konffaa niin pitää muistaa restartata se agentti että muutokset astuu voimaan. Itselläkin on pari kertaa unohtunut ja hetken on ihmetellyt miksi ei toimi. Ja agentin konffassa oleva hostin hostname (itse käytän hostin IP:tä jos on kiinteä IP) pitää olla zabbixissa tismalleen samalla tavalla kirjoitettu, muuten serveri hylkii.

Tosiaan, kannattaa opetella kurkkaamaan sitä /var/log/zabbix/zabbix_server.log -tiedostoa (ja vastaavasti agentin lokia), sieltä näkee aika kivasti mikä on pielessä.

Aluksi saattaa kyllä hetken olla vähän hukassa tuon toimintalogiikan kanssa mutta helpompi tuo zabbix on konffata kuin joku nagios, icinga tai moni muu.

 

[kya]

Kannattaa tsekkaa myös Prometheus + Grafana. Tällä hetkellä tuntuu olevan ”de facto”-ratkaisu monitorointiin.

 

[dataaja95]

Kannattaa tsekkaa myös Prometheus + Grafana. Tällä hetkellä tuntuu olevan ”de facto”-ratkaisu monitorointiin.

Minkäslainen tuo prometheus on verrattuna esim zabbixiin, grafanalla kaiketi saa piirrettyä kivoja käppyröitä.

 

[kya]

Omaan makuun huomattavasti joustavampi ja community-meininki vilkasta, joten valmista esimerkkiä löytyy melkein jokaiseen use caseen. Grafana on tosiaan ”vain” UI-kerros.

 

[Hyrava]

Pystyykö tuolla Prometheuksella käsittelemään lokitiedostojen dataa tai eri laitteilta tulevaa tekstimuotoista dataa? Mulla on ainakin tähän asti ollut sellainen käsitys että tuo Prometheus tykkää enemmän pelkästään numeerisesta datasta ja ilmeisesti tuo datan nouto on sillä vähän erilaista. Ilmeisesti siinä pitää käyttää jotain push-palikkaa välissä että saa työnnettyä dataa siihen? Itselläni zabbixiin tosiaan tulee paljon tavaraa ihan jonkun laitteessa tapahtuvan eventin seurauksena että laite työntää tiedon serverille eikä serveri pollaa kyseisiä asioita.

Itselläkin tosiaan Grafana on visualisoimassa dataa, zabbixin omat graafit ovat vähän alkeellisia.

 

[kya]

Prometheus ei ole logienhallintaratkaisu, ainoastaan monitorointiratkaisu. Prometheus on pollaava, eli Prometheus kysyy itse datan. Mikäli haluaa hyödyntää Grafanaa myös logien kanssa, kannattaa tsekata Loki.

 

[Hyrava]

Eli edelleen omaan käyttöön zabbix on käyttökelpoisempi kun sillä saa parista lokista luettua asioita. Eri asia olisikin jos kaikista laitteista ottaisin kaikki lokit johonkin keskitetysti jolloin varmaan joku Grafana Loki tai vastaava olisi niiden osalta fiksumpi.

No, noilla Prometheus, Loki ja Zabbix on vähän eri kohderyhmä, itselläni tulee sekä kotona että töissä hyvinkin erilaisia tietoja eri järjestelmistä eri reittejä sekä pushattuna että pollattuna johon zabbix on omiaan. Jos tarve olisi pelkästään noutaa jotain (numeerista) dataa joistakin kohteista niin Prometheus varmaan olisi parempi.

 

[Jonees]

Käyttääkö kukaan täällä Check_MK:ta? Mielestäni hyvä vaihtoehto Zabbixille (tosin ei siinäkään mitään vikaa ole, hyvä softa)

 

[Ruohonjuuri]

Grafana osaa myös käyttää Zabbixia datalähteenä plugarin kautta. Eli sellainenkin vaihtoehto jos haluaa silmäkarkkia lisää valvontagraafeihin.

 

[dataaja95]

Lisäilen tässä juuri meilihälytyksiä zabbixiin, pitääkö actioniksi laittaa koko triggeri vai riittääkö pelkästään triggerin nimi. Veikkaan että pelkkä triggerin nimi riittää, muutenhan jokaista actionia jouduttaisiin käsin muuttamaan jos triggeriin tehtäisiin muutos.

 

[Hyrava]

Actioniin voi laittaa ihan vaan osan triggerin nimestäkin tyyliin "triggerin nimi sisältää 'update'" jolloin kyseinen action toteutuu aina kun joku trigger jonka nimessä on jossain kohti 'update', esimerkiksi 'Non-critical updates' tai 'Security updates'. Samoin pystyy tekemään actionin missä mikä tahansa jonkun tietyn host groupin trigger aikaansaa viestin lähetyksen. Sama host voi olla useammassa groupissa joten tuollakin voi kivasti ryhmitellä noita hälytyksiä.

 

[dataaja95]

hmmm, ei tunnut tuo hyravan linkkaama apt updateskripti toimivan. Minkäänlaisia sähköpostiilmoituksia ei tule päivityksistä. Pystynkö jostain tarkistamaan onko tuota päivitysskriptiä hosteille ajettu ja ovatko triggerit aktivoituneet.

 

[Hyrava]

hmmm, ei tunnut tuo hyravan linkkaama apt updateskripti toimivan. Minkäänlaisia sähköpostiilmoituksia ei tule päivityksistä. Pystynkö jostain tarkistamaan onko tuota päivitysskriptiä hosteille ajettu ja ovatko triggerit aktivoituneet.

Eli olet myös laittanut hosteille sen /etc/zabbix/zabbix_agentd.conf.d/apt.conf -tiedoston ja määritellyt että apt päivittää pakettilistansa automaattisesti? Noihin on ohjeet siellä zabbix sharessa. Näiden lisäyksen jälkeen pitää zabbix-agent käynnistää uudestaan.

Ja olet lisänyt ne apt:ia koskevat itemit ja triggerit zabbixin päässä hosteille? Taisi tulla valmis template jonka vaan liittää.

Näkyvätkö päivitykset edes zabbixin dashboardilla? Jos ei, niin noissa edellämainituissa on jotain vikaa. Jos näkyy, niin omissa ilmoitusten lähetysasetuksissa on vikaa. Jos päivitykset ei näy edes dashboardissa niin kun menet hostin itemiä katsomaan niin oikeassa laidassa on joku huutomerkki tms ja siihen kun laittaa hiiren päälle niin se näyttää virheilmoituksen.

apt.conf näyttää ainakin itselläni tältä:

UserParameter=apt.security,apt-get -s upgrade | grep -ci ^inst.*security | tr -d '\n'
UserParameter=apt.updates,apt-get -s upgrade | grep -iPc '^Inst((?!security).)*$' | tr -d '\n'
UserParameter=apt.reboot,if [ -f /var/run/reboot-required ]; then echo "1"; else echo "0"; fi

Noita tiedostossa olevia rivejä voit ihan konsolista kokeilla, copypasteat sieltä omasta apt.conf -tiedostostasi komentoriville pilkusta eteenpäin olevan osuuden rivistä ja sen pitäisi antaa vastaukseksi jonkun numeron. Jos komento herjaa jotain niin sitten on jotain siinä tiedostossa tai hostin asetuksissa pielessä.

edit:
Tuossa näyttääkin tuo kolmas rivi olevan minun itseni lisäämä, tuolla saa tiedon vaatiiko kyseinen hosti reboottia päivitysten asennuksen (tai mahdollisesti jonkun muun syyn) takia.

 

[dataaja95]

ei kun hetkinen, käyttääkö tuo apt update aktiivista agenttia vai pyöriikö passiivisena. Klientin konffifailista puuttuivat psk:n asetukset joten ei ihme jos palvelimeen ei saatu yhteyttä. Eiköhän tämä lähde toimimaan. Actionissa joka ilmoittaa meilillä päivityksistä on triggerin nimi kirjoitettu muotoon 'updates'. Vaatiiko aina action heittomerkit, vai riittääkö pelkkä updates.

 

[Hyrava]

Itselläni ei näytä olevan heittomerkkejä:

Conditions

Label	Name	Action
A	Trigger name contains update

 

[dome]

Ja tosiaan, kun muuttaa agentin konffaa niin pitää muistaa restartata se agentti että muutokset astuu voimaan. Itselläkin on pari kertaa unohtunut ja hetken on ihmetellyt miksi ei toimi. Ja agentin konffassa oleva hostin hostname (itse käytän hostin IP:tä jos on kiinteä IP) pitää olla zabbixissa tismalleen samalla tavalla kirjoitettu, muuten serveri hylkii.

Zabbix agentti käyttää käyttöjärjestelmälle määriteltyä hostnamea jos kyseisen parametrin jättää asettamatta. Hostname on myös merkityksetön agentin konffissa jos käytetään passive itemeitä, eli zabbix serverin pollatessa agentilta tietoja. Active itemeissä, eli agentin lähettäessä datan serverille hostnamen pitää olla identtinen serverin pään hostin määrittelyn kanssa.

 

[dataaja95]

Olisi tarkoitus muutella zabbixin triggerien arvoja hieman järkevämmäksi, nyt varoittaa jo levyn täyttöasteesta hieman liian aikaisin ja mukava olisi tuota päästä muuttamaan. Triggereissä ei vain näytä olevan minkäänlaista prosenttilukua tälle, miten nuo oikein siis toimivat?

 

[zepi]

Olisi tarkoitus muutella zabbixin triggerien arvoja hieman järkevämmäksi, nyt varoittaa jo levyn täyttöasteesta hieman liian aikaisin ja mukava olisi tuota päästä muuttamaan. Triggereissä ei vain näytä olevan minkäänlaista prosenttilukua tälle, miten nuo oikein siis toimivat?

Templatessa / serverwide asetuksissa on macro, joka määrittää sen alert limitin. Voit overridettää sen template tasolla.

Jos haluat muutoksen vain osaan agenteista, niin luo uusi template joka inheritoi perustemplaten ja ylikirjoittaa vain tuo macron. Sen jälkeen swappaat haluamiltasi agenteilta (host groups/grouping on tähän kova) templaten uuteen ja rokki soi.

Triggerin määrityksessä on kyllä se macron nimi muistaakseni aaltosuluilla malliin {disk_low_alarm_threshold}

 

[dataaja95]

Yritän tässä saada zabbixin meilialertteja toimimaan. Zabbixin testimeili lähtee ok eli palvelin on oikein jne mutta silti minkäänlaisia hälytyksiä esim päivitystriggeristä ei tule. Data ja päivitykset näkyvät oikein dashboardilla eli vika on ilmeisesti tässä meiliactionissa.

 

[dome]

Yritän tässä saada zabbixin meilialertteja toimimaan. Zabbixin testimeili lähtee ok eli palvelin on oikein jne mutta silti minkäänlaisia hälytyksiä esim päivitystriggeristä ei tule. Data ja päivitykset näkyvät oikein dashboardilla eli vika on ilmeisesti tässä meiliactionissa.

Miltä näyttää määritykset Configuration -> Actions -> Email? Käyttäjällä mille ilmoitukset lähtee (admin/administrators group oletuksena) on varmaankin määritettynä email media type ja haluttu osoite, sekä triggereiden severity taso mistä ilmoitukset lähtee? Nuo löytyy Administration -> Users -> Käyttäjä -> Media välilehti.

Pähkinänkuoressa siis noiden notifikaatioiden osalta on muutama paikka mitkä pitää olla määritettynä, että mitään ilmoituksia lähtee:

- Administration -> Media type, määritellään itse media mitä kautta notifikaatiot lähetetään.
- Configuration -> Actions, määritellään missä tilanteissa notifikaatioita lähetetään, millä tavalla, missä muodossa ja kenelle.
- Administration -> Users -> Käyttäjä -> Media, määritellään millä media typeillä ja mihin kohdeosoitteisiin kyseiselle käyttäjälle lähetetään notifikaatioita, mihin aikoihin ja minkä tasoisista triggereistä.


--

Tuohon triggereiden hälytysarvoon suosittelen context macroja, eli käytännössä voit macrolla tehdä myös mountpoint kohtaisia hälytysarvoja sen sijaan, että ne käyttäisivät geneerisiä macroja. Itse olen muokannut tuota default linux OS templatea ja sen mounted filesystem discoveryn trigger prototypejä näin:

{Template OS Linux:vfs.fs.size[{#FSNAME},pfree].last(0)}<{$DISK_USAGE_HIGH:"{#FSNAME}"}

Eri triggereille ja hälytysarvoille toki omansa. Näin templatessa voidaan määritellä geneerinen hälytysraja macrolla, esimerkiksi {$DISK_USAGE_HIGH} ja arvo vaikka 10 (eli >90% usage hälyttää). Jos jollain tietyllä koneella haluan vaikkapa että /data mountpointin hälytysarvo onkin jo 30% niin lisään ko. hostille macron {$DISK_USAGE_HIGH:"/data"} ja arvon 30. Tämä yliajaa tuon templatesta tulevan hälytysarvon kyseisen mountpointin osalta.

 

[dataaja95]

Mielenkiintoista, näemmä meilieventit lähtivät toimimaan pienen odottelun jälkeen. Ilmoittelee kauniisti zabbixserverin muistin loppumisesta ja cpu näyttää käyneen korkeissa lukemissa illalla ON tää vaan loistava järjestelmä, nyt verkon kaikille koneille vaan zabix tulille ja säätämään templatet kohdilleen. Jos hyviä vinkkejä tai templateja tulee mieleen tai mitä vaan niin saa laittaa ehdottomasti tähän ketjuun.. Olisikohan tuosta dna:n kaapelimodeemista, joku sagencom mahdollista saada ulos snmp:llä jotain dataa. Purkissa näyttää joku dna:n customfirmis olevan. Mikrotikin kytkimeltä näyttää saavan snmp:llä ulos muistin käytön jne tiedot ja varoittelikin kytkimen flashmuistin loppumisesta. Tekeekö tuo zabbix öisin jonkinlaisia huoltoeventtejä, esim tällainen hälytys odotteli meilissä

Problem started at 22:55:07 on 2021.05.13
Problem name: Zabbix alert manager processes more than 75% busy
Host: Zabbix server
Severity: Average
Operational data: 98.55 %
Original problem ID: 508

tämä template siis käytössä mikrotikille

Mikrotik monitoring and integration with Zabbix

www.zabbix.com

 

[Hyrava]

Zabbix oletuksena siivoilee vanhoja, tarpeettomia juttuja pois tunnin välein housekeeperillä eikä taida oikein muuta omin päin tehdä.

Tuo Alert manager -prosessin kiireisyyshälytys taitaa viitata siihen että sulla on niin paljon hälytyksiä sieltä lähdössä että hälytysten lähetys alkaa ruuhkautua. Kannattaa vähän kurkkailla sieltä zabbixin screeneistä zabbix-serverin suorituskykyarvoja ja käydä serverin konffifileestä säätämässä pollereiden ja managereiden määrää jos tuollaisia busy-viestejä alkaa tulla enemmänkin. Tai sitten sulla vaan on liian kevyttä rautaa serverillä.

Siitä vaan kokeilemaan snmpwalkilla tuleeko sieltä sagemcomista mitään ulos ja siitä sitten rakentelemaan jos tulee. Toinen vaihtoehto tietty on, jos sieltä näkee jotain arvoja selainkäyttöliittymän kautta niin voit ottaa http-itemillä ja dependent itemeillä sen purkin www-sivusta arvoja zabbixiiin.

 

[dataaja95]

Mielenkiintoista, meikäläisellä on mikrotikin kytkimen crs326 lisäksi mikrotikin wifipurkki hapAC2. Kytkimeltä tuo mikrotikin ttemplate saa kauniisti tiedot ja näyttää ne zabbixin dashboardissa, porttien tilan, muistin käytön jne, mutta wifitukiasemalta ei tule mitään dataa vaikka hostin tiedot ja snmp konffi on oikein. Kyllähän tuon templaten perustiedot ainakin pitäisi näyttää.
ja edittiä, homma lähti toimimaan luomalla uusi hostgrouppi ja lisäämällä kumpikin mikrotikin purkki siihen.

 

[dataaja95]

Olisikohan zabbixin templatejen rakennuksesta mitään hyvää ohjetta, kai jossain on ainakin lista makroista ja itemeistä mitä templatessa voi käyttää, aika hyvin tuntuu löytyvän valmiita templateja mutta olisihan noita kiva ainakin muokata. Pirun hyvä softa kyllä zabbix ja täyttää meikäläisen valvontaratkaisun täysin. Muutamasta supermicron serveristä olisi tarkoitus saada raudalta häälytykset zabbixiin. Uskoisin että onnistuu ibmi:n kautta.

 

[Hyrava]

Sieltä ne löytyy zabbixin omasta dokumentaatiosta, itse olen ihan vaan googlaillut "zabbix items", "zabbix functions" tai jotain vastaavaa, mitä onkaan sillä hetkellä tarvinnut niin tulee oikea manuaalin sivu yleensä suoraan ensimmäisenä hakutuloksena.

 

[dome]

Olisikohan zabbixin templatejen rakennuksesta mitään hyvää ohjetta, kai jossain on ainakin lista makroista ja itemeistä mitä templatessa voi käyttää, aika hyvin tuntuu löytyvän valmiita templateja mutta olisihan noita kiva ainakin muokata. Pirun hyvä softa kyllä zabbix ja täyttää meikäläisen valvontaratkaisun täysin. Muutamasta supermicron serveristä olisi tarkoitus saada raudalta häälytykset zabbixiin. Uskoisin että onnistuu ibmi:n kautta.

Voit harjoitella ihan lisäämällä käsin yksittäisiä itemeitä suoraan jollekin monitoroitavalle hostille ja kun on jonkinlainen käsitys miten ne toimii niin voit alkaa rakentamaan templateja. Dokumentaatio on pääasiassa ihan hyvä ja vastaukset löytyy vaikka joutuukin lukemaan hieman.

Itemien lisäämisestä: 1 Creating an item [Zabbix Documentation 5.2]
Macrot: 10 Macros [Zabbix Documentation 5.2]

Suosittelen asentelemaan zabbix serverille zabbix-get paketin. Tuolla voi komentorivillä testata erilaisia itemeitä ja niiden palauttamia arvoja. Hyvä työkalu erityisesti jos lisäilee omia custom itemeitä (UserParameter konfiguraatiot mitkä jo mainittukin aiemmin). Voi testata vaikka näin:

zabbix_get -s <ip-osoite/dns-nimi> -k agent.ping

Tuo palauttaa arvon 1 jos monitoroitavan hostin päässä on zabbix-agent käynnissä ja se vastaa. Tätä voi soveltaa mihin tahansa itemiin vaihtamalla agent.ping:n johonkin muuhun item key:n.

 

[dataaja95]

Hmmm, mielenkiintoista, mikrotikin snmp template ei tunnu saavan lämpötil-aarvoja kytkimeltä. Prosessorin lämpötila on noussut 70-asteeseen ja zabbixin template on määritetty varoittamaan siitä. Kuitenkaan minkäänlaista varoitusta ei ilmesty zabbixin dashboardiin tai meiliin. Mistäköhn tuo voisi johtua, kytkin välittää lämpötilatiedon tavalla mitä tuo template ei ymmärrä?

 

[Hyrava]

Mahdollisesti kyseinen laite ei anna tuota lämpötilaa samalla tavalla kuin joku muu laite jolle tuo template on tehty. Valmiiden templatejen kanssa ainakin itselläni on ollut paljon kummallista kun template on tehty esimerkiksi eri firmisversiolle tms. Ensimmäisenä kannattaa katsoa mitä kyseinen item sanoo hostissa, siellä näkyy virheilmoitus jos kyseinen item ei ole tuettu. Jos siellä ei näy virhettä niin seuraavaksi vaikka katsomaan kyseisen hostin latest datasta mitä arvoja kyseinen item on saanut. Jos sielläkin näyttää vielä että lämpötila on tullut niin sitten triggerin asetuksia katselemaan.

 

[dome]

Hmmm, mielenkiintoista, mikrotikin snmp template ei tunnu saavan lämpötil-aarvoja kytkimeltä. Prosessorin lämpötila on noussut 70-asteeseen ja zabbixin template on määritetty varoittamaan siitä. Kuitenkaan minkäänlaista varoitusta ei ilmesty zabbixin dashboardiin tai meiliin. Mistäköhn tuo voisi johtua, kytkin välittää lämpötilatiedon tavalla mitä tuo template ei ymmärrä?

Katso hostilta ko. itemiä ja minkälainen virhe siitä tulee (punainen huutomerkki kyseisen itemin kohdalla). Todennäköisesti kytkin ei näytä lämpötilaa SNMP:n yli ollenkaan, tai templatessa määritelty OID ei vastaa sitä mikä se kytkimellä on.

snmpwalkia tuossa jo ehdoteltiin toiseen laitteeseen liittyen. Katso sillä näyttääkö kytkin edes lämpötilaa SNMP:llä. Ei ole mitenkään itsestäänselvyys, että kaikki mahdollinen data on saatavilla sitä kautta, tai että eri laitteiden välillä MIB:t ja OID:t on identtisiä vaikka saman valmistajan tuotteita ovatkin.

 

[dataaja95]

Olisiko kellään heittää suoraan templatea Supermicro X10SRA emolevylle. Zabbix sharesta näyttää löytyvän supermicron kamoille templateja, mutta tämä emolevy juuri puuttuu. Eräs juuri lisäämän hosti näyttää olevan tilassa unknown vaikka zabbix näyttää hostilta tulevat ilmoitukset ok, missäköhän vika voisi olla.
Edittiä, jahas ja lukemalla zabbixin dokumentaatiota selvisi seuraavaa, ilmeisesti hostin tilaksi määrätään unknown jos sille ei ole määrätty aktiivisia itemeitä. Kyseisille hosteille jodein tila näkyy unknown on määritelty muutama aktiivista agenttia käyttävä template. Mielenkiintoista, no eipä tuo käyttöä haitaa kun homma kerran toimii mutta mielenkiintoinen ongelma silti.

 

[dataaja95]

Nyt iski mielenkiintoinen ongelma eteen. Yritän lisätä hostia zabbixiin ja kaikki sujuu oikein hyvin. Hostina siis perus linuxkone agentilal varustettuna. Agentin logeissa ei näy mitään virheitä vaan kaikki toimii hienosti mutta silti minkäänlaista dataa ei hostilta saada vaikka templatet ovat kunnossa. Serverin logeissa näkyy tällaista, ainakaan nopealla tutkimisella mitään järkevää juttua zabbixin foorumeilta ei löytynyt. Onko tyypeillä tälaisesta vikatilanteesta kokemusta ja miten sen voisi ratkaista
583:20210519:132707.083 cannot find requested PSK identity "psk08"
583:20210519:132707.083 failed to accept an incoming connection: from 192.168.1.10: TLS handshake set result code to 1: file ../ssl/t1_lib.c line 2720: error:14201076:SSL routines:tls_choose_sigalg:no suitable signature algorithm: TLS write fatal alert "handshake failure"

 

[Hyrava]

17 Encryption

www.zabbix.com

Tuolla ja sen alasivuilla on ainakin jotain juttua noista PSK/TLS -asetuksista ja ongelmista, kannattaa varmaan kurkata läpi.

Tuossahan kyllä onkin jo vinkki tuohon ongelmaan, "no suitable signature algorithm". Olisiko OpenSSL-versio vanha tms?

 

[dataaja95]

17 Encryption

www.zabbix.com

Tuolla ja sen alasivuilla on ainakin jotain juttua noista PSK/TLS -asetuksista ja ongelmista, kannattaa varmaan kurkata läpi.

Tuossahan kyllä onkin jo vinkki tuohon ongelmaan, "no suitable signature algorithm". Olisiko OpenSSL-versio vanha tms?

Nyt ei taida olla kyse liian vanhasta openssl versiosta, muutamalla hostilla on sama versio kuin nyt säädettäväällä ja zabbixin-agentti toimii hienosti. Pitää tutkia lisää.

 

[Hyrava]

Onko toimivassa ja toimimattomassa hostissa sama linux-distro? SELinux käytössä? Sitten miettimään mikä asia erottaa toimivan ja toimimattoman.

Muistaakseni joskus törmäsin vähän vastaavaan ongelmaan kun toiseen koneeseen oli asennettu suoraan uusi openssl ja toisessa oli vanhasta päivitetty uudempaan. Tuossa päivitetyssä puuttui osa ciphersuiteista jotka piti käydä erikseen aktivoimassa kun eivät päivityksessä olleet itse aktivoituneet. Tuo ongelma ei tosin liittynyt zabbixiin mitenkään mutta ssl:ään kylläkin.

 

[dataaja95]

Onko toimivassa ja toimimattomassa hostissa sama linux-distro? SELinux käytössä? Sitten miettimään mikä asia erottaa toimivan ja toimimattoman.

Muistaakseni joskus törmäsin vähän vastaavaan ongelmaan kun toiseen koneeseen oli asennettu suoraan uusi openssl ja toisessa oli vanhasta päivitetty uudempaan. Tuossa päivitetyssä puuttui osa ciphersuiteista jotka piti käydä erikseen aktivoimassa kun eivät päivityksessä olleet itse aktivoituneet. Tuo ongelma ei tosin liittynyt zabbixiin mitenkään mutta ssl:ään kylläkin.

Toimivassa ja toimimattomassa hostissa on kummassakin debian ja selinuxia ei ole asennettu. ja hyvin pitkälti samat konfiguraatiot kummassakin. Ei kun vain selaamaan logeja ja tutkimaan mikä mättää.

Nyt menee mielenkiintoiseksi, poistin ihan testimielessä tuon toimivan hostin zabbixista ja lisäsin sen uudelleen. Tämänkin hostin kohdalla mikä ennen toimi alkoi heittää samaa virhettä kuin tuon toimimattoman kohdalla.

Alkaa tuntua että vika on zabbixin serveripäässä. Päivitin serverin heti aluksi uusimpaan versioon koska muutama template vaati kyseistä versiota toimiakseen. Veikkaan että jotain ssl:ssä bugaa. Mistä tätä ongelmaa voisi lähteä selvittämään. Meikäläiselle ei openssl:n konffaus juurikaan tuttua. Serverin versio nyt siis zabbix 5.4.0.rc2.

 

[dataaja95]

ja eipä taida olla palvelinpään ongelma. Satuin löytämään backupeista zabbixin vanhemmalla versiolla varustetun serverin josta loin uuden virtuaalikoneen ja samaa virheviestiä heittävät clientit zabbixin vanhemmalla virallisista debianin omista repoista löytyvällä zabbixin serverin versiolla.

 

[jad]

Tiedä sittän liittyykö tämä jotenkin asiaan cannot find requested PSK identity "psk08" mutta jos ongelma on ssl:ssä ja sen cipher suitessa, niin pääsetkö ssh:lla serveristä hostille ? ja toisinpäin ?

Tarkista kaikista koneista /etc/ssl/openssl.cnf perus Debian asennuksessa tiedoston lopussa:

[system_default_sect]
MinProtocol = TLSv1.2
CipherString = DEFAULT@SECLEVEL=2

 

[dataaja95]

Tiedä sittän liittyykö tämä jotenkin asiaan cannot find requested PSK identity "psk08" mutta jos ongelma on ssl:ssä ja sen cipher suitessa, niin pääsetkö ssh:lla serveristä hostille ? ja toisinpäin ?

Tarkista kaikista koneista /etc/ssl/openssl.cnf perus Debian asennuksessa tiedoston lopussa:

[system_default_sect]
MinProtocol = TLSv1.2
CipherString = DEFAULT@SECLEVEL=2

Kaikilla hosteilla tuo /etc/ssl/openssl.cnf tiedoston loppu on kuten viestissäsi lukee. Ssh hostilta palvelimelle näyttää toimivan ok.

 

[dataaja95]

Taitaa vika olla zabbixin uusimmassa agentissa versioltaan muistaakseni 5.3. Juuri testasin ja debianin repositoryistä löytyvä vanhempi zabbixagentti yhdistää ja toimii hienosti. Nyt ongelmana olisi siis hostien clienttien downgreidaus. Pystyykö sitä tekemään debian pohjaisessa ympäristössä mitenkään järkevästi. Mikäli olen oikein ymmärtänyt apt ei tue pakettien alaspäin päivittämistä.
Edittiä downgreidaaminen onnistui helposti komennolla apt install zabbix-agent=1:4.0.4+dfsg-1. Kuitenkin tämän jälkeen katsottaessa paketin versio komennolla apt info zabbix-agent näyttää edelleenkin olevan asennettuna uusin bugittava versio. Ilmeisesti aptin cacheen jäänyt tuo uusin versio vielä talteen. Komennolla apt clean tai apt autoclean cachea ei saa tyhjennettyä. Komento apt-cache show zabbix-agent näyttää että versio1:5.4. ~rc2 vielä kummittelee jossain. Mitenköhään cachen saisi tyhjennettyä ja poistettua pysyvästi ja vanhan toimivan version tilalle.
ja edittiä, homma ratkesi poistamalla /var/cache/apt kansio käsin, päivittämällä repositoryt apt update ja asentamalla zabbixin agentin oikea versio. Nyt homma rokkaa taas!

 

[dataaja95]

Olisi kysymys triggereistä. Zabbixin linuxtemplatessa näyttää olevan triggeri joka laukeaa kun tietty määrä prosesseja hostilla ylittyy, ilmeisesti määräksi defaulttina asetettu noin 300. Tarkoitus olisi nostaa määrää esim vaikka 400 jonka jälkeen tulisi varoitus mutta triggerin asetuksissa ei näytä olevan selvää numerokenttää mihin prosessien määrän voisi merkitä eikä tuolle näytä olevan minkäänlaista makroakaan. Miten triggerien muokkaus siis toimii vai perustuuko kaikki makroihin.

 

[Hyrava]

Mitähän triggeriä tarkoitat? Itselläni ainakin prosesseihin liittyviä näyttäisi olevan ainakin kolme:

Configured max number of processes is too low on {HOST.NAME}
{Template OS Linux:kernel.maxproc.last(0)}<256

Too many processes on {HOST.NAME}
{Template OS Linuxroc.num[].avg(5m)}>1000

Too many processes running on {HOST.NAME}
{Template OS Linuxroc.num[,,run].avg(5m)}>30

Jokaisessa on numeerisesti määritelty raja-arvo. Itselläni on ajossa Zabbix 5.0 joten en tiedä onko uudemmassa nuo eri tavalla.

Niin, ja tosiaan noista agenteista sen verran että riippuu serverin versiosta mitä agentin versioita voi käyttää. Olikohan se että 1.4 vai 1.8 oli vanhin versio mitä nykyisten servereiden kanssa voi käyttää eikä kannata käyttää uudempaa agenttia kuin serverin versio tai saattaa tulla yhteensopivuusongelmia. Debianin repoissa on järkyttävän vanha versio, eli itse olen asentanut hosteille zabbixin reposta serveriä vastaavan version.

 

[dataaja95]

Mitähän triggeriä tarkoitat? Itselläni ainakin prosesseihin liittyviä näyttäisi olevan ainakin kolme:

Configured max number of processes is too low on {HOST.NAME}
{Template OS Linux:kernel.maxproc.last(0)}<256

Too many processes on {HOST.NAME}
{Template OS Linuxroc.num[].avg(5m)}>1000

Too many processes running on {HOST.NAME}
{Template OS Linuxroc.num[,,run].avg(5m)}>30

Jokaisessa on numeerisesti määritelty raja-arvo. Itselläni on ajossa Zabbix 5.0 joten en tiedä onko uudemmassa nuo eri tavalla.

Niin, ja tosiaan noista agenteista sen verran että riippuu serverin versiosta mitä agentin versioita voi käyttää. Olikohan se että 1.4 vai 1.8 oli vanhin versio mitä nykyisten servereiden kanssa voi käyttää eikä kannata käyttää uudempaa agenttia kuin serverin versio tai saattaa tulla yhteensopivuusongelmia. Debianin repoissa on järkyttävän vanha versio, eli itse olen asentanut hosteille zabbixin reposta serveriä vastaavan version.

Kyseessä on siis triggeri nimeltään
Too many processes on {HOST.NAME}
Mitä uudistuksia ja parannuksia zabbixin omasta repositorysta asennettava agentit tuovat verrattuna debianin repoista löytyvään, itse en huomannut juuri mitään eroa nopealla kokeilulla.

 

[Hyrava]

Ainakin uudemmassa agentissa voi konfiguraatiossa määritellä mitä komentoja sitä kautta voi ajaa kun vanhemmissa tuo on ihan on/off -asetus. On siellä kaikenlaista muutakin pientä mutta ei nyt yhtäkkiä tule mieleen. Ainakin RaspberryPi:n kanssa tuli jotain juttuja vastaan että vanhalla agentilla ei saanut jotain asiaa tehtyä mutta uudemmalla sai mutta en nyt yhtäkkiä muista mikä se oli.

Too many processes on {HOST.NAME}
{Template OS Linux: proc.num[].avg(5m)}>1000

Tuossahan on ainakin mun mielestä varsin selvästi "ota prosessien määrän keskiarvo viimeiseltä viideltä minuutilta ja jos on yli 1000 kpl niin liipaise trigger". Kannattaa opetella lukemaan noita triggereitä, nuo ovat välillä vähän kryptisiä mutta zabbixin dokumentaatiosivut auttavat jälleen kerran. Tuohon tietty saa helposti määriteltyä vaikka makron jos haluaa.

 

[jad]

Menee jo hieman offtopiciksi, mutta menköön.

Taitaa vika olla zabbixin uusimmassa agentissa versioltaan muistaakseni 5.3. Juuri testasin ja debianin repositoryistä löytyvä vanhempi zabbixagentti yhdistää ja toimii hienosti. Nyt ongelmana olisi siis hostien clienttien downgreidaus. Pystyykö sitä tekemään debian pohjaisessa ympäristössä mitenkään järkevästi. Mikäli olen oikein ymmärtänyt apt ei tue pakettien alaspäin päivittämistä.

Ratkaisitkin jo tuon alaspäin päivityksen, mutta nähtävästi sinulla on aptin lähteissä käytössä jotain epävirallisia pakettilähteitä. Näiden käyttämistä kannatta vakavasti harkita ja pinningillä varmistaa, että asentaa epävirallisista lähteistä niin minimaalisen määrän paketteja kuin mahdollista.
Tuo cacheongelma olisi ratkennut myös sillä, että kommentoit pois sen lähteen mistä nuo liian uudet versiot asentuivat ja sen jälkeen apt update Tämä tosin olisi saattanut rikkoa jotain muuta liian uutta
Paketteihin ja niiden versioihin löytyy ihan kätevä aputyökalu apt-show-versions jolla näkee näppärästi ainakin ne paketit joita ei enää ole saatavilla sen jälkeen kun apt:n läderepositorioista poistaa jonkun lähteen.

Debianin repoissa on järkyttävän vanha versio, eli itse olen asentanut hosteille zabbixin reposta serveriä vastaavan version.

Tämähän on samanaikaisesti Debianin vahvuus ja heikkous. Nythän mennään julkaisusyklin loppupäässä ja kaikki Debian stablesta löytyvät softat ovat vähintään 2,5 vuotta vanhoja. Jos kärsii Shiny New Stuff Syndrooomasta, niin Debian on väärä valinta. Tosin Raspberryjen ja muiden osalta ei tähän aina voi järkevästi itse vaikuttaa.

 

[Hyrava]

Menee jo hieman offtopiciksi, mutta menköön.

Tämähän on samanaikaisesti Debianin vahvuus ja heikkous. Nythän mennään julkaisusyklin loppupäässä ja kaikki Debian stablesta löytyvät softat ovat vähintään 2,5 vuotta vanhoja. Jos kärsii Shiny New Stuff Syndrooomasta, niin Debian on väärä valinta. Tosin Raspberryjen ja muiden osalta ei tähän aina voi järkevästi itse vaikuttaa.

Juu, itsekin omissa servereissä pääsääntöisesti debian stablea ajelen ja koitan viimeiseen asti välttää jakelun ulkopuolisia repoja ja jos jotain uudempaa tarvitse niin ubuntu lts serveriä olen käyttänyt. Töissä ei tule kyllä mitään ylimääräisiä repoja käytettyä ellei ole ihan pakko, kuitenkin meillä on vain pieni tiimi hoitelemassa meidän omia palvelimia niin ei oikein ole resursseja hukattavaksi jos joku menee tuollaisen takia rikki.

 

[dataaja95]

Jahas ja tällaista virhettä on zabbix-serverin logi täynnä, ilmeisesti virhe on jossain triggerissä, mutta pystynkö järkevästi haarukoimaan mistä templatesta tuo triggeri löytyy. Ainakaan zabbixin hakuun heittämäni triggerin nimi eli vfs.fs.size.forecast12h ei tuotanut tulosta ja mikäköhän arvo tuon numeric unsigned tilalle pitäisi laittaa.
10677:20210522:105252.627 error reason for "node1:vfs.fs.size.forecast12h[/mnt/virtualisointi]" changed: Value of type "double" is not suitable for value type "Numeric (unsigned)". Value "-295029591530.43823"