Raportoi jos sivusto/foorumi hidastelee

  • Keskustelun aloittaja Keskustelun aloittaja Sampsa
  • Aloitettu Aloitettu
Sama homma täällä, kotinetillä latautunut käsittämättömän hitaasti tämän päivän ajan mutta juuri keksin kokeilla puhelimella, Elisan 5G liittymällä toimiikin loistavasti
 
Suomesta on pätkinyt koko päivän, mutta jos otan VPN:llä toisen maan kautta, niin toimii hyvin.
 
Nyt tekee joko niin, että lataa sivun todella nopeasti tai sitten jää junnaamaan ja ei lataa ollenkaan. Eli sivu latautuu sekunissa tai sitten menee timeouttiin minuutissa.

Olen ajanut pingiä, ja se on koko ajan ollut hyvä:
C:\Users\hsalonen>ping bbs.io-tech.fi

Pinging https.f-solutions.fi [178.213.234.11] with 32 bytes of data:
Reply from 178.213.234.11: bytes=32 time=18ms TTL=57
Reply from 178.213.234.11: bytes=32 time=12ms TTL=57
Reply from 178.213.234.11: bytes=32 time=12ms TTL=57
Reply from 178.213.234.11: bytes=32 time=15ms TTL=57

Ping statistics for 178.213.234.11:
Packets: Sent = 4, Received = 4, Lost = 0 (0% loss),
Approximate round trip times in milli-seconds:
Minimum = 12ms, Maximum = 18ms, Average = 14ms

Sitten taas sivuston vastaukset on jossain tapauksessa jääneet selaimelle kokonaan tulematta. Oisko CDN-ongelma?

edit:
C:\Users\hsalonen>tracert bbs.io-tech.fi

Tracing route to https.f-solutions.fi [178.213.234.11]
over a maximum of 30 hops:

1 * * * Request timed out.
2 4 ms 2 ms 2 ms cust.suomicom.net (vähän tietoja poistettu)
3 3 ms 2 ms 2 ms cust.suomicom.net (vähän tietoja poistettu)
4 3 ms 2 ms 2 ms border-gw1.helpa.suomicom.net [188.127.209.225]
5 3 ms 2 ms 2 ms netplaza.ficix2.ficix.fi [193.110.224.50]
6 * * * Request timed out.
7 * * * Request timed out.
8 * * * Request timed out.
9 12 ms 13 ms 14 ms core1-bgp.f-solutions.fi [37.16.96.1]
10 12 ms 12 ms 13 ms https.f-solutions.fi [178.213.234.11]

Trace complete.
 
Viimeksi muokattu:
En ole koko päivänä päässyt sivustolle lponetin kuidulla, kokeiltu useita eri laitteita. Telian dot liittymällä puhelimitse nähtävästi kuitenkin toimii.
 
Telian kuitu ja ei ole ollut mitään ongelmia sivuston kanssa koko päivänä...

Eipä tuollakaan näy kuin yksi piikki:

F-Solutions

status.f-solutions.fi status.f-solutions.fi
 
Sama ongelma myös täällä, eli ei ole koko päivänä foorumi auennut kunnolla vaan jää lataamaan sivua loputtomiin. Kun taas muut nettisivut avautuu normaalisti.

1767997222420.png
 
Viimeksi muokattu:
Tänään on taas toiminut ok jo hyvän aikaa. Toivotaan, että ongelma on poistunut.

Eilen täälläkin toimi vpn:n kautta ongelmitta, Operassa on näppärä sisäänrakennettu vpn tällaista satunnaista tarvetta varten.
 
Datasafe kuidun perässä ei toimi foorumi, mutta 4g yhteyden kanssa toimii safarilla.
 
Eiköhän vika vaihteeksi ja kerrankin ollut jossain muualla, koska ainakaan tähän asti eivät tämän foorumin tökkimiset ole olleet käytetystä isp/operaattorista kiinni.
 
Foorumi hidastellut tänään aamusta useita kertoja perus sivujen latauksessa. Muut sivut toimii normaalisti. Android käytössä.
 
En tiedä kuuluuko tähän ketjuun, enkä myöskään tiedä onko tällä mitään vaikutusta sivuston nopeuteen, mutta:

Kuvien tiedostomuotoa voisi miettiä - koska käyttää JPG ja koska PNG, ja millä laadulla. Myös uudempia/parempia kuvaformaatteja (webp, avif) olemassa.
Esim. nyt io-techin etusivulla on otsikon "Asus vetäytyy älypuhelinmarkkinoilta kokonaan" alla PNG-kuva, joka on kooltaan huomattavan suuri (megatavu).
Joskus on myös näkynyt että kuvan oikeat mitat ovat suuremmat mutta se on pakotettu pienempään kokoon sivulla, mikä on huonoa web-suunnittelua.

20 Mbps netillä hidastelun huomaa selvästi kun sivulla on useita kuvia.

Myös markuppia on paljon vs sisältö, esim. tämän (forum-)sivun lähdekoodi 250 k ja sivulla näkyvä teksti 12 k.
 
cips sanoi:
Joskus on myös näkynyt että kuvan oikeat mitat ovat suuremmat mutta se on pakotettu pienempään kokoon sivulla, mikä on huonoa web-suunnittelua.
Napsauta laajentaaksesi...

Ainakin ennen kun suurin osa sivustoista suunniteltiin ihan DOS:n edit käskyllä tai notepadilla (mistä oli jouhevaa siirtyä Notepad++) jos sivulla käytettiin kuvaa siihen kirjoitettiin tieto mikä se on ja jos siinä oli linkki kirjattiin erikseen mitä se tekee (esim. kuva postiluukusta ja tieto että se on mailto:sähköposti@osoite.dot) jolloin myös sellaiset henkilöt jotka selaavat nettiä selaimella missä grafiikka on disabloitu tai sitä ei ole ollenkaan tuettu voivat käyttää sivuja... Tosin nykyisin kun katsoo koodia moni on unohtanut ihan perus skandienkin oikeaoppisen kirjoitustavan jne ( Ä jne)
 
cips sanoi:
En tiedä kuuluuko tähän ketjuun, enkä myöskään tiedä onko tällä mitään vaikutusta sivuston nopeuteen, mutta:

Kuvien tiedostomuotoa voisi miettiä - koska käyttää JPG ja koska PNG, ja millä laadulla. Myös uudempia/parempia kuvaformaatteja (webp, avif) olemassa.
Esim. nyt io-techin etusivulla on otsikon "Asus vetäytyy älypuhelinmarkkinoilta kokonaan" alla PNG-kuva, joka on kooltaan huomattavan suuri (megatavu).
Napsauta laajentaaksesi...


cips sanoi:
Joskus on myös näkynyt että kuvan oikeat mitat ovat suuremmat mutta se on pakotettu pienempään kokoon sivulla, mikä on huonoa web-suunnittelua.

20 Mbps netillä hidastelun huomaa selvästi kun sivulla on useita kuvia.
Napsauta laajentaaksesi...

Siinä on jotain muuta taustalla. Epäilen että se kuvan skaalaaminen vie paljon aikaa. Mulla tuossa välillä sivuston pääsivulla kuvat latautuu hitaasti, 3-8 sekuntia per kuva. Tuollaisessa ajassa mun 100 megainen nettini lataa sen kuvatiedoston monen monta kertaa.

Se ei voi olla suoraan niiden latautumisen viive. Mulla on 4k monitorin takia DPI skaalaus joka voi olla osa-syy tuohon hitauteen. Ehkä juurikin png kuvien skaalaus vie aikaa, johtuen siitä miten selain sattuu toteuttamaan sen. Jokainen hidaasti näkyvä jonka erikseen olen katsonut, on nimenomaan png kuva.
 
Ei onnistu käyttäjän viestien haku klo 18:07-18:08. Ei omien eikä toisten käyttäjien

Edit Myös tämän viestin tallennus piti tehdä useampaan kertaan ja tuli vasta refreshillä näkyviin
 
Ongelman pitäisi nyt olla korjaantunut. Vika oli osittain kitumaan jääneessä reitittimessä, jonka johdosta kahdennus ei pelastanut tilannetta kaikilta osin ja palvelut näyttivät osalle käyttäjistä olevan alhaalla ja osalle ylhäällä. Tästä johtuen myöskään ongelmaa ei heti huomattu.
 
juhaa sanoi:
Ihmiset ylipäätään saisi/löytäisi tiedon. Harvahko tuon olemassa olosta tietää.
Napsauta laajentaaksesi...
Onko ideoita miten sen voisi saada paremmin tiedoksi? En oikein tiedä miten insta/fabo auttaisi tähän kun samalla tavalla se insta/fabo käyttäjä pitää ensin löytää.
 
Itse laitoin spostia info@io-tech.fi osoitteeseen mutta en tiedä lukeeko siellä viestejä kukaan.

ed: eipä sposti mennyt perille.
" I'm sorry to have to inform you that your message could not
be delivered to one or more recipients"
 
Viimeksi muokattu:
burner sanoi:
Onko ideoita miten sen voisi saada paremmin tiedoksi? En oikein tiedä miten insta/fabo auttaisi tähän kun samalla tavalla se insta/fabo käyttäjä pitää ensin löytää.
Napsauta laajentaaksesi...
  • status.io-tech.fi vaikka aliakseksi tuolle sivulle
  • Serverille oma 50x-virhesivu sen vakiosivun sijaan (useimilla servereillä sen korvaaminen omalla staattisella html-sivulla onnistuu), joka vaikka linkkaa tuonne status-sivulle.
 
Mco sanoi:
  • status.io-tech.fi vaikka aliakseksi tuolle sivulle
  • Serverille oma 50x-virhesivu sen vakiosivun sijaan (useimilla servereillä sen korvaaminen omalla staattisella html-sivulla onnistuu), joka vaikka linkkaa tuonne status-sivulle.
Napsauta laajentaaksesi...
tuo alias asia on juttu joka pitää tehdä Sampsalla. Tuo custom 50x linkin kanssa kuulostaa hyvältä idealta ja tutkimme olisiko toteutettavissa.
 
Centteri sanoi:
Itse laitoin spostia info@io-tech.fi osoitteeseen mutta en tiedä lukeeko siellä viestejä kukaan.

ed: eipä sposti mennyt perille.
" I'm sorry to have to inform you that your message could not
be delivered to one or more recipients"
Napsauta laajentaaksesi...
Miksi sinne viestiä laitoit?

Eiköhän Fsolutionsin/iotechin porukka tiedä milloin hommat on nurin.
Käyttäjät taas huomaavat kun sivusto taas toimii, niin se toimii.
Miksi jostain foorumista pitäisi olla joku kanava jossa kerrotaan että foorumi on nurin?
Ainakin itse huomasin, niinkuin muutkin, ihan tuon virhesivun ja pårjäsin sillä :D
Tää on vain foorumi...
 
mailman sanoi:
Miksi sinne viestiä laitoit?

Eiköhän Fsolutionsin/iotechin porukka tiedä milloin hommat on nurin.
Käyttäjät taas huomaavat kun sivusto taas toimii, niin se toimii.
Miksi jostain foorumista pitäisi olla joku kanava jossa kerrotaan että foorumi on nurin?
Ainakin itse huomasin, niinkuin muutkin, ihan tuon virhesivun ja pårjäsin sillä :D
Tää on vain foorumi...
Napsauta laajentaaksesi...
Ei selvästi tienneet;
burner sanoi:
Ongelman pitäisi nyt olla korjaantunut. Vika oli osittain kitumaan jääneessä reitittimessä, jonka johdosta kahdennus ei pelastanut tilannetta kaikilta osin ja palvelut näyttivät osalle käyttäjistä olevan alhaalla ja osalle ylhäällä. Tästä johtuen myöskään ongelmaa ei heti huomattu.
Napsauta laajentaaksesi...
 
mailman sanoi:
No tuskin nyt 5h meni, että huomasivat olevan nurin?
Siitä "huomaamisesta" oli puhe, ei kokonaiskestosta.

Mutta enihau, tämä on vain foorumi, ei mun lauantaita hirveästi sotkenut IOtechin katko :D
Napsauta laajentaaksesi...
Itse asiassa tällä kertaa kesti. Kun se ei ollut "nurin" kuin pienelle osalle käyttäjiä jotka sattuivat voittamaan epäonnisen loton ja saamaan juuri tietyn reitin verkossa tietyillä ajanhetkillä. Varsinainen isompi yskäsy tuli sitten siitä kun rajattiin vikaa että mikä syö paketteja. Ongelma riitti triggeröimään joitain aiheeseen liittymättömiä hälytyksiä (muiden vähemmän kriittisten palveluiden hälyjä kun monitorointi liikenne packetlossasi välillä) jotka kuitenkin ilmoittivat heti korjaantuneen. Yhdistettynä viikonloppuun jolloin it väki ympäri suomen on pitkälti kaikki samassa tapahtumassa pois töiden ääreltä, niin asian laajempi kanta havaittiin vasta ensimmäisestä asiakkaan yhteydenotosta vikapäivystykseen. Siitä meni 20min paikantaa ja korjata vika. Jona aikana tuli 5min edestä täys katkoja.

Sitten nuihin aikaisempiin katkoihin jotka varsinkin joulun aikaan vaivasivat kovasti foorumia ja lupailin niistä lisää tietoa ja tämä toivottavasti auttaa muitakin xenforon ylläpitäjiä.
Eli ongelma oli siinä miten Xenforon haku on toteutettu. Se pyörii oletuksena myslin päällä. Nyrkkisääntö/ohjenuora xenforolla on että se toimii noin 500k riviin saakka hyvin jonka jälkeen haku pitää toteuttaa erillisellä modulilla. Io-techin osalta taulussa oli jo 9miljoonaa riviä. Eli 18x määrä xenforon käyttäjä foorumeilla suositellun. Tuo search indeksin turpoaminen kun ei ole mikään sellainen "tähän syttyy punainen valo kun se on liian iso" tyyppinen ongelma, joten ongelman juurisyyn paikantamiseen meni oma kaikansa. Myslin puolella se ilmeni siten, että riittävä määrä yhtäaikaisia searcheja aiheutti mysql:n cache trashin, jonka johdosta kaikki queryt hidastuivat. Kun kaikki queryt hidastuivat, niin ne alkaa jonottamaan ja aiheuttaa lisää cache trashia ja mysql:lle kuoleman kierteen. Eli käyrissä asia näkyy siten, että cache miss ja cpu kuorma raketoi ylös ja queryt/sekunti tippuu alas. Samalla kuitenkaan nuo searchit ei varvinaisesti näy kuormassa erityisenä. Ja huomion arvoisena tuossa on juuri se, että kokonais queryjen määrä lähtee tippumaan. Pienellä palvelimella asia näkysi helposti slow queryissä. Tässä tapauksessa kun io-tech generoi normaalissakin ajossa yli 3500queryä sekunnissa, lähes ympäri vuorokauden, täytyy asioita tarkastella enemmän massa ilmiöinä kuin yksittäisinä tapahtumina. Toisaalta tuosta 3.5kq/s :tä voi laskea myös helposti sen, että jos palvelin yskäsee vaikkapa 500ms ajan, niin se tarkoittaa, että jonossa on jo reilu 1500queryä odottamassa vuoroaan. Tähän sitten kun muutama levoton searchin käyttäjä polkasee f5:tä kun vastaus ei tullut heti, niin tilanne oli helposti se, että kaikki rinnakkais workkerit oli allokoitu useita sekunteja kestäville searcheille ja muita queryjä kertyi jonoon tuhansia sekunnissa.
Tähän kaikkeen löydettiin kuitenkin syy ja ratkaisukin. Haun ulkoistaminen elastic searchille vaati niin meiltä palvelinta kuin io-techin puolelta palvelimen käyttöön ottoa ja foorumin ruuvaamista ja testaamista yms. Jonka vuoksi varsinainen korjaus kesti vielä siitä kun ongelman juurisyy löydettiin. Nyt sitten sormet ristiin, että kun päivitys on tuotannossa niin ei törmätä uuteen ongelmaan. Lisäksi en pitäisi mitenkään mahdottomana, että searchin kanssa törmätään vielä monen moiseen optimointi tarpeeseen. Nyt sen ei kuitenkaan ainakaan _pitäisi_ enää viedä mennessään muuta foorumia.
Sitten vielä syy miksi en kertonut tästä tarkemmin jo aikaisemmin. Search haluttiin pitää käytössä niin paljon kuin mahdollista. Toisaalta kuitenkin kun kyse on foorumista jossa on tuhansia käyttäjiä, niin kiusaus kiusanteolle on ilmeinen ja tuhansien ihmisten väkimassasta aina löytyy se joka haluaa purkaa tylsyyttään kiusantekoon. Tämän vuoksi päädyttiin siihen, että pidetään search käytettävissä niin paljon kuin mahdollista, mutta toivotaan että ongelmaan törmää ihmisiä vain vahingossa ja nuita vahinkoja ei tapahdu liian usein. Tilanne oli kuitenkin sellainen, että yksikin tahallisesti häiriköivä ihminen olisi voinut jumittaa foorumin siihen saakka, että search disabloidaan. Jolloin foorumi olisi noussut ylös, mutta sitten search ei olisi ollut käytettävissä. Tämä uhkapeli tuntui kannattavan, sillä katkoja ja hidasteluja ei kuitenkaan ollut älyttömän montaa. Toki ne oli ikäviä ja vielä ikävempää oli lukea aiheeseen liittyen kuittailua tietäen asian oikean laidan. Mutta toisaalta tietäen kuitenkin että ehkä näin silti on parempi.
Eli leuka ylös ja kohti uusia pettymyksiä :) Uskoisin että suomen yhtenä aktiivisimmista foorumeista tulemme kyllä törmäämään erinlaisiin pullonkauloihin vielä jatkossakin. Nuiden pullonkaulojen selvittelyssä päästään olemaan pioneerina ja koekaniinina. Yleisesti ottaen Xenforon käyttäjien rymissäkään on aika harvassa ne käyttäjät jotka on venyttäneet sen tällaisiin käyttäjämassoihin, josta johtuen tässä ollaan usein aika kartoittamattomilla vesillä. Toki kymmenien miljoonien viestien foorumejakin on, joten voimme aina tuudittautua siihen, että mikään ongelma ei ole ratkaisematon kunhan vain keksii miten ne ratkaistaan. Siksi asiallista palautetta ja käyttökokemuksia ottaa mielellään vastaan, jotta pysymme tilanteen tasalla. Varsinkin nyt kun backendiin on otettu uusia komponentteja käyttöön jotka näyttää luonteensa vasta kunnolla ajan kanssa. Seuraaviin optimointeihin on jo reseptejä valmiina, mutta lisäksi pitää muistaa se viisaus, että jokainen liikkuva osa on särkyvä osa ja jokainen ulkoinen osa pitää säätää kyseiseen käyttökohteeseen sopivaksi. Sen vuoksi ei pystytä tai ei kannata ennakoivasti asentamaan jokaista cachea ja ulkoista kanta kikkaretta mitä foorumiin on tehty.
 
Tldr versio alla.

Foorumin häiriöt johtuivat kahdesta syystä:

Yksittäinen verkkoreittiongelma aiheutti lyhyen katkon pienelle osalle käyttäjistä.

Laajemmat joulun aikaiset ongelmat johtuivat hakutoiminnosta, joka kuormitti MySQL:ää liikaa suuren tietomäärän ja samanaikaisten hakujen takia, mikä jumitti koko foorumin.

Haku siirrettiin ElasticSearchiin, jotta se ei enää kaada muuta palvelua. Jatkossakin näin suuren foorumin kanssa voi ilmetä uusia pullonkauloja, joita optimoidaan tarpeen mukaan.
Napsauta laajentaaksesi...
 
Kirjaudu tai rekisteröidy kirjoittaaksesi tänne.

Uutiset

Uutisia lyhyesti

Uusimmat viestit

Statistiikka

Viestiketjuista
301 193
Viestejä
5 149 245
Jäsenet
81 943
Uusin jäsen
nikok3

Hinta.fi

Back
Ylös Bottom