Viallinen tietoturvapäivitys aiheutti maailmanlaajuisia ongelmia

[Kaotik]

Kaotik kirjoitti uutisen/artikkelin:
Eilinen oli synkkä päivä tietotekniikalle, kun ohjelmistovirhe aiheutti maailmanlaajuisesti merkittäviä häiriöitä lukuisilla eri aloilla. Syylliseksi paljastui yhdysvaltalaisen CrowdStrike-tietoturvayhtiön viallinen ohjelmistopäivitys, joka aiheutti ahkerasti BSODeja (Blue Screen of Death).

Ongelmat alkoivat eilen kello 7:09 Suomen aikaa aamulla, kun Microsoftin Azure-pilvipalvelun Windows-virtuaalikoneet alkoivat kaatuilemaan ja käynnistelemään itseään uudelleen. Pari tuntia myöhemmin 9:48 Suomen aikaa Googlen Compute Enginessä havaittiin niin ikään ongelmia ja Windows-virtuaalikoneiden kaatuiluja ja heti perään 10:15 se ilmoitti havainneensa syylliseksi csagent.sys-tiedoston, joka on osa CrowdStriken tietoturvapakettia ja tarkemmin Falcon Sensoria.

Aikajanat menevät helposti päällekkäin, kun kyse on useista yrityksistä. CrowdStriken tiedotteesta selviää, että viallinen päivitys tiedostoon C-00000291*.sys lähti jakoon nimenomaan 7:09, kun ongelmatkin alkoivat, mutta korjaus oli jo olemassa alle puolentoista tunnin päästä 8:27 Suomen aikaa. Ongelmista kärsivät ne koneet, jotka käynnistettiin tuon aikaikkunan sisällä. Ne, joihin ongelma oli kuitenkin jo purrut, olivat pulassa. Käytännössä ainut varma tapa päästä siitä eroon olisi poistaa kaikki C-00000291*.sys-ajurit CrowdStriken kansiosta manuaalisesti Windowsin Safe Modessa tai Windows Recovery Enviromentissa jok’ikisestä koneesta, oli se sitten virtuaalinen tai ei. Joissain tapauksissa myös tietokoneen uudelleenkäynnistys ratkoi ongelman, kunhan se tehtiin 8:27 jälkeen ja mukana on sopivasti tuuria. Joissain tapauksissa vaadittiin jopa 15 uudelleenkäynnistystä, ennen kuin erikoiselta kuulostava korjaus toimi. Käytännössä kyse oli siitä, kumpi tapahtuu ensin: CrowdStriken automaattipäivitys vai tietokoneen kaatuminen.

CrowdStriken tietoturvasovelluksia on joidenkin arvioiden mukaan asennettu jopa 20 %:iin kaikista maailman yritystietokoneista, joten on selvää että ongelmat koskevat käytännössä kaikkia elämänaloja. Maailmalta on raportoitu laajoja ongelmia niin pankkipalveluissa, televisiolähetyksissä, lentoyhtiöiden palveluissa kuin sairaaloissakin, eikä edes sponsorisopimus pelastanut Mercedeksen F1-tiimiä. Suomessa ongelmia oli ainakin OP:n Sijoituskumppanissa ja osakesäästötileissä, Terveyskylä-sivustossa ja sen Omapolku-palvelussa, HUSin eri palveluissa, Synlabin laboratorio- ja kuvantamispalveluissa sekä VR:n järjestelmissä.

Lähteet: Kyberturvallisuuskeskus, Yle (1), (2), Crowdstrike (1), (2), Uutiskuva: Reddit

Linkki alkuperäiseen juttuun

 

[Jardaani]

Johtuiko Lounean valokuituyhteyksien ongelmat myös tästä? Onko tietoa?

 

[MMXVI]

Upea uutiskuva.

 

[f_rele]

Jep jep, sattuhan näitä. 2021 maaliskuusa koneessa alkoi täyttymään mystisesti RAM ja kone kippasi noin 20min välein. Vikana oli bugi MalwareBytesin softapäivittksessä, mutta kyllä siinä hetki meni että se löytyi ja korjattiin.

Nyt sitten odottelemaan että F-Secure julkaisee BSOD päivityksen, kun ovat selvästi vuorossa, niin saa töissä ohjelmaa

 

[Ihmemies MacGyver]

Kuinka paljon parempi tällainen on Windowsin omaan virustutkaan? Tai... nyt ei ainakaan ollut parempi.

 

[Raikku]

Olisi paikka nyt F-Securella vallata maailman markkinat.

 

[Grazer]

Johtuiko Lounean valokuituyhteyksien ongelmat myös tästä? Onko tietoa?

Yhtiö ei ole virallisesti ilmoittanut, mutta olisi kyllä todella hyvin osuneet tähdet kohdalleen, jos juuri samoihin aikoihin heillä olisi ilmennyt joku muu ongelma niin että käytännössä koko verkko kaatui kun Ficixistä tarkasteltuna liikennemäärä Lounean verkosta/verkkoon tipahti noin 8 Gbit/sekunti johonkin 100Mbit/s paikkeille.

Olisi paikka nyt F-Securella vallata maailman markkinat.

Jep. F-Securella toimintatapa parempi, kun totaalisen kippaamisen sijasta hidastetaan kone muuten vain lähes käyttökelvottomaksi.

Linux- ja Mac-ympäristöissähän tämä ei aiheuttanut mitään ja jos olen oikein ymmärtänyt, niin Linux-puolella tällainen katastrofi ei edes olisi näin helposti toteutettavissa, kun ilmeisesesti aika pahasti saa tötöillä että Linuxissa saa kernel panicin aikaiseksi.

 

[FlyingAntero]

Paikallisen kylmäaseman pumput olleet eilen ja tänään pimeänä. Liekkö liittyy samaan?

 

[Agent_007]

Kuinka paljon parempi tällainen on Windowsin omaan virustutkaan? Tai... nyt ei ainakaan ollut parempi.

Kyse ei yrityskäytössä ole tuosta, että kumpi estää enemmän haittaohjelmia/hyökkäyksiä, vaan siitä että saadaan nuo pakolliset viranomaismääräykset täytettyä.
"Thirdly, and perhaps most importantly, were new rules announced at the end of 2023 by the Securities & Exchange Commission, the main US financial regulator, requiring public companies to disclose cybersecurity incidents and to disclose, annually, their cyber security risk management, strategy, and governance."

From Wall Street darling to firm behind the world's worst IT outage - who are CrowdStrike?

Crowdstike has been one of the best-performing stocks this year, thrilling investors with AI-enabled cyber protection.

news.sky.com

 

[leripe]

Olisi paikka nyt F-Securella vallata maailman markkinat.

Valitettavasti ei ole sellaista AV valmistajaa, jolle vastaavaa ei olisi käynyt. Toisille lievemmin toisille pahemmin. CS nyt vain isolla markkinaosuudellaan aiheuttaa globaalisti näkyvämpää. Suomessa CS ei hirveästi ole käytössä eihän heillä ole täällä edes konttoria tai edustusta (vielä). Suomessa mennään enemmän Withsecure, Palo Alto ja Trend Micro ja Microsoft tuotteilla.

 

[huglo]

Paljonko korvauksia Crowdstrikeltä on odotettavissa näille firmoille?

Disclaimer-paskalausekkeet kunnossa ja mitään ei tarvitse korvata?

Osake tippui jo mutta pitkässä juoksussa ei mikään hurja tiputus vielä. Toivottavasti asiakkailta tulee palaute (tietoturvafirman vaihto) siihen malliin että tämä muistetaan.

 

[Vonfoo]

Kuinka paljon parempi tällainen on Windowsin omaan virustutkaan? Tai... nyt ei ainakaan ollut parempi.

Tuotteena EDR toimii eri tavalla kuin perinteiset AV-tutkat. Siinä missä Defender ja muut vastaavat saavat sormenjälkipäivityksiä ja pyrkivät estämään haittaohjelmia, EDR taas pyrkii tunnistamaan haitallista toimintaa koneelta. Esimerkkeinä koneessa suoritettavat haitalliset komennot (powershell ja muut), tunnuksien käyttäytyminen ja niin edespäin. Niitä sitten korreloidaan keskenään ja pyritään nostamaan hälytyksiä siitä kun jotain epäilyttävää tapahtuu.

Tuolta saa enemmän tietoa EDR:stä What Is EDR? Endpoint Detection and Response | Microsoft Security

 

[leripe]

Paljonko korvauksia Crowdstrikeltä on odotettavissa näille firmoille?

Disclaimer-paskalausekkeet kunnossa ja mitään ei tarvitse korvata?

Osake tippui jo mutta pitkässä juoksussa ei mikään hurja tiputus vielä. Toivottavasti asiakkailta tulee palaute (tietoturvafirman vaihto) siihen malliin että tämä muistetaan.

Tuskin crowdstrikelle maksettavaksi juuri mitään, mutta palveluntarjoojille paitsi jos asiakkaat ostaneet crowdstrikeltä tämän palveluna. Isommat firmat ovat niin voineet tehdäkin kyllä. Suomessa tuskin, koska suomi on mssp maa.

 

[Hilppari]

Tuskin crowdstrikelle maksettavaksi juuri mitään, mutta palveluntarjoojille paitsi jos asiakkaat ostaneet crowdstrikeltä tämän palveluna. Isommat firmat ovat niin voineet tehdäkin kyllä. Suomessa tuskin, koska suomi on mssp maa.

Osakekurssi ainakin lähti syöksyyn ja huhuja on että olis tulossa isot korvausvaatimukset.

 

[leripe]

Osakekurssi ainakin lähti syöksyyn ja huhuja on että olis tulossa isot korvausvaatimukset.

Eiköhän varmasti tulekin, aina sitä voi pyytää, mutta oikeudessa sitten näkee paljonko saa. Sopimuksissa on jo mukana aina sanktiosummat ym.
Eiköhän näistä vielä kuulla, kun sinne asti etenee.
Suomessa tuskin mitää uutisia herättävää.

 

[Alatuberkuloosi]

Eikös jotain hmm... 10 vuotta sitten Apacheen livahtanut jokin rikkinäinen päivitys, olikohan jostain forkista eksynyt mainlineen, ja hehheh suurin osa Apache-palvelimista kaatui? En muista muita yksityiskohtia, luin pitkän artikkelin The Registeristä joskus.
En pikahaulla löytänyt lähdettä, saattoi olla ehkä jokin muu palvelimille olennainen ohjelmisto.

muoks: the registerin päivittyvä artikkeli. -66% sukeltanut osake

CrowdStrike shares sink amid global IT crisis

Emergency services, medical practices, airlines, banks, and more all crippled

www.theregister.com

 

[PyleP]

mielenkiintoinen tuo toimitusjohtajan historia

 

[Grazer]

Aivan varmasti tämä tapaus ja vähintään Crowdstriken toimari harjataan jenkeissä huolella. Jos näin paljon saa palveluita alas sillä että joku tietoturvajärjestelmätoimittaja tötöilee tuottamuksellisesti toimien (ei mene vahingosta tällainen töppi), niin kyllähän siinä on kyse jo kansallisesta turvallisuudesta.

 

[Dudem]

Eipä löydä millään, että oliko nuo erottaneet aiemmin porukkaa jotka on "turhia" kun ei koskaan käy mitään, niin mitäpä niillä tiimeillä tekee.

 

[Grazer]

Major outages at CrowdStrike, Microsoft leave the world with BSODs and confusion

Nobody's sure who's at fault for each outage: Microsoft, CrowdStrike, or both.

arstechnica.com

The costs of such an outage will take some time to be known, and will be hard to measure. Cloud cost analyst CloudZero estimated mid-morning Friday that the CrowdStrike incident had already cost $24 billion, based on a previous estimate.

Arvio taloudellisista vahingoista 24 miljardia dollaria. Siinä voi Giorgiota pikkuisen alkaa huimaamaan jos tuosta vaikka vain muutamakin prosentti vaadittaisiin korvattavaksi.

 

[Obi-Lan]

Tuotteena EDR toimii eri tavalla kuin perinteiset AV-tutkat. Siinä missä Defender ja muut vastaavat saavat sormenjälkipäivityksiä ja pyrkivät estämään haittaohjelmia, EDR taas pyrkii tunnistamaan haitallista toimintaa koneelta.

Defenderin saa lisensoitua paremmaksi missä tulee EDR ja pilvisuojausta ym mukana. Lisenssointi on MS tyyliin sekavaa, mutta tuote on ollut kohtuu kelvollinen.

Tuskin Crowdstrike tarvitsee paljoa korvata elleivät ole menneet kirjoittamaan sellaisia sopimuksia. IT alalle ei muuten kukaan tulisi tarjoamaan mitään, jos asiakas voi raastupan kautta kuittaa tienatut rahat moninkertaisina takaisin.

 

[Naamapalmu]

Osakekurssi ainakin lähti syöksyyn ja huhuja on että olis tulossa isot korvausvaatimukset.

Aivan varmasti tulee, lukuisia tietokoneita maailmanlaajuisesti BSOD loopissa ja asia pitäisi korjata käyttökohteessa, puhutaan kuitenkin ihan historiallisesta kämmistä, jonka seuraukset ovat massiivisia asiakasyrityksille. (Yhdysvalloissa yksistään peruttiin tuhansia lentoja ja kymmeniä tuhansia myöhässä, yksi pieni esimerkki vaikutuksista.)

 

[antero]

Taitaa oikeasti liittyä että kyseinen ohjelma on jokin AI viritys ja se huomasi että Windows se suurin uhka onkin.

Yrityksillä on yleensä vastuuvakuutukset jotka hoitaa tälläiset asiat ainakin johonkin rajaan asti.

Mutta onhan tämä erikoinen sattuma heti kun Kapersky lopullisesti blokattiin ulos markkinoilta.
Kaspersky Lab Closing U.S. Division; Laying Off Workers (zetter-zeroday.com)
Toistaalta se myös antaa korjausohjeet.
Kaspersky X:ssä: "CrowdStrike Update Crashes Windows Systems A widespread outage affecting numerous Windows systems worldwide, both servers and workstations, is attributed to a flawed update of drivers associated with CrowdStrike EDR solutions. The affected systems display the 'blue screen of https://t.co/4g5ApEeZqK" / X