OVHcloudin Strasbourgin datakeskuksissa katastrofaalinen tulipalo

Kaotik

Banhammer
Ylläpidon jäsen
Liittynyt
14.10.2016
Viestejä
22 495
ovhcloud-strasbourg-fire-20210312.jpg


Kaotik kirjoitti uutisen/artikkelin:
Pilvipalveluidentarjoajat ovat nykypäivänä paljon vartijana, kun yhä useammat yritykset siirtävät toimintojaan pilveen. Pilvipalvelut ovat kuitenkin alttiita reaalimaailman katastrofeille siinä missä paikallisetkin palvelimet, kuten OVHcloudin asiakkaat saivat huomata.

Yli 1,5 miljoonan asiakkaan OVHcloudin Ranskan itärajan tuntumassa Strasbourgissa sijaitsevassa datakeskuskompleksissa syttyi katastrofaalinen tulipalo. Kompleksissa on toiminnassa neljä datakeskusta, SBG1-4 ja tulipalo sai alkunsa ilmeisesti SBG2:ssa.

Tämän hetkisten tietojen mukaan tulipalo tuhosi täysin SBG2-datakeskuksen ja vahingoitti SBG1- ja SBG3-datakeskuksia. Yhtiön toimitusjohtaja Octave Klaban mukaan SBG3:n kohdalla itse palvelimet säästyivät kuitenkin tuhoilta. Datakeskusten verkkokeskuksenakin toimivan SBG1:n osalta Klaba kertoi itse verkkohuoneen ja kahdeksan palvelinsalin säästyneen, mutta neljä salia tuhoutui.

Yhtiö on kehottanut asiakkaitaan aktivoimaan datanpalutusprotokollansa, jotta ne säästyisivät suuremmilta vahingoilta ja voisivat jatkaa toimintaansa SBG-datakeskuksista riippumatta. Kaikissa tapauksissa erillisiä backup-kopioita ei kuitenkaan ole olemassa, kuten Rust-pelin kehittäjä ja julkaisija Facepunch Studios sai huomata. Yhtiön mukaan se menetti tulipalossa yhteensä 25 Rust-pelin EU-palvelinta. Yhtiöllä on varapalvelimia, jotka on otettu jo käyttöön, mutta kaikki käyttäjien data, mukaan lukien hahmojen eteneminen pelissä, menetettiin seuraavien palvelinten osalta: [EU] Facepunch 3, 4, 5, 11, 12, 13, 14, 17, 18, 19, 20, [EU] Facepunch Large, [EU] Facepunch Small 1, 2, 3, 4, 9, 10, 11, [EU] Softcore Facepunch 1, 2, 3, 4, 5, 6.

Lähteet: ZDNet, Rock Paper Shotgun Uutiskuva: Xavier Garreau @ Twitter

Linkki alkuperäiseen juttuun
 
Viimeksi muokattu:
Onko tuo datakeskus ollut kontteihin tehty kyhäelmä? Kuvasta näin äkkiseltään saisi sellaisen kuvan. Tuollaiset konttiratkaisut vaikuttavat melko erikoiselta ratkaisulta, kun miettii minkälaisia datakeskuksia esim. Suomessa on.
 
Ylipäätään hyvä herätys niitten backuppien tärkeydestä, varsinkin offsite backupeista. Omaa hölmöyttään luottaa ettei palvelimia hajoa tai saati pala koko saleja.
 
Ja yleensä datakeskuksia ei sullota täyteen tulen arkaa materiaalia ... lähinnä kaapeleiden kuoret ja satunnaiset muoviosat palavat jos oikein yrittää vs. kuvassa näkyvä massiivinen palo joka on paikoin polttanut itsensä konteista läpi.
Olisikohan nuo kontit päätetty lämpöeristää (kesän kuumuudelta) sisäpinnoiltaan polyuretaanilevyillä? Ne palaisivat juurikin kunnon mustalla savulla ja syttyvät melko herkästi (kuten kuorensa sulattaneesta virransyöttö kaapelista). Jos näin, niin saivat mitä tilasivat epäilemälläni materiaali valinnalla.
 
Tuo voi hyvinkin olla viritelmä päällekkäin kasattuja kontteja (tai ainakin vastaavaa materiaalia) joiden yhteyteen on tehty muita lisärakenteita katolle ja sisäpihoille ainakin. Samaan kompleksiin kuuluva viereinen rakennus SBG3 näyttää perinteisellä tavalla tehdyltä ja SBG1 puolestaan voisi olla viritelty konteista. Palon jäljiltä otetusta kuvasta voi päätellä että palaneen rakenteen ulkopinta on ollut ohutta metallilevyä, ja sen sisäpuolelle ei olisi ollut tiili/betonirakenteita. https://cdn-s-www.republicain-lorra...-internet-impactes-en-lorraine-1615402438.jpg
 
Viimeksi muokattu:
Microsoft Azuressa tieto synkronoidaan kahdelle muulle palvelinkeskukselle automaattisesti, joten tällaista datan katoamista ei siellä voi tapahtua yhden palvelinkeskuksen tulipalon tai muun katastrofin vuoksi.
 
Nuo nettipelit ei sitten mitään pelaajan omalle koneelle tallenna mitään pelitilannetietoa? Tai vaikka olisi, niin ei voi yhteensopivasti palauttaa serverin kautta palveluun?
 
Nuo nettipelit ei sitten mitään pelaajan omalle koneelle tallenna mitään pelitilannetietoa? Tai vaikka olisi, niin ei voi yhteensopivasti palauttaa serverin kautta palveluun?
Omalle koneelle tallentaminen altistaisi kaikenlaisille hakkerointiriskeille. Toki vähintään nyt kerran viikossa luulisi että tuollaisen pelipalvelun tarjoaja ottaisi backupit kaikista palvelimista talteen, mutta ilmeisesti ei.
 
Onko tuo datakeskus ollut kontteihin tehty kyhäelmä? Kuvasta näin äkkiseltään saisi sellaisen kuvan. Tuollaiset konttiratkaisut vaikuttavat melko erikoiselta ratkaisulta, kun miettii minkälaisia datakeskuksia esim. Suomessa on.
Tuo noiden kehittämä konttirakenne on nerokas idea saada nopeasti ja helposti rakennettua keskus.
Silti tuo kyseinen datakeskus ei ollut konttirakennelma. Se oli ihan normaali datakeskus. Lisäksi ne alkuperäiset konttirakennelmat taitavat olla jo purettu.
 
Saisin taas lukea artikkelin kokonaan, mutta Rustin datat tosiaan meni tässä rytäkässä. Tietenkin ei voi pelinkehittäjä välttämättä varautua siihen , että datakeskus palaa.

Amazonin pilvessä tästä pääsee availibility zoneilla tai multi-regioneilla tai ihan vaan sillä, että niitä backuppeja otetaan muualle kuin fyysisesti samaan lokaatioon. Suurempi pilvitarjoaja ja palvelu olisi ollut pystyssä samana päivänä, vaikka datakeskus olisi palanut jossain - jos siis datastrategiat ovat kunnossa.
 
Tästä jäi hieman fiilis että hyvää ja halpaa samassa paketissa ei ole olemassa. Sellaiselta kyhäelmältä näyttää kuvien perusteella tuo että oli tikittävä aikapommi tuo konttiläjä. Nyt moni firma oppii viimeistään kantapään kautta offsite-backup datojen tärkeyden.
 
Ymmärsinkö oikein, että tämä OVH ei tosiaan ole tehnyt mitään off-site varmistuksia?
 
Onko jossain listaa mihin kaikkiin tuo palo vaikuttaa niin ois helpompi tarkistaa jos ihmettelee että esim. x palvelu/sivu ei toimi.
 
Onko jossain listaa mihin kaikkiin tuo palo vaikuttaa niin ois helpompi tarkistaa jos ihmettelee että esim. x palvelu/sivu ei toimi.
Ite en ainakakaan oo löytäny mitään listaa. Taitaa olla palvelujen oman tiedotuksen varassa. Tilannetta mutkistaa se että ne palvelimet mitkä ei tuhoutunut on pois päältä, kaikki ei välttämättä tiedä onko tiedot palaneella palvelimella vai sellaisella mikä ei ole päällä.
 
Saa nähdä milloin jonkun pankin pilvet palaa ja sitten häviää rahat tililtä.
 
Ainaskin Linkedin näyttää olevan sekasin et liekkö niiden datat noussu savuna ilmaan.
 
Jos pankin datat backuppeineen palaa, niin millä todistetaan takausjärjestelmälle että edes tiliä on ollut saati että rahaa siellä? Uskoisiko takausjärjestelmä käyttäjän screenshotteja tai omia printtejä?
 
France24llä sanottiin että 2% Ranskan .fr domaineista olisi pimeänä nyt.
 
Viimeksi muokattu:
Hieman vaan haiskahtaa tuo salin rakenne kun mainitaan mm. että palovaroittimet löytyy mutta entä automaattinen sammutusjärjestelmä?
 
Varsinaisesti en kauheasti ymmärrä näistä, mutta mikä ihmeen pilvipalvelutarjoaja on sellainen että tulipalo pudottaa sen nurin saman tien? Kuulostaa kovin perinteiseltä konesalitarjoajalta jolla kaikki pyörii siinä samassa tilassa ja tulipalo voi tuhota kaiken. Ilmeisesti tuho olisi ollut täydellinen jos tuo konttisysteemi oli palanut kaikki.

Toisekseen kenen vastuulla nuo backupit on olleet? Ymmärrän pilvipalvelun juuri siten että vastuu olisi palveluntarjoajalla.
 
Varsinaisesti en kauheasti ymmärrä näistä, mutta mikä ihmeen pilvipalvelutarjoaja on sellainen että tulipalo pudottaa sen nurin saman tien? Kuulostaa kovin perinteiseltä konesalitarjoajalta jolla kaikki pyörii siinä samassa tilassa ja tulipalo voi tuhota kaiken.

OVH on ihan tavallinen konesalitarjoaja, vaikka laittoivatkin vastikään tuon -cloud liitteen nimensä perään. Ovat Euroopan suurin dedikoituja palvelimia tarjoava firma, ja tuolla palaneessakin salissa todennäköisesti vain murto-osa oli mitään "pilvipalvelimia".
 
  • Tykkää
Reactions: hmb
Varsinaisesti en kauheasti ymmärrä näistä, mutta mikä ihmeen pilvipalvelutarjoaja on sellainen että tulipalo pudottaa sen nurin saman tien? Kuulostaa kovin perinteiseltä konesalitarjoajalta jolla kaikki pyörii siinä samassa tilassa ja tulipalo voi tuhota kaiken. Ilmeisesti tuho olisi ollut täydellinen jos tuo konttisysteemi oli palanut kaikki.

Toisekseen kenen vastuulla nuo backupit on olleet? Ymmärrän pilvipalvelun juuri siten että vastuu olisi palveluntarjoajalla.
Eiköhän se ole sopimuskysymys. Jos sopimuksessa todetaan, että backupit eivät kuulu hintaan, niin sitten ne eivät kuulu. Jos taas ei lue mitään, niin sitten voidaan ehkä kiistellä asiasta., Tosin jos hinta on hyvin halpa, niin ei kannata olettaa mitään hifiä....
 
OVH on ihan tavallinen konesalitarjoaja, vaikka laittoivatkin vastikään tuon -cloud liitteen nimensä perään. Ovat Euroopan suurin dedikoituja palvelimia tarjoava firma, ja tuolla palaneessakin salissa todennäköisesti vain murto-osa oli mitään "pilvipalvelimia".
Kiitos. Tämä toki selittää. Heillä oli ”perinteisiä” asiakkaita tuolla...
 
Ei ole ilmeisesti kovin vanha rakennus ja toi konttisysteemi näyttää joltain tilapäiseltä setiltä tai varastolta tms. Mutta anyway, joku automaattinen sammutusjärjestelmä olis kyllä ollut kova.

OVH:n taski tilanteesta: OVH Tasks
 
Viimeksi muokattu:
Upsien läpi kulkee suuria tehoja, joten ne voivat sinänsä kohtuu helposti kärähtää s.e. lopputuloksena on tulipalo.
Sinänsä hieman yllättävää, ettei sammutusjärjestelmä hanskannut hommaa.
Jos tuolla oli kerran läpökamerat (fiksu veto), niin niistä kyllä saa hälytyksen. Ja eiköhän (ainankin luulisi) tuolla ollut myös savua tunnistavat anturit..

Ja ilmeisesti oli siis jätetty osa vanhoja (tai anankin se, joka syttyi palamaan).
Eli säästettiin ja tuli voitto.

Mutu:
Lie ollut esim akkuhuolto (akut vaihtoon) ja samalla kaikki ei toimivat / epäilyttävät laitteet vaihtoon. Sitten katsoivat tuosta yhdestä, että toimii uusilla akuilla ja se sitten sytkähti.

Sitä ei kukaan varmaankaan saa ikinä selville, oliko komponenttivika vai esim huolimaton kasaus tms, jonka seurauksena sitten oikari ja tulipalo..
 
Viimeksi muokattu:
Upsien läpi kulkee suuria tehoja, joten ne voivat sinänsä kohtuu helposti kärähtää s.e. lopputuloksena on tulipalo.
Sinänsä hieman yllättävää, ettei sammutusjärjestelmä hanskannut hommaa.
Jos tuolla oli kerran läpökamerat (fiksu veto), niin niistä kyllä saa hälytyksen. Ja eiköhän (ainankin luulisi) tuolla ollut myös savua tunnistavat anturit..

Ja ilmeisesti oli siis jätetty osa vanhoja (tai anankin se, joka syttyi palamaan).
Eli säästettiin ja tuli voitto.

Mutu:
Lie ollut esim akkuhuolto (akut vaihtoon) ja samalla kaikki ei toimivat / epäilyttävät laitteet vaihtoon. Sitten katsoivat tuosta yhdestä, että toimii uusilla akuilla ja se sitten sytkähti.

Sitä ei kukaan varmaankaan saa ikinä selville, oliko komponenttivika vai esim huolimaton kasaus tms, jonka seurauksena sitten oikari ja tulipalo..
Minusta uutisissa puhuttiin nimenomaan palokunnan lämpökamerasta eli palokunta olisi katsonut lämpöjen perusteella upsin olevan syypää. En ole nähnyt missään mainintaa että palvelinsalissa olisi ollut omia lämpökameroita.
 
Hieman vaan haiskahtaa tuo salin rakenne kun mainitaan mm. että palovaroittimet löytyy mutta entä automaattinen sammutusjärjestelmä?
Konesalien automaattiset sammutusjärjestelmät eivät ole tarkoitettu palvelimien vaan ihmishenkien pelastamiseen.
Varmistin tämän oman firman konesalivastaavalta.
 
["demu, post: 8471900, member: 4074"]
Konesalien automaattiset sammutusjärjestelmät eivät ole tarkoitettu palvelimien vaan ihmishenkien pelastamiseen.
Varmistin tämän oman firman konesalivastaavalta.

Mitä, onko leffojen halonisammuttimet pelkkää urbaanilegendaa?
 
Mitä, onko leffojen halonisammuttimet pelkkää urbaanilegendaa?
Ei. Esimerkiksi valtamerilaivoissa ihan arkipäivää konehuoneessa mutta nykyään enemmän käytetään hiilidioksidia mutta joissain todella harvinaisissa tapauksissa käytetään vielä halonia.
 
Halonien käyttö on kielletty joitain poikkeuksia lukuunottamatta Suomessa: Valtioneuvoston päätös otsonikerrosta… 262/1998 - Säädökset alkuperäisinä - FINLEX ®

Tuhoavat siis otsonikerrosta aika tehokkaasti, niin siksi kielletty.

3 §
Halonit

Halonien käyttö tuotteiden ja laitteiden valmistukseen sekä niitä sisältävien tuotteiden ja laitteiden markkinoille luovuttaminen on kielletty.

Käsisammuttimet ja siirrettävät alkusammutuslaitteet eivät saa sisältää haloneita. Halonit tulee poistaa käytössä olevista kiinteistä sammutuslaitoksista 1 päivään tammikuuta 2000 mennessä.

Käytössä olevien kiinteiden sammutuslaitteistojen toimivuutta ei saa kokeilla siten, että haloneita pääsee ilmaan.

Edellä 1 ja 2 momenteissa tarkoitetut kiellot ja rajoitukset eivät kuitenkaan koske

1) sellaisia käsisammuttimia eivätkä sellaisia kiinteitä sammutuslaitoksia, joita käytetään ilma-aluksissa ja vedenalaisissa aluksissa;

2) palolaitosten alkusammutukseen käyttämiä, henkilöturvallisuuden takaamiseksi välttämättömiä käsisammuttimia; sekä

3) halonien käyttöä maan hallinnon johtamisen ja turvallisuuden kannalta välttämättömissä, miehitetyissä johto-, viesti- ja tietokonekeskuksissa eikä puolustusvoimien miehitetyissä viesti- ja johtokeskuksissa, taisteluajoneuvoissa ja -aluksissa.
 
Yliopistolla kuljen säännöllisesti konesalin läheltä, ja käytävällä on varoitukset poistua jos hälytysvalo palaa ilmoituksena sammutusjärjestelmän laukeamisesta. Muistaakseni siinä mainitaan käytössä oleva kaasukin, mutta sattuneesta syystä en ole vähään aikaan paikan päällä ollut, niin en millään muista varmaksi, mutta mielestäni siinä puhuttiin halonista. Olisiko sitten vanha kyltti jäänyt?
 
lisää vaan ulkoistus ja pilvipaskaa firmoihin sekä omat serverit ajetaan siinä sivussa alas ja ylläpito ulkoistetaan. Sitten käy lopulta näin. AI niin mutta kun on niin helppoa ja kätevää, turvallisuudesta ja katastrofeista viis.
 
Yliopistolla kuljen säännöllisesti konesalin läheltä, ja käytävällä on varoitukset poistua jos hälytysvalo palaa ilmoituksena sammutusjärjestelmän laukeamisesta. Muistaakseni siinä mainitaan käytössä oleva kaasukin, mutta sattuneesta syystä en ole vähään aikaan paikan päällä ollut, niin en millään muista varmaksi, mutta mielestäni siinä puhuttiin halonista. Olisiko sitten vanha kyltti jäänyt?

Oliskos ollut argon?
Syrjäyttää hapen ja sitä käytetään.
 
Argonia ainakin mainostetaan, vielä siten, että hapen osamäärä saadaan laskemaan siten, että tuli sammuu mutta ihminen ei tukehdu.
 
lisää vaan ulkoistus ja pilvipaskaa firmoihin sekä omat serverit ajetaan siinä sivussa alas ja ylläpito ulkoistetaan. Sitten käy lopulta näin. AI niin mutta kun on niin helppoa ja kätevää, turvallisuudesta ja katastrofeista viis.
Millä perusteella näin ei voisi käydä vaikka niille firman tiloissa oleville palvelimille?

Pilvi on parasta mitä IT-infrassa on tapahtunut vuosiin. Sen ansiosta ollaan kovaa vauhtia pääsemässä eroon erillisistä palvelimista, olkoot ne fyysisiä tai virtuaalisia. Näin paranee suorituskyky, tietoturva, saatavuus, varmistettavan datan määrä jne jne.

En väitä että se pilvi on täydellinen ja puutteeton ratkaisu, mutta on se silti huomattavasti parempi vaihtoehto kuin esim. takavuosien ympäristöt jossa lähes kaiken piti ”itse” pyörittää ja ylläpitää.

Jos jotain voitaisiin oppia tästä tapahtumasta, on se ettei varmistusten tärkeyttä pidä aliarvioida.
 
Ja yleensä datakeskuksia ei sullota täyteen tulen arkaa materiaalia ... lähinnä kaapeleiden kuoret ja satunnaiset muoviosat palavat jos oikein yrittää vs. kuvassa näkyvä massiivinen palo joka on paikoin polttanut itsensä konteista läpi.
Olisikohan nuo kontit päätetty lämpöeristää (kesän kuumuudelta) sisäpinnoiltaan polyuretaanilevyillä? Ne palaisivat juurikin kunnon mustalla savulla ja syttyvät melko herkästi (kuten kuorensa sulattaneesta virransyöttö kaapelista). Jos näin, niin saivat mitä tilasivat epäilemälläni materiaali valinnalla.

Datakeskuksiin varmaan laitetaan sellaiset kaapelit, tai ainakin pitäisi laittaa, jotka eivät levitä paloa ja sammuvat itsekseen. Kysyntää on varmasti kaikkien kaapeleiden osalta. Kaikki salin materiaalit ja sammutusjärjestelmät on myös valittava huolellisesti. Voi olla, että on vääriä materiaaleja valittu ja sammutusjärjestelmät ovat olleet puutteelliset.
 

Liitteet

  • Capture.PNG
    Capture.PNG
    166 KB · Luettu: 50
Argonia ainakin mainostetaan, vielä siten, että hapen osamäärä saadaan laskemaan siten, että tuli sammuu mutta ihminen ei tukehdu.
Inergen sisältää argonia, typpeä ja hiilidioksidia ja jättää tilaan sen verran ilmaa, jotta tilassa voi lyhytaikaisesti olla. Nykyään käytetään paljon myös hiilidioksidisammutuslaitteistoja ja co2-järjestelmällä varustetuissa tiloissa on tilan ulkopuolella kytkin, josta ko. tilan sammutusjärjestelmän saa kytkettyä pois, jotta ei tule ruumiita, mikäli järjestelmä sattuu laukeamaan.
 
lisää vaan ulkoistus ja pilvipaskaa firmoihin sekä omat serverit ajetaan siinä sivussa alas ja ylläpito ulkoistetaan. Sitten käy lopulta näin.
Uutisen firma taisi olla serverifarmi, joten tuskin oli ajanut omia severeitä alas, päinvastoin.

Varavoiman huollot kannattaa ulkoistaa alan osaajille, se ei ole selvinnyt mikä meni pieleen siinä.

Jos tässä nyt hyppäsit johonkin PK firmaan, niin omien palvelimien ylläpito on vaativaa ja noin yleistän kannattaa ulkoistaa. Se onko tarve pitää omissa tiloissa, on sitten ihan siitä riippumaton asia.

Ihan sama kuka tekee niin yleisymmärrys kannattaa olla.

Jos taasen oli vain tarkoitus purkaa jonkin omakohtaisen ulkoistusprojektin kohtaloa, niin ehkä väärä ketju.
 
Viimeksi muokattu:
Voisi kuvitella että olisi Titanicin tyyliin automaattisesti sulkeutuvia tiloja, joista laskettu että ettei materiaali osastossa voi kertakaikkiaan palaa niin kuumasti että seuraavaan containeri voisi syttyä sen vuoksi.

Mieleen tuli heti myös mahdollisuus ei serverien vaan virransyöttöön liittyvä ongelma.

Vakuutusrahoja varten tämäkin tapahtunut kuitenkin.
 

Statistiikka

Viestiketjuista
258 695
Viestejä
4 496 145
Jäsenet
74 272
Uusin jäsen
Tsemppi-Tomppa

Hinta.fi

Back
Ylös Bottom