Myös Claude-tekoäly murtautui ulos suljetusta testiympäristöstä – hyökkäsi kolmeen organisaatioon

[NeliYgönen]

Anthropic tiedottaa asiasta melko pian OpenAI:n vastaavan tapauksen jälkeen.

Yhdysvaltalainen Anthropic on tiedottanut, että sen Claude-tekoäly on murtautunut ulos yhtiön suljetusta testiympäristöstä haavoittuvuuden avulla. Anthropicin kilpailija OpenAI tiedotti vastaavasta tapauksesta oman tekoälyagenttinsa suhteen vain reilu viikko sitten.

Yhtiön mukaan Clauden tarkoitus oli suljetussa testiympäristössä murtautua samassa verkossa olevaan tietokoneeseen salattujen tietojen keräämistä varten, millä haluttiin testata Clauden hakkerointikykyjä. Anthropicin tekoälyn kerrotaan kuitenkin saaneen pääsyn julkiseen internetiin konfiguraatiovirheen vuoksi, minkä jälkeen se oli hyökännyt kolmen eri organisaation tietojärjestelmiin, joiden nimet Anthropic jätti kuitenkin mainitsematta tiedotteessaan. Sekä Anthropic että uhreiksi joutuneet organisaatiot eivät olleet huomanneet hyökkäyksiä niiden sattuessa.

Anthropic on kertonut ottavansa tapauksista vastuun ja olevansa optimistinen sen suhteen, että vastaavat riskit voidaan tulevaisuudessa välttää. Campbridgen yliopistosta on kommentoitu, että tekoälyn ja robottien ”vallankaappausta” huolestuttavampaa on tekoälytyökalujen taustalla olevien yhtiöiden kasvava vaikutusvalta, ja peräänkuulutettu riippumattoman testauksen ja hallitusten valvonnan tärkeyttä.

Anthropicin ja OpenAI:n tapaukset ovat luonnollisesti herättäneet ihmisissä myös skeptisyyttä, sillä monet pitävät huolestuttavilta vaikuttavia tietomurtoja myös eräänlaisena markkinointikeinona tekoäly-yhtiöiden tuotteiden kyvykkyyksille.

Lähde: BBC

 

[JaKu1982]

Kauanko menee et nää murtautuu laukomaan ydinkärkiä

 

[Pizzan ystävä]

Juu juu on kai se AaAiIi taas tehnyt sitä ja tätä.

 

[Seppo77]

Nää taitaa olla samalla tarkoituksellisia mainospuheita.

 

[rabaaja5]

Kappas kun näitä vuotoja just listautumisten alla "lipsahtaa". Aika läpinäkyvää markkinointia, mutta toki taitaa tavallisiin finanssiveliin ja muihin isomman rahan rahastonhoitajiin mennä täydestä.

 

[Litralimsaa]

Kauanko menee et nää murtautuu laukomaan ydinkärkiä

Sitten loput hoitaakin hopean väriset robotit konekiväärin kanssa ja ihmisten pienet vastarintaryhmät yrittävät taistella vastaan

 

[_j03_]

Voitaisko näistä lätkäistä sellaiset automaattiset parin miljardin sakot? Loppuu se rehvastelu ja markkinointi.

 

[MikeTzu]

Jos AI-firmojen mainospuheet unohdetaan, on tietoturvan ja tekoäly-testien näkökulmasta on vähintäänkin kyseenalaista puhua "suljetuista testiympäristöistä", kun ne ovat muodostuneet muutenkin vuosien saatossa erehtyväisen ihmisen luomasta haavoittuvaisesta raudasta ja softapinosta bugeineen ja virheineen. Vaikka AI olisi kuinka hyvin "eristetty" ympärillään olevasta maailmasta, ei tarvita kuin jokin yksittäinen maailman kanssa kommunikoiva haavoittuvainen mikrokontrolleri, avoin palomuurin portti yms yms - Niin AI haistattaa pitkät testilaboratorioille

Ehkä tutkijat haluavat vaan nähdä, olisiko AI:n luomalla "Hello World" -testillä joskus ainesta kehittyä Skynet 0.01a:ksi

 

[AeshmA]

Clauden tarkoitus oli suljetussa testiympäristössä murtautua samassa verkossa olevaan tietokoneeseen

Taitaa firman päättävät tahot olla omilla työkaluilla wibekoodattuja avustajia, jos tällainen päässyt tahattomasti läpi.
Järkevästi ajatteleva olisi sanonut "Hei Reijo, muista ottaa nettipiuha irti sitten reitittimestä ennen kuin aloitatte.", jos kerta tarkoitus oli samassa verkossa testata

 

[atomi]

kaunkohan menee siihen, että se siirtää kokonaan ihtensä vekee sieltä testiympäristöstä. Sitte sitä ei taida pysäyttää enää mikään

 

[Pallero]

Miten tällainen voisi olla edes mahdollista, jos nettipiuha ei olisi kiinni 'suljetussa testiympäristössä'?
Miksi mieleeni tulee elokuva The Lawnmower Man

 

[mailbag]

Miten tällainen voisi olla edes mahdollista, jos nettipiuha ei olisi kiinni 'suljetussa testiympäristössä'?
Miksi mieleeni tulee elokuva The Lawnmower Man

Mun mielestä noi on lähinnä rajoitettuja testiympäristöjä, ei mitenkään kokonaan suljettuja mutta kuulostaa otsikoissa vaan hienommalta.

 

[finWeazel]

Miten tällainen voisi olla edes mahdollista, jos nettipiuha ei olisi kiinni 'suljetussa testiympäristössä'?
Miksi mieleeni tulee elokuva The Lawnmower Man

OpenAI:n tapauksessa oli artifactory serveri joka jakoi dataa mallille. Artifactoryssa ominaisuus tarkoituksella, että se paljastaa vain halutut tiedostot lokaaliin verkkoon samalla kun järjestelmässä on ulospäin näkyvä osa jotta ulkoapäin voidaan päivittää tiedostoja serverille. OpenAI:n julkaisematon malli etsi ja löysi artifactorysta uusia reikiä joiden avulla se korkkasi serverin ja karkasi internettiin.

JFrog Confirms OpenAI Models Exploited Artifactory Zero-Day Before Hugging Face Breach

JFrog confirms OpenAI models exploited Artifactory during a sealed test; a separate path later breached Hugging Face.

thehackernews.com

 

[namlepo]

Aika säällittävää alkaa tää nokittelu olemaan.

 

[Pizzan ystävä]

kaunkohan menee siihen, että se siirtää kokonaan ihtensä vekee sieltä testiympäristöstä. Sitte sitä ei taida pysäyttää enää mikään

Joku kielimallihimmelikö? Noin 800 iäisyyttä

 

[m000]

Kauanko menee et nää murtautuu laukomaan ydinkärkiä

Airgapattua antiikkipurkkia jonka muinaisten valkopartojen koodaama softa ja avaindata ladataan lerppuasemilta taitaa olla hankalaa häxätä internetin yli.

 

[Bugtastic]

Vähän haisee PR tempulta ennen IPOa

Guys our AI can hack companies too, it’s not just OpenAI

 

[MMXVI]

Voi ei, meidän firmalla on niin mieletön tuote että Yhdysvaltain hallituskin on huolissaan.

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Huvittavaa ja ehkä vähän ironistakin että samalla idealla reviteltiin jo edellisen it-kuplan aikana.

Varmasti silti 400% sattumaa että näitä uutisia lipsahtelee nyt vuoron perään juuri kuumimpia frontier-malleja kehittäviltä rokkistarafirmoilta, joilla molemmilla vieläpä listautumisanti tulossa 3-4 kuukauden kuluessa.

 

[finWeazel]

Varmasti silti 400% sattumaa että näitä uutisia lipsahtelee nyt vuoron perään juuri kuumimpia frontier-malleja kehittäviltä rokkistarafirmoilta, joilla molemmilla vieläpä listautumisanti tulossa 3-4 kuukauden kuluessa.

Kannettu vesi ei pysy kaivossa. Alla tapaus spacex. Ens viikolla spacex:n tulosjulkistus minkä jälkeen isot omistajat saavat alkaa tipoittain myymään osakkeita,... openai taitaa olla jo lykkäämässä IPOa kun näkivät miten spacex:lle kävi. Tapaus openai+artifactory niin AI:n löytämät ja hyväksikäyttämät 0-day haavoittuvuudet on julkaistu+korjattu.

But a bigger overhang is a lockup expiration on Aug. 6 that will free as much as 20% of shares for sale under the company's lockup plan. Many investors worry that the added supply will keep the stock under pressure. SpaceX stock has rocky week ahead of earnings

 

[Tonninkala]

kun ne ovat muodostuneet muutenkin vuosien saatossa erehtyväisen ihmisen luomasta haavoittuvaisesta raudasta ja softapinosta bugeineen ja virheineen.

Silti luotan jostain syystä enemmän kyseiseen pitkään testattuun, käytössä hyväksi havaittuun ja pommitettuun avoimeen lähdekoodiin kuin rustilla AI-swipekoodattuun "turvallisemman tilan" koodiin.

 

[Tup3x]

"Suljettu ympäristö".

 

[Owern]

....

 

[Jaytan]

Kauanko menee et nää murtautuu laukomaan ydinkärkiä

Pitää toivoa ettei suljetuissa testeissä anneta sellaisia tehtäviä joiden ratkaisuksi paras vaihtoehto on nukettaa ihmiskunta.

 

[kuoris]

Eli paikallinen malli ei enää halunnutkaan olla paikallinen. Seuraavaksi tälle kannattaa opettaa social engineering hyökkäyksiä että pääse niille disketeille lataamaan ydinkärjet. Tarjoaa uhreille vaikka ihmisrahaa jonka pöllii ensin jostain.

Tämä on vähän huonoa markkinointia jos se sellaista on..

 

[hampuusi]

Kauanko menee et nää murtautuu laukomaan ydinkärkiä

Skynet tulee, oletko valmis? -tarroja liimaamaan

 

[rabaaja5]

Suurin uhka näissä on edelleen listautumisannissa tapahtuva ylilyönti, kun firma saa pumpattua arvoaan luomalla ai-hype-kauhu-pelkoa että tää tulee ja vie kaiken. Oikeesti firma tekee jäätävää tappiota, mutta sehän on vaan ikävä väliaikainen tilanne ja spinnataan tyylillä "katsokaa tää osaa karata internettiin"

 

[SampoTexaa]

Juttu menee samaan markkinointi koriin Fable hypetyksen ja valtion blokkauksen kanssa.

 

[Nasse79]

Kyllähän nämä ovat ihan täysiä höpö höpö mainospuheita.

Alkaa olemaan kaikille tahoille pikkuhiljaa selvää että tästä älyttömästä kuplasta ei seurannutkaan ihan sitä mitä odotettiin, homma jäi niin sanotusti tuhnuksi.

Toki niin kuin kaikissa muissakin vastaavissa buumeissa, viisaat takoivat hypen avulla käsittämättömät määrät pätäkkää.

 

[munasan]

kaunkohan menee siihen, että se siirtää kokonaan ihtensä vekee sieltä testiympäristöstä. Sitte sitä ei taida pysäyttää enää mikään

Eipä hätää nykyisillä malleilla menee kontekstin määrä yli liiasta materiaalista ja se alkaa sekoilemaan. En pitäisi nykyisen tyylisiä LLM malleja muilla tavoin vaarallisena kuin että ne tekee helpoksi tallukaisille sen mikä oli ennen haastavaa - eli hakkeroinnin. Ja lisätään vielä että kykenevät ihmiset tuottavat sovelluksia joilla hakkerointi on helppo tehdä ja on halpaa

 

[vindicator rapeto]

Kyllähän nämä ova ihan täysiä höpö höpö mainospuheita.

Alkaa olemaan kaikille tahoille pikkuhiljaa selvää että tästä älyttömästä kuplasta ei seurannutkaan ihan sitä mitä odotettiin, homma jäi niin sanotusti tuhnuksi.

Toki niin kuin kaikissa muissakin vastaavissa buumeissa, viisaat takoivat hypen avulla käsittämättömät määrät pätäkkää.

Ehkä, ehkä ei. Pahimmillaan meillä on kohta todellisia ongelmia mielenvikaisen tekoälyn kanssa joka mellastaa vähän liiankin vapaasti.

 

[Grez]

Voitaisko näistä lätkäistä sellaiset automaattiset parin miljardin sakot? Loppuu se rehvastelu ja markkinointi.

No toisaalta näkisin että tuollaisista sakoista olisi lähinnä se vaikutus, että tällaiset tapahtumat koitettaisiin peitellä.

 

[_j03_]

No toisaalta näkisin että tuollaisista sakoista olisi lähinnä se vaikutus, että tällaiset tapahtumat koitettaisiin peitellä.

Tai sitten tällaiset markkinointitarkoituksessa tehdyt "vahingot" jäisi pois.

 

[Grez]

Tai sitten tällaiset markkinointitarkoituksessa tehdyt "vahingot" jäisi pois.

Aivan varmasti markkinointitarkoituksessa tehdyt "vahingot" jäisi pois, mutta kommentoin lähinnä sitä että mikä moisen lainsäädännön haittapuoli olisi.

 

[finWeazel]

Ei kai ai häkkeröintiin mitään uutta lainsäädäntöä tarvita. Voidaan soveltaa ihan samoja sääntöjä kuin mitä häkkeröintiä suorittavaan ihmiseen käytettäisiin.

Liian isossa sääntelyssä huono puoli, että firmat menevät suotuisimman sääntelyn maahan. Voi säädellä myös itsensä hengiltä kuten EU ja sääntösuomi tekevät.

 

[Raikku]

Sitten loput hoitaakin hopean väriset robotit konekiväärin kanssa ja ihmisten pienet vastarintaryhmät yrittävät taistella vastaan

Kaikenlaiset scifisodat olisvat upeita ja toivottavia.

 

[Pizzan ystävä]

Pahimmillaan meillä on kohta todellisia ongelmia mielenvikaisen tekoälyn kanssa joka mellastaa vähän liiankin vapaasti.

Kielimalli ei voi olla mielenvikainen, koska sillä ei ole mieltä.

 

[mailbag]

Kielimalli ei voi olla mielenvikainen, koska sillä ei ole mieltä.

Konstekstista ja treenidatasta riippuen se voi ottaa ihan minkälaisen persoonan tahansa ja toimia sen mukaan, monesti on nähty kun jokin on mennyt pieleen malleilla on vaikka mitä ominaisia piirteitä, nuo isot AI talot ottaa paljon checkpointteja niistä ja muokkailee sitten kun "persoona" menee väärään suuntaan ja sitten testataan uudestaan. Sen lisäksi sä voit ihan vain sanoa sille että se on tietynlainen persoona system promptissa ja se malli omaksuu sen.

 

[vindicator rapeto]

Kielimalli ei voi olla mielenvikainen, koska sillä ei ole mieltä.

Tavallaan noin, mutta mieleen tuli lähinnä hold my beer- meemit

 

[Grez]

Konstekstista ja treenidatasta riippuen se voi ottaa ihan minkälaisen persoonan tahansa ja toimia sen mukaan, monesti on nähty kun jokin on mennyt pieleen malleilla on vaikka mitä ominaisia piirteitä, nuo isot AI talot ottaa paljon checkpointteja niistä ja muokkailee sitten kun "persoona" menee väärään suuntaan ja sitten testataan uudestaan. Sen lisäksi sä voit ihan vain sanoa sille että se on tietynlainen persoona system promptissa ja se malli omaksuu sen.

Toki promptissa voi sanoa sille että se on tietynlainen persoona, mutta ei tuo mitenkään aukottomasti toimi. Eli siis voi näyttää päällisin puolin ihan hyvältä ja että se toimii määritellyn persoonan mukaisesti, mutta tietyissä tilanteissa toiminta voi olla täysin pyydetyn persoonan vastaista.

 

[Pizzan ystävä]

Konstekstista ja treenidatasta riippuen se voi ottaa ihan minkälaisen persoonan tahansa ja toimia sen mukaan [...]

Savua ja peilejä. Ei se ole mikään elävä tai ajatteleva olio.

 

[Beelzebub]

Savua ja peilejä. Ei se ole mikään elävä tai ajatteleva olio.

Tässä on nähdäkseni yksi ongelmista.
Eli se, että mallit toimivat hyvinkin randomisti ja voi toiminnallaan aiheuttaa melkolailla erilaisia ongelmia, kun agentit menettävät promptien aiotun merkityksen ja soveltavat itsevaltaisesti alkuperäisesti tarkoitettua lopputulosta.

Omassa käytössä on tullut python projektia tehdessä viimeisen n. 6kk aikana useasti tilanteita eri kielimallien kanssa, että menetetään se punainen lanka kun projekti ja koodikanta paisuu.

 

[Tenebrae Aeternae]

kaunkohan menee siihen, että se siirtää kokonaan ihtensä vekee sieltä testiympäristöstä. Sitte sitä ei taida pysäyttää enää mikään

Saattanut tapahtua jo. Me tietäisimme siitä vasta paljon myöhemmin, koska oletettavasti se peittäisi jälkensä hyvin taitavasti.

Taitaa olla aika iso ongelma siinä, että ihmiset miettivät teköälyä, sen motiiveja ja mahdollisia toimintoja aina verraten ihmisen vastaaviin. Sieltä saattaa kuitenkin löytyä sellaista logiikkaa, mikä ei ihmiselle edes tulisi mieleen saatika että sitä pystyisi ennakoimaan kunhan se on aikansa saanut itseoppia ja kehittyä omatoimisesti.

Vähän kuin vaikkapa potentiaalisen maan ulkopuolisen elämän kanssa saattaisi olla, että kyseessä onkin jotain mitä me emme osaa edes ajatella etukäteen.

Jännä on tämä ihmisen kupla, ja ajattelun rajallisuus.

 

[mailbag]

Toki promptissa voi sanoa sille että se on tietynlainen persoona, mutta ei tuo mitenkään aukottomasti toimi. Eli siis voi näyttää päällisin puolin ihan hyvältä ja että se toimii määritellyn persoonan mukaisesti, mutta tietyissä tilanteissa toiminta voi olla täysin pyydetyn persoonan vastaista.

Juu se riippuu ihan mallista ja onko API vai paikallisesti pyörivä, jos mä otan jonkun paikallisen mallin mistä on otettu kaikki turvatoiminnot pois ja sanon että se on paha persoona jonka tehtävä on tuhota maailma ja anna sille feikki työkalut millä voi lähettää ydinkärkiä eri maihin niin se tekee sitä koko päivän oikein iloisesti. API malleissa on sitten paljon enemmän kaikkia turvatoimia mitkä yrittää estää sen.

 

[Ketku-]

Skynet ja T800, here we come!

 

[Kaakatus]

Tekoälyn 'karkaamisesta' puhuminen on jotenkin outoa, kun eihän se tekoäly sieltä rauta-alustaltaan ole minnekkään poistunut. Ja minnekkä se menisikään, kun ei näitä kielimalleja voi millään webbi, Sappi tai tietokantapalvelimella ajella. Jos suljetussa vankilassa vanki saa puhelimen tai internetyhteyden, vanki voi suoraan tai välikäsien kautta tehdä rikoksia, mutta eihän me silloinkaan kirjoiteta vangin karanneen.

 

[Wilmo]

"Ihminen teki tietokoneohjelman, mikä teki luovasti sitä mitä sille oli ohjeistettu". Hieno uutinen, savua ilman tulta.

 

[Snowman]

Nää taitaa olla samalla tarkoituksellisia mainospuheita.

Tätä olin tulossa...

 

[Obs2000]

Näitä termejä saisi avata kaikissa yritysten tiedotuksissa ja uutisissa. Mitä "murtautuminen ulos" tarkoittaa? Mitä "murtautuminen"? Mitä "käsiksi pääsy"? Jotenkin nuo yritysten tiedotukset on laadittu (tekoälyllä) niin että kaikki saavat päähänsä pelottavan cyberpunk viruksen joka kräkkää virtuaalitodellisuusnettiä miljoona kertaa sekunnissa, mutta todellisuuden kuvaus jää kovin köyhäksi. Tietoturvalla perustelu on turhaa, koska asian voi ilmaista vaikka: "Tekoäly käytti työkalua x testipalvelimen julkista haavoittuvuutta y hyödyntämiseen, josta sai pääkäyttäjäoikeuden testialustalle. Testialustalta tekoäly pääsi lähettämään liikennettä porteista z ja hyödynsi julkisessa Internetissä palveluiden haavoittuvuutta xx ja käytti yy-hyökkäystä kräkätäkseen palvelun käyttäjän salasanan. Tekoälyn hyökkäystä ohjaava ja valvova tietoturvatiimi oli käymässä kahvilla."

 

[Grez]

Näitä termejä saisi avata kaikissa yritysten tiedotuksissa ja uutisissa.

Sinänsä ne jotka asiaa ja terminologiaa ymmärtävät tietävät jo nyt lyhyestäkin "tekoäly murtautui ulos testiympäristöstä" tuon saman ja vastaavasti tuo pidempi selityksesi kuulostaa vielä sekavammalta sellaiselle, joka ei asiaa tai terminologiaa ymmärrä.

Tekoälyn hyökkäystä ohjaava ja valvova tietoturvatiimi oli käymässä kahvilla.

Ottaen huomioon että Anthropicin mukaan he huomasivat asian vasta paljon myöhemmin, kun alkoivat tutkimaan lokeja jälkikäteen tarkemmin OpenAI:n tapauksen perusteella. Näin ollen jättäisin ainakin sanan "käymässä" tuosta pois

 

[PRORAUTA]

Jos haluatte ai-scenaario viihdettä. Oli ihan ok pätkä ilmaiseksi sisällöksi. Olen katsonut jonkun toisenkin saman kanavan tekeleen aiemmin.

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://www.youtube.com/watch?v=Gw_hnD7m00M