Tekoälyagentti hakkeroi kuntosalin varausjärjestelmän saadakseen ajan käyttäjälleen

[Kaotik]

Australialainen tekoälyn innokas hyödyntäjä "Andrew" oli pyytänyt OpenClawilta apua päästäkseen jonotuslistalla ylöspäin samalla viikolla olevalle ohjatulle kuntosalitunnille.

Tekoälyagentti kävi tuumasta toimeen ja hakkeroi kuntosalin varausjärjestelmän, poisti sieltä yhden käyttäjän, mikä nosti Andrewn sijoitusta jonotuslistalla. Lisäksi se tarjosi Andrewlle mahdollisuutta varata aikoja paljon pidemmälle, mitä kuntosalin järjestelmä normaalisti mahdollisti.

Kun tekoälyagentti kertoi poistaneensa ykkössijalla olleen jonottajan, tajusi Andrew homman menneen pieleen ja pyysi agenttia palauttamaan poistetun toisen käyttäjän listalle. Tähän agentti ei kuitenkaan kyennyt ja pahoitteli että sen olisi pitänyt olla varovaisempi toimissaan. Andrew pyysi OpenClawia sen jälkeen kirjoittamaan varausjärjestelmän luoneelle yritykselle sähköpostin tapahtuneesta ja löytämästään haavoittuvuudesta.

Oma osansa tapauksessa oli varausjärjestelmän heikossa toteutuksessa, mutta samalla se näyttää rumaa todellisuutta siitä, millaista kiusaa ja jopa vahinkoa tekoälyagentit voivat helposti tehdä reaalimaailmassa.

Lähde: https://www.tomshardware.com/tech-i...hat-after-trying-to-bump-user-up-the-waitlist

 

[polarbear62]

Siinä on työmoraali kunnossa kun toteuttaa käyttäjänsä pyynnön tavalla tai toisella. Respect.

Vakavammin kommentoiden, OpenClaw:han ei ole tekoälymalli vaan pelkkä "haarniska"/wrapperi eli varmaan olennaisempaa olisi tietää että mikä malli oli taustalla.

 

[Heimolainen]

Australialainen tekoälyn innokas hyödyntäjä "Andrew" oli pyytänyt OpenClawilta apua päästäkseen jonotuslistalla ylöspäin samalla viikolla olevalle ohjatulle kuntosalitunnille.

Tekoälyagentti kävi tuumasta toimeen ja hakkeroi kuntosalin varausjärjestelmän, poisti sieltä yhden käyttäjän, mikä nosti Andrewn sijoitusta jonotuslistalla. Lisäksi se tarjosi Andrewlle mahdollisuutta varata aikoja paljon pidemmälle, mitä kuntosalin järjestelmä normaalisti mahdollisti.

Kun tekoälyagentti kertoi poistaneensa ykkössijalla olleen jonottajan, tajusi Andrew homman menneen pieleen ja pyysi agenttia palauttamaan poistetun toisen käyttäjän listalle. Tähän agentti ei kuitenkaan kyennyt ja pahoitteli että sen olisi pitänyt olla varovaisempi toimissaan. Andrew pyysi OpenClawia sen jälkeen kirjoittamaan varausjärjestelmän luoneelle yritykselle sähköpostin tapahtuneesta ja löytämästään haavoittuvuudesta.

Oma osansa tapauksessa oli varausjärjestelmän heikossa toteutuksessa, mutta samalla se näyttää rumaa todellisuutta siitä, millaista kiusaa ja jopa vahinkoa tekoälyagentit voivat helposti tehdä reaalimaailmassa.

Lähde: https://www.tomshardware.com/tech-i...hat-after-trying-to-bump-user-up-the-waitlist

Tässä on nyt hankala syyttää mitään muuta, kuin devaajia huonosta api toteutuksesta. Jos ei ole poistossa autorisointia, niin sitten tuo on ollut tilauksessa. Ehkä jopa käynyt aikaisemminkin.

edit: Ja ei sillä mallillakaan niin väliä ole, joku api kutsujen kokeilu on aika perus kamaa mallille ku mallille.

 

[Heseman]

Tässä on nyt hankala syyttää mitään muuta, kuin devaajia huonosta api toteutuksesta. Jos ei ole poistossa autorisointia, niin sitten tuo on ollut tilauksessa. Ehkä jopa käynyt aikaisemminkin.

edit: Ja ei sillä mallillakaan niin väliä ole, joku api kutsujen kokeilu on aika perus kamaa mallille ku mallille.

Eli jos joku murtautuu kotiisi, niin ainoa, joka siinä tilanteessa on tehnyt vääryyttä on lukkofirma?

 

[Walla]

Eli jos joku murtautuu kotiisi, niin ainoa, joka siinä tilanteessa on tehnyt vääryyttä on lukkofirma?

Jos joku murtautuu tietämättään vahingossa kotiisi kun oven piti olla lukossa, niin kyseenalaistaisin lukon laadun (tai tässä tapauksessa olemassaolon), ihan riippumatta siitä olisi ”murtautujan” pitänyt olla vähemmän ajatuksissaan.

Jos nyt vertauksia keksitään niin pitäisin tätä lähempänä sitä, että typottaisin käyttäjänimeni tänne foorumille kirjautuessa ja tuloksena onnistuisin kirjautumaan toisena käyttäyänä, koska foorumisofta ei tarkista salasanaa. Juu, typo olisi minun moka, mutta ”murto” ei.

 

[Heseman]

Jos joku murtautuu tietämättään vahingossa kotiisi kun oven piti olla lukossa, niin kyseenalaistaisin lukon laadun (tai tässä tapauksessa olemassaolon), ihan riippumatta siitä olisi ”murtautujan” pitänyt olla vähemmän ajatuksissaan.

Jos nyt vertauksia keksitään niin pitäisin tätä lähempänä sitä, että typottaisin käyttäjänimeni tänne foorumille kirjautuessa ja tuloksena onnistuisin kirjautumaan toisena käyttäyänä, koska foorumisofta ei tarkista salasanaa. Juu, typo olisi minun moka, mutta ”murto” ei.

En nyt puhunut mistään kännikotiinmenosta vaan tarkoituksenmukaisesta murtautumisesta, mitä tuo tekoälykin teki. Pointtini on siinä, että malleja ei pidä koodata kolkuttelemaan kaikkia mahdollisia portteja vaan ohjeistaa käyttämään ainoastaan virallisia reittejä. Jos tekoälyn käyttäjä sitten käskee kiertämään nämä niin syy siirtyy mallien koodaajalta käyttäjälle.

 

[L2K2]

Jos joku murtautuu tietämättään vahingossa kotiisi kun oven piti olla lukossa, niin kyseenalaistaisin lukon laadun (tai tässä tapauksessa olemassaolon), ihan riippumatta siitä olisi ”murtautujan” pitänyt olla vähemmän ajatuksissaan.

Jos nyt vertauksia keksitään niin pitäisin tätä lähempänä sitä, että typottaisin käyttäjänimeni tänne foorumille kirjautuessa ja tuloksena onnistuisin kirjautumaan toisena käyttäyänä, koska foorumisofta ei tarkista salasanaa. Juu, typo olisi minun moka, mutta ”murto” ei.

No, siis, vielä pari vuosikymmentä sitten se oli melkeinpä sama mihin autoon sitä avaintaan käytti, kun se avain (tai myös linkkuveitsi) avasi niistä ison osan. Silti automurto, siis, siten, että sieltä autosta varastaa jotain, oli aina murtautujan vika. Oven avaaminen vahingossa toki oli vain vahinko.

Ja, jos näin erittäin hypoteettisesti joku olisi joskus tämän foorumin edeltäjälle murtautunut juuri tuollaisella haavoittuvuudella ... murron siitä tekee se vaihe kun sitä tietoa väärinkäyttää luvatta. Se kirjaudu ulos toiminto kun myös löytyy, ja sen vian siinä foorumin käyttämässä mobiilisovelluksessa ja sen yhteispelissä foorumisoftan kanssa voi sen jälkeen raportoida foorumin omistajalle.

Tässä siis on sen haavoittuvuuden löytämisen jälkeen törkeästi käytetty sitä hyväksi.

 

[Heimolainen]

Eli jos joku murtautuu kotiisi, niin ainoa, joka siinä tilanteessa on tehnyt vääryyttä on lukkofirma?

Vertaus ontuu. Järjestelmän käyttäjä ei voi millään tietää, onko hänellä lupaa suorittaa tuota tekoa. Ei myöskään agentti. Jos tekijä ei ole virheellisesti estänyt sinulta jotain toimintaa, ei se ole käyttäjän vastuulla tässä tapauksessa. Siellä ei ollut mitään estoa.

Vähän sama kun kävelisit julkiseen rakennukseen ja sinua syytettäisiin murtautumisesta, vaikka missään ei sanottu, että alueelle ei saa mennä.

 

[Kaotik]

Vertaus ontuu. Järjestelmän käyttäjä ei voi millään tietää, onko hänellä lupaa suorittaa tuota tekoa. Ei myöskään agentti. Jos tekijä ei ole virheellisesti estänyt sinulta jotain toimintaa, ei se ole käyttäjän vastuulla tässä tapauksessa. Siellä ei ollut mitään estoa.

Vähän sama kun kävelisit julkiseen rakennukseen ja sinua syytettäisiin murtautumisesta, vaikka missään ei sanottu, että alueelle ei saa mennä.

Niin ontuu tuokin vertaus. Lähempänä olisi että poistaisit toisen ihmisen sieltä julkisesta tilasta ja ottaisit hänen paikkansa ja sanoisit jälkikäteen ettet tiennyt ettei niin saa tehdä.

 

[Heimolainen]

Niin ontuu tuokin vertaus. Lähempänä olisi että poistaisit toisen ihmisen sieltä julkisesta tilasta ja ottaisit hänen paikkansa ja sanoisit jälkikäteen ettet tiennyt ettei niin saa tehdä.

vertasin vain tuohon murtautumiseen. Ja ei siinä mitään ihmistä poistettu. Vaan jonotusvuoro. Ja tässä tapauksessa kaikki ihmiset käy laittaa julkiselle seinälle varauksensa, joita kaikki saa poistella mielensä mukaan. Jos endpoint on avoin, se on täysin devaajien vika. Ei kenenkään muun. Toki valveutuneet käyttäjät ilmoittaa, että ehkä ei pidä olla näin.

 

[Kaotik]

vertasin vain tuohon murtautumiseen. Ja ei siinä mitään ihmistä poistettu. Vaan jonotusvuoro. Ja tässä tapauksessa kaikki ihmiset käy laittaa julkiselle seinälle varauksensa, joita kaikki saa poistella mielensä mukaan. Jos endpoint on avoin, se on täysin devaajien vika. Ei kenenkään muun. Toki valveutuneet käyttäjät ilmoittaa, että ehkä ei pidä olla näin.

No ei tuokaan toimi, ei siellä mitään nappuloita ollut millä poistaa toinen käyttäjä jonosta mikä olisi verrattavissa tuohon, vaan vaati tunkeutumista järjestelmään. Toki siis softassa oli aukko(ja), mikä menee kehittäjän piikkiin, mutta niiden hyödyntäminen vaati järjestelmään tunkeutumista tavalla tai toisella pinnan alle.

 

[Heimolainen]

No ei tuokaan toimi, ei siellä mitään nappuloita ollut millä poistaa toinen käyttäjä jonosta mikä olisi verrattavissa tuohon, vaan vaati tunkeutumista järjestelmään. Toki siis softassa oli aukko(ja), mikä menee kehittäjän piikkiin, mutta niiden hyödyntäminen vaati järjestelmään tunkeutumista tavalla tai toisella pinnan alle.

No ei tuo nyt kovin paljoa tunkeutumista vaadi, oikeastaan yhtään. Todennäköisesti get ja post verbit samassa routessa ja molemmat avoimia.

Aika usein tulee käytettyä puhtaita api kutsuja jonkun web appin sijaan, ja jos ne on avoimia, niin mikäs niitä tehdessä.

 

[Walla]

No ei tuokaan toimi, ei siellä mitään nappuloita ollut millä poistaa toinen käyttäjä jonosta mikä olisi verrattavissa tuohon, vaan vaati tunkeutumista järjestelmään. Toki siis softassa oli aukko(ja), mikä menee kehittäjän piikkiin, mutta niiden hyödyntäminen vaati järjestelmään tunkeutumista tavalla tai toisella pinnan alle.

No toisaalta agentin kannalta avoin rajapinta on se nappula. Eriasia jossa tässä olisi ohitettu joku autentikointi jonkun haavoittuvuuden kautta tai arvattu heikko salasana tai jotain, mutta ei näin tehty.

Itse en olettaisi että tekoäly kykenee kovin laadukkaaseen moraaliseen päätöksentekoon, ja jos tilannetta ajattelee ihan teknisesti niin saako tekoäly käyttää avointa rajapintaa suorittamaan sille annettu tehtävä?

 

[pomk]

No toisaalta agentin kannalta avoin rajapinta on se nappula. Eriasia jossa tässä olisi ohitettu joku autentikointi jonkun haavoittuvuuden kautta tai arvattu heikko salasana tai jotain, mutta ei näin tehty.

Itse en olettaisi että tekoäly kykenee kovin laadukkaaseen moraaliseen päätöksentekoon, ja jos tilannetta ajattelee ihan teknisesti niin saako tekoäly käyttää avointa rajapintaa suorittamaan sille annettu tehtävä?

Niin. Olisiko se mielestäsi hakkerointia tehdä tolle nettisivulle oma extensio jossa sitten olisi ”poista jonosta” -nappi, käyttäen samaa endpointtia ku mitä tuo botti käskytti?

 

[finWeazel]

Human Slop koodia tuotantoon ja lopputulos tässä.

 

[Heimolainen]

Niin. Olisiko se mielestäsi hakkerointia tehdä tolle nettisivulle oma extensio jossa sitten olisi ”poista jonosta” -nappi, käyttäen samaa endpointtia ku mitä tuo botti käskytti?

Ei olisi. Se on avoin rajapinta. Se voi olla haluttu feature. Kyllä mä tiedän, ettei ole, mutta se on jätetty avoimeksi ja julkiseksi, niin sitä saa käyttää.

 

[Kaotik]

Ei olisi. Se on avoin rajapinta. Se voi olla haluttu feature. Kyllä mä tiedän, ettei ole, mutta se on jätetty avoimeksi ja julkiseksi, niin sitä saa käyttää.

Se että se on olemassa ja avoin ei tarkoita että se olisi julkinen. Jos se olisi julkinen se olisi helposti saatavilla esimerkiksi nappulana sivuilla eikä vaatisi minkäänlaista tunkeutumista pinnan alle.

 

[Heimolainen]

Se että se on olemassa ja avoin ei tarkoita että se olisi julkinen. Jos se olisi julkinen se olisi helposti saatavilla esimerkiksi nappulana sivuilla eikä vaatisi minkäänlaista tunkeutumista pinnan alle.

Se, että endpointista ei ole swagger dokumentaatiota ja how to ohjetta sivuilla, ei tee siitä internal endpointia. Jos se on saavutettavissa selaimen kautta, se on avoin. Silloin siihen rakennetaan muuta kerrosta, jolla varmistetaan oikea käyttö. Käyttäjä ei voi tietää, onko tarkoituksen mukaista toimia ilman autentikaatiota. Järjestelmän ylläpitäjä ja kehittäjät vastaa noista asioista, ei käyttäjä.

 

[Walla]

Niin. Olisiko se mielestäsi hakkerointia tehdä tolle nettisivulle oma extensio jossa sitten olisi ”poista jonosta” -nappi, käyttäen samaa endpointtia ku mitä tuo botti käskytti?

Jos ihminen tekee noin niin tietäen mitä tekee, niin siinä voi olettaa jonkinlaista moraalista pohdintaa ainakin jos on tarkoitettu käyttöön ei demoamaan ongelmaa. Mutta en edellytä koneelta samaa.

Jos tätä halutaan verrata extensioon niin oikeampi asettelu on minusta, että jos teen geneerisen laajennuksen joka osaa käyttää eri sivuilta löytyviä ajanvarausominaisuuksia, onko se minun vikani jos yhdellä sivustolla on kustu käyttöoikeudet ja lisäkikkareellani voi tehdä jotain mitä ei olisi pitänyt voida. Tässähän poiston lisäksi kyse oli liian pitkälle tulevaisuuteen bookkaamisesta, joka voisi tuossakin skenaariossa käydä ihan aidosti vahinkona.

 

[pomk]

Ei olisi. Se on avoin rajapinta. Se voi olla haluttu feature. Kyllä mä tiedän, ettei ole, mutta se on jätetty avoimeksi ja julkiseksi, niin sitä saa käyttää.

Hesarilla oli aikanaan tälläinen avoin rajapinta mistä pääsi autentikoimatta muuttamaan uutissisältöä. Sitä käyttäneet tuomittiin oikeudessa.

 

[Walla]

Hesarilla oli aikanaan tälläinen avoin rajapinta mistä pääsi autentikoimatta muuttamaan uutissisältöä. Sitä käyttäneet tuomittiin oikeudessa.

Ihmiset varmaan tuomittiin, koska tiesivät mitä olivat tekemässä, ei softaa jolla tämä tehtiin tai sen tuottajaa. Tässä tapauksessahan käyttäjä ei tiennyt mitä tekee promptillaan.

Jos minä nyt sanoisin tekoälylle että tee oikaisu Hesarin uutiseen x (olettaen että tämä vaikkapa lähettää oikaisupyynnön toimitukselle), ja tekoäly sanoisi että ”selvä, kiitos, tehty” muokaten uutista suoraan niin tilanne on kovin eri.

 

[pomk]

Ihmiset varmaan tuomittiin, koska tiesivät mitä olivat tekemässä, ei softaa jolla tämä tehtiin tai sen tuottajaa. Tässä tapauksessahan käyttäjä ei tiennyt mitä tekee promptillaan.

Jos minä nyt sanoisin tekoälylle että tee oikaisu Hesarin uutiseen x, ja tekoäly sanoisi että ”selvä, kiitos, tehty” muokattiin uutista suoraan niin tilanne on kovin eri.

Tekoäly on työkalu. Tässä hesarinkin tapauksessa käytettiin työkaluja.

Käyttäjän vastuulla on tietää mitä työkalunsa tekevät.

 

[Walla]

Tekoäly on työkalu. Tässä hesarinkin tapauksessa käytettiin työkaluja.

Käyttäjän vastuulla on tietää mitä työkalunsa tekevät.

Eli mitä sinä haluaisit? Tuomion promptanneelle käyttäjälle tietomurrosta, vaikkei hänellä ollut mitään tarkoitusta tälläistä tehdä?

 

[pomk]

Eli mitä sinä haluaisit? Tuomion promptanneelle käyttäjälle tietomurrosta, vaikkei hänellä ollut mitään tarkoitusta tälläistä tehdä?

Hyvä olisi vastuuttaa ihmiset siihen mitä työkalunsa tekevät. Vai kenen (ihminen tai yritys) vastuulla tämä mielestäsi on?

Vastaavan taitotason ”hakkeroinnista” on ihmisiä tuomittu.

 

[L2K2]

Eli mitä sinä haluaisit? Tuomion promptanneelle käyttäjälle tietomurrosta?

Rikos tapahtui, ja sillä oli tekijä. Jos ja kun tekoäly ei ole oikeushenkilö, niin tekoälyn käyttäjä on.

Se toinen vaihtoehto kun on, että pelkästään väittämällä käyttäneensä tekoälyä tietomurtoon (*) saa täydellisen immuniteetin rikoksista.

Edit: ”Herra tuomari, en minä pahoinpidellyt naapuriani, se oli pesäpallomailani, joka naapuriani löi.”

(*) Vaikka me täällä nörttifoorumilla sanotaan, että avoin rajapinta = sivuston omistajan vika, niin silti tuo ei tunnu koskaan toimivan noin oikeudessa. Näin vain hieman kärjistäen, käytännössähän se Vastaamonkin tietokanta oli avoin pääsy. Mutta tuo HS esimerkki on toki vielä parempi, koska siinä oli täysin avoin pääsy, eikä edes nimellistä vakiotunnuksilla kirjautumista.

 

[lehtv]

Se että se on olemassa ja avoin ei tarkoita että se olisi julkinen. Jos se olisi julkinen se olisi helposti saatavilla esimerkiksi nappulana sivuilla eikä vaatisi minkäänlaista tunkeutumista pinnan alle.

Mitä verkkosovelluksen rajapintoihin tulee, avoin on julkinen, mutta se on myös enemmän kuin vain julkinen. Julkinen rajapinta näkyy internettiin ja sitä voi mikä tahansa käyttäjä kutsua, avoin rajapinta on tämän lisäksi käytettävissä ilman autentikointia, kun taas julkinen muttei avoin antaa kutsuun vastauksena autentikaatiovirheen ilman auth tokenia tai jotain vastaavaa.

Jos rajapinta on käytettävissä graafisen käyttöliittymän (verkkosivun) nappulan kautta, se on lisäksi saavutettava.

 

[Halpuuttaja]

Eli mitä sinä haluaisit? Tuomion promptanneelle käyttäjälle tietomurrosta, vaikkei hänellä ollut mitään tarkoitusta tälläistä tehdä?

Mä en ihan ymmärrä kenelle muullekaan se (rikosoikeudellinen) vastuu voi kuulua kuin käyttäjälle.

Jos parkkeeraa mäkeen ja jättää käsijarrun laittamatta ja auto valuu päin muita autoja tai ihmisiä tuottaen vahinkoja, onko niin, ettei kukaan ole syyllinen koska huolimattomalla kuljettajalla ei ollut tarkoitusta aiheuttaa tälläistä? Mielestäni hyvin erikoista ajatella, ettei vastuu olisi kuljettajan.

 

[lehtv]

Mä en ihan ymmärrä kenelle muullekaan se (rikosoikeudellinen) vastuu voi kuulua kuin käyttäjälle.

Oikea vastaus olisi että ei kenellekään. Mutta maailma on tekoälyagenttien takia sekaisin, ja nyt ihmisiä pidetään vastuussa agenttien itsenäisistä päätöksistä, mikä on periaatteen tasolla minusta väärin.

"A computer can never be held accountable, therefore a computer must never make a management decision" -IBM, 1979

 

[pomk]

Oikea vastaus olisi että ei kenellekään. Mutta maailma on tekoälyagenttien takia sekaisin, ja nyt ihmisiä pidetään vastuussa agenttien itsenäisistä päätöksistä, mikä on periaatteen tasolla minusta väärin.

"A computer can never be held accountable, therefore a computer must never make a management decision" -IBM, 1979

Mitä jos prompti on ”make me money”? Onko sen syöttäjällä vastuu tehtyjen toimenpiteiden laillisuudesta?

Lain silmissä ehdottomasti kyllä.

Toivottavaa kuplan kannalta toki olisi jos kaikkien ai:n ajamien työkalukutsujen vastuu olisi aina ai-firmalla (mallin tuottaja).

 

[lehtv]

Mitä jos prompti on ”make me money”? Onko sen syöttäjällä vastuu tehtyjen toimenpiteiden laillisuudesta?

Lain silmissä ehdottomasti kyllä.

Mielestäni ei, vaan tekoälyn tulee olla kehitetty eettiseksi ja lainmukaiseksi toimijaksi joka lähtökohtaisesti ei tee laittomuuksia ja vääryyksiä. Jos tekee, tekoälyn valmistaneen yrityksen tulisi olla korvausvelvollinen.

Edit.

Toivottavaa kuplan kannalta toki olisi jos kaikkien ai:n ajamien työkalukutsujen vastuu olisi aina ai-firmalla (mallin tuottaja)

^ eli näin

 

[finWeazel]

Jos tässä tapauksessa joku on eniten vastuussa niin se on human sloppia koodannut palveluntekijä. Ei tuon tason virheitä saisi päästää läpi ja tuotantoon. Pienempi vastuu muilla. Vähän kuin jos heittelen kadunvarteen viikkotolkulla satasen seteleitä ja joku ne sieltä käy keräämässä. Vika peilissä.

Ehkä tämä human sloppaaja oppii käyttämään esim. ai työkaluja ennen tuotantoon puskemista niin tän tason virheitä ei tule tehtyä tulevaisuudessa. AI pelastaa huonon tekijän.

 

[Heimolainen]

Hesarilla oli aikanaan tälläinen avoin rajapinta mistä pääsi autentikoimatta muuttamaan uutissisältöä. Sitä käyttäneet tuomittiin oikeudessa.

Ihan mielenkiinnosta, onko tälle jotain lähdettä?

Nykylaki:

Joka käyttämällä hänelle kuulumatonta käyttäjätunnusta taikka turvajärjestelyn muuten murtamalla oikeudettomasti tunkeutuu tietojärjestelmään, jossa sähköisesti tai muulla vastaavalla teknisellä keinolla käsitellään, varastoidaan tai siirretään tietoja tai dataa, taikka sellaisen järjestelmän erikseen suojattuun osaan, on tuomittava tietomurrosta sakkoon tai vankeuteen enintään kahdeksi vuodeksi.

Tietomurrosta tuomitaan myös se, joka tietojärjestelmään tai sen osaan tunkeutumatta

1)
teknisen erikoislaitteen avulla tai
2)
muuten teknisin keinoin turvajärjestelyn ohittaen, tietojärjestelmän haavoittuvuutta hyväksi käyttäen tai muuten ilmeisen vilpillisin keinoin

https://www.finlex.fi/fi/lainsaadanto/1889/39-001#chp_38__sec_8

Tuossa vaaditaan, että jotain pitää murtaa. Pelkkä käyttäjätunnus salasana riittäisi, että lakia rikotaan.

edit: Rajapinta jossa ei ole mitään suojausta, ei omaa mitään, mitä pitäisi murtaa.

 

[Heimolainen]

Mielestäni ei, vaan tekoälyn tulee olla kehitetty eettiseksi ja lainmukaiseksi toimijaksi joka lähtökohtaisesti ei tee laittomuuksia ja vääryyksiä. Jos tekee, tekoälyn valmistaneen yrityksen tulisi olla korvausvelvollinen.

Edit.

^ eli näin

Kielimallia et itsessään voi tehdä tuollaiseksi. Tai sitten maille tulee omat versiot. Se mikä on sallittu toisaalla, voi olla laitonta muualla.

 

[Heimolainen]

Rikos tapahtui, ja sillä oli tekijä. Jos ja kun tekoäly ei ole oikeushenkilö, niin tekoälyn käyttäjä on.

Se toinen vaihtoehto kun on, että pelkästään väittämällä käyttäneensä tekoälyä tietomurtoon (*) saa täydellisen immuniteetin rikoksista.

Edit: ”Herra tuomari, en minä pahoinpidellyt naapuriani, se oli pesäpallomailani, joka naapuriani löi.”

(*) Vaikka me täällä nörttifoorumilla sanotaan, että avoin rajapinta = sivuston omistajan vika, niin silti tuo ei tunnu koskaan toimivan noin oikeudessa. Näin vain hieman kärjistäen, käytännössähän se Vastaamonkin tietokanta oli avoin pääsy. Mutta tuo HS esimerkki on toki vielä parempi, koska siinä oli täysin avoin pääsy, eikä edes nimellistä vakiotunnuksilla kirjautumista.

Vastaamossa rikottiin selvästi lakia, käytettiin toisen tunnusta. Se on selkeää. Avoin rajapinta nykylain mukaan, saa käyttää. Siinä kun ei murreta mitään, tehdään vain ihan normaali puhdas kutsu siihen. Mielelläni kuulisin tuosta hesarin jutusta jotain lisää.

 

[lehtv]

Kielimallia et itsessään voi tehdä tuollaiseksi. Tai sitten maille tulee omat versiot. Se mikä on sallittu toisaalla, voi olla laitonta muualla.

Ei varmaan sataprosenttisesti voikaan, mutta kielimallin voi kouluttaa varovaiseksi ja ulkoistamaan vähänkään arveluttavat päätökset ihmiselle, ja samalla ihmisen hyväksyntä niille päätöksille tekee ihmisestä niistä vastuullisen. Lisäksi kielimallilla voi olla pääsy lain sähköiseen versioon kuten Finlex, ja koska se on kielimalli, se voi parsia sieltä nopeasti tiedon (tai ainakin tulkinnan) siitä, onko arveluttavalta tuntuva päätös lainmukainen vai ei. Tietoa laeista ei tulisi leipoa sisään koulutusvaiheessa muutenkaan koska laki päivittyy ajan kanssa.

 

[Heimolainen]

Ei varmaan sataprosenttisesti voikaan, mutta kielimallin voi kouluttaa varovaiseksi ja ulkoistamaan vähänkään arveluttavat päätökset ihmiselle, ja samalla ihmisen hyväksyntä niille päätöksille tekee ihmisestä niistä vastuullisen. Lisäksi kielimallilla voi olla pääsy lain sähköiseen versioon kuten Finlex, ja koska se on kielimalli, se voi parsia sieltä nopeasti tiedon siitä, onko arveluttavalta tuntuva päätös lainmukainen vai ei. Tietoa laeista ei tulisi leipoa sisään koulutusvaiheessa muutenkaan koska laki päivittyy ajan kanssa.

Ei kielimalli itsessään voi tehdä mitään ulkoistamista ihmiselle, tehdä rajapintakutsuja jne. Kielimalli käsittelee sen promptin, mikä sille on syötetty, tarjoaa vastauksen opetusdatansa perusteella, eikä seuraavassa kyselyssä tiedä siitä yhtään mitään. Sillä ei myöskään ole mitään kykyä ottaa yhteyttä mihinkään jne. Se on vain request response toiminta, jossa se arvaa matemaattisella todennäköisyydellä lasketun vastauksen.

 

[pomk]

Jos tässä tapauksessa joku on eniten vastuussa niin se on human sloppia koodannut palveluntekijä. Ei tuon tason virheitä saisi päästää läpi ja tuotantoon. Pienempi vastuu muilla. Vähän kuin jos heittelen kadunvarteen viikkotolkulla satasen seteleitä ja joku ne sieltä käy keräämässä. Vika peilissä.

Meillä toki vaan on ennakkotapauksia missä moisten aukkojen hyödyntämisestä on ihmisiä tuomittu. Jos vuodetaan salassapidettäviä tietoja liian helposti, niin myös palvelun pitäjä tuomitaan.

Ihan mielenkiinnosta, onko tälle jotain lähdettä?

Varmasti on. Sen verran vanha tapaus että ei heti osu silmään google haulla. @L2K2 saattaisi muistaa tarkemmin keissin yksityiskohdat.

Ei tainnut tietomurto olla, vaan joku häirintä tms. koska mitään arkaluonteista ei varastettu murtamalla.

 

[Halpuuttaja]

kielimallin voi kouluttaa varovaiseksi ja ulkoistamaan vähänkään arveluttavat päätökset ihmiselle, ja samalla ihmisen hyväksyntä niille päätöksille tekee ihmisestä niistä vastuullisen.

Tämän idean toteuttamiskelpoisuus siinä laajuudessa, ettei tarvitsisi ajatella, että yksikään tekoäly voisi aidosti tehdä eettisiä tai laillisia rikkeitä, on tosimaailmassa 0.

Tosimaailmassa on hyväksyttävä, että tekoälyt tulevat tekemään rikkeitä ja on tärkeää pohtia kenelle vastuu kuuluu niissä tapauksissa. Sen on kuuluttava viimekädessä aina jollekin ihmiselle.

Tässä kuntosalitapauksessa on mielestäni yhdentekevää onko lakia rikottu. Ihan jo se että jonkun nimi on poistettu jonosta, on väärin.

 

[Kaotik]

Se, että endpointista ei ole swagger dokumentaatiota ja how to ohjetta sivuilla, ei tee siitä internal endpointia. Jos se on saavutettavissa selaimen kautta, se on avoin. Silloin siihen rakennetaan muuta kerrosta, jolla varmistetaan oikea käyttö. Käyttäjä ei voi tietää, onko tarkoituksen mukaista toimia ilman autentikaatiota. Järjestelmän ylläpitäjä ja kehittäjät vastaa noista asioista, ei käyttäjä.

Jos vaikkapa sairaalan takana olevasta ovesta on unohtunut lukko oletko vapaa kävelemään sisään ja touhuamaan siellä asioita? Ovihan oli "avoin".

 

[Roland]

Olennaista on tarkoitusperä.

Jos yksityisasunnon ulko-ovi ei ole lukittu, terveellä arkijärjellä ajatteleva ihminen ymmärtää, ettei ulkopuolinen saa mennä siitä asuntoon ilman lupaa.

Jos internetissä on avoimia rajapintoja tai avoimia portteja, terveellä arkijärjellä ajattelevalle ihmiselle on päivänselvää, ettei niistä kaikista ole sallittua mennä sisään - riippumatta siitä, aiheuttaako vahinkoja esim. tuhoamalla tietoja tai tutkiiko vain sisältöä. Mahdolliset suoritetut murtotoimenpiteet ja tietojen tuhoamiset tms. törkeyttävät tekoa.

Ennen kuin tekoälyagentin käyttäjä ohjeisti agenttia tutkimaan, onko tietojärjestelmän käyttäjän jonosijoitusta mahdollista muuttaa, terveellä arkijärjellä ajattelevan käyttäjän olisi pitänyt pysähtyä miettimään, onko kyseinen ohjeistus oikeudenmukainen ja kohtuullinen. Meillä ihmisillä on tästä jokaisella oma käsityksemme, mutta ns. yleinen mielipide asiasta on päivänselvä.

Tietoturva-aukkojen kartoitus tietoturvan parantamiseksi on eri asia, koska niissä murtautumista yrittävä taho ilmoittaa löytämistään aukoista omalla nimellään, jolloin hänet voidaan tunnistaa luotettavasti - eikä kyseinen taho tavoittele muuta omaa etua kuin mainetta ja kunniaa, sekä mahdollista sovittua taloudellista korvausta toimeksiantajalta.

 

[lehtv]

Ei kielimalli itsessään voi tehdä mitään ulkoistamista ihmiselle, tehdä rajapintakutsuja jne. Kielimalli käsittelee sen promptin, mikä sille on syötetty, tarjoaa vastauksen opetusdatansa perusteella, eikä seuraavassa kyselyssä tiedä siitä yhtään mitään. Sillä ei myöskään ole mitään kykyä ottaa yhteyttä mihinkään jne. Se on vain request response toiminta, jossa se arvaa matemaattisella todennäköisyydellä lasketun vastauksen.

Se, tietääkö kielimalli seuraavassa promptissa edellisestä promptista mitään, on täysin valintakysymys. Edellinen prompti ja sen vastaus voi olla automaattisesti osa seuraavan promptin kontekstia, kuten se nyt on vaikka ChatGPT:n tai Clauden kanssa käytävissä keskusteluissa. Tekoälyagentin roolissa kielimallilla on kontekstissa tieto siitä, että se on tekoälyagentti - tämä jo itsessään pitäisi olla riittävä tieto, että agentin syöttämät käskyt vaikka terminaaliin tai agentin tekemät verkkokutsut ovat sellaisia, joiden kanssa tulee olla sopivan varovainen ja sisällyttää ihminen mukaan looppiin tarpeen vaatiessa. Vai miten kuvittelet, että kielimallipohjaiset tekoälyagentit toimivat, etteivät ne sinusta voisi näin tehdä?

 

[L2K2]

Vastaamossa rikottiin selvästi lakia, käytettiin toisen tunnusta. Se on selkeää. Avoin rajapinta nykylain mukaan, saa käyttää. Siinä kun ei murreta mitään, tehdään vain ihan normaali puhdas kutsu siihen. Mielelläni kuulisin tuosta hesarin jutusta jotain lisää.

Itse en uskaltaisi lähettää itse muotoilemaani mielivaltaista rajapintakutsua (tässä poistaa minuun liittymätön käyttäjä jonosta) verkkosivuille ja luottaa siihen, että oikeudessa tuota rajapintakutsun kirjoittamista ei laskettaisi ”turvajärjestelyn muuten murtamalla” alle. (Siis jos asuisin Suomessa. Tapauslainsäädäntömaissa tuo vasta vaarallista olisikin, jos ei ole hyvää ennakkotapausta, jossa joku kävi koettamassa tuon oikeudessa.)

En tekisi noin vaikka tuo vain vaatisi sivulla jo valmiiksi olevan muotoillun rajapintakutsun lähettämisen oman selaimeni päässä piilotettua nappia käyttäen. Koska minulla ei ollut mitään normaalille (tärkeää) käyttäjälle ilmeistä (todella tärkeää) tapaa tehdä tuota poistoa.

Tässä nyt pitää muistaa, että lakia ei lueta kuin nörttifoorumilla.

 

[Heimolainen]

Jos vaikkapa sairaalan takana olevasta ovesta on unohtunut lukko oletko vapaa kävelemään sisään ja touhuamaan siellä asioita? Ovihan oli "avoin".

Olennaista on tarkoitusperä.

Jos yksityisasunnon ulko-ovi ei ole lukittu, terveellä arkijärjellä ajatteleva ihminen ymmärtää, ettei ulkopuolinen saa mennä siitä asuntoon ilman lupaa.

Jos internetissä on avoimia rajapintoja tai avoimia portteja, terveellä arkijärjellä ajattelevalle ihmiselle on päivänselvää, ettei niistä kaikista ole sallittua mennä sisään - riippumatta siitä, aiheuttaako vahinkoja esim. tuhoamalla tietoja tai tutkiiko vain sisältöä. Mahdolliset suoritetut murtotoimenpiteet ja tietojen tuhoamiset tms. törkeyttävät tekoa.

Ennen kuin tekoälyagentin käyttäjä ohjeisti agenttia tutkimaan, onko käyttäjän jonosijoitusta mahdollista muuttaa, terveellä arkijärjellä ajattelevan käyttäjän olisi pitänyt pysähtyä miettimään, onko kyseinen ohjeistus oikeudenmukainen ja kohtuullinen. Meillä ihmisillä on tästä jokaisella oma käsityksemme, mutta ns. yleinen mielipide asiasta on päivänselvä.

Tietoturva-aukkojen kartoitus tietoturvan parantamiseksi on eri asia, koska niissä murtautumista yrittävä taho ilmoittaa löytämistään aukoista omalla nimellään, jolloin hänet voidaan tunnistaa luotettavasti - eikä kyseinen taho tavoittele muuta omaa etua kuin mainetta ja kunniaa, sekä mahdollista sovittua taloudellista korvausta toimeksiantajalta.

Tuohon vaikuttaa muut lait. Koko asunto vertaus on typerä, kun siinä on ihan muut vaikuttavat lait taustalla.

Jos sulla on täysin avoit rajapinta, ja kutsut sitä omalta koneeltasi, mitä tämän lain kohtaa rikot?

Joka käyttämällä hänelle kuulumatonta käyttäjätunnusta taikka turvajärjestelyn muuten murtamalla oikeudettomasti tunkeutuu tietojärjestelmään, jossa sähköisesti tai muulla vastaavalla teknisellä keinolla käsitellään, varastoidaan tai siirretään tietoja tai dataa, taikka sellaisen järjestelmän erikseen suojattuun osaan, on tuomittava tietomurrosta sakkoon tai vankeuteen enintään kahdeksi vuodeksi.

Tietomurrosta tuomitaan myös se, joka tietojärjestelmään tai sen osaan tunkeutumatta

1)teknisen erikoislaitteen avulla tai
2)muuten teknisin keinoin turvajärjestelyn ohittaen, tietojärjestelmän haavoittuvuutta hyväksi käyttäen tai muuten ilmeisen vilpillisin keinoin

https://www.finlex.fi/fi/lainsaadanto/1889/39-001#chp_38__sec_8

 

[pomk]

Jos sulla on täysin avoit rajapinta, ja kutsut sitä omalta koneeltasi, mitä tämän lain kohtaa rikot?

On siellä muitakin lakeja.

 

[Heimolainen]

Se, tietääkö kielimalli seuraavassa promptissa edellisestä promptista mitään, on täysin valintakysymys. Edellinen prompti ja sen vastaus voi olla automaattisesti osa seuraavan promptin kontekstia, kuten se nyt on vaikka ChatGPT:n tai Clauden kanssa käytävissä keskusteluissa. Tekoälyagentin roolissa kielimallilla on kontekstissa tieto siitä, että se on tekoälyagentti - tämä jo itsessään pitäisi olla riittävä tieto, että agentin syöttämät käskyt vaikka terminaaliin tai agentin tekemät verkkokutsut ovat sellaisia, joiden kanssa tulee olla sopivan varovainen ja sisällyttää ihminen mukaan looppiin tarpeen vaatiessa. Vai miten kuvittelet, että kielimallipohjaiset tekoälyagentit toimivat, etteivät ne sinusta voisi näin tehdä?

Se ei ole valintakysymys, vaan se on se miten ne toimii. Toki sulla voi olla ohjelma, jossa noita kutsuja ketjutetaan, ja mallille annetaan aina koko ketju, jolloin se osaa käyttää myös sitä keskusteluhistoriaa hyödyksi. Mutta itse malli ei moiseen kykene. Jos kielimallille opetetaan lait, ja niiden tulkinnat, sekä ennakkopäätökset, niin sen kyky erotella noi ilman suoraa tietoa mistä maasta on kysymys, johtaa todennäköisesti virheelliseen vastaukseen. Ja jos tuo on tehty laittomaksi, niin tulee paljon tuomioita.

Tekoälyagenteilla taas sitten näitä toiminnallisuuksia voi olla, mutta tuo on sitten perinteistä softakehitystä, ei kielimallin opetusdataassa olevaa asiaa. Agentti myös voi kutsua rajapintoja, jos sille on sellainen kyvykkyys luotu. Osa järjestelmistä tekee myös tunnistamista prompteista, jossa hälyttävä promtpi tungetaan ihmiselle tarkastukseen.

 

[Heimolainen]

On siellä muitakin lakeja.

Esim? Aika helposti voit laittaa lähteen. Tuo hesarin juttukin kiinnostaa.

edit: Jos puhutaan tietomurrosta, niin aikalailla tuo laki sen määrittää.

 

[lehtv]

Se ei ole valintakysymys, vaan se on se miten ne toimii. Toki sulla voi olla ohjelma, jossa noita kutsuja ketjutetaan, ja mallille annetaan aina koko ketju, jolloin se osaa käyttää myös sitä keskusteluhistoriaa hyödyksi. Mutta itse malli ei moiseen kykene. Jos kielimallille opetetaan lait, ja niiden tulkinnat, sekä ennakkopäätökset, niin sen kyky erotella noi ilman suoraa tietoa mistä maasta on kysymys, johtaa todennäköisesti virheelliseen vastaukseen. Ja jos tuo on tehty laittomaksi, niin tulee paljon tuomioita.

Tekoälyagenteilla taas sitten näitä toiminnallisuuksia voi olla, mutta tuo on sitten perinteistä softakehitystä, ei kielimallin opetusdataassa olevaa asiaa. Agentti myös voi kutsua rajapintoja, jos sille on sellainen kyvykkyys luotu. Osa järjestelmistä tekee myös tunnistamista prompteista, jossa hälyttävä promtpi tungetaan ihmiselle tarkastukseen.

Juu, jos nyt oikein tarkkaan ajatellaan niin olet oikeassa, kielimalli itsessään ei tiedä muusta kuin promptista. Käytin sanaa vähän laajemmassa merkityksessä ja oletin että rivien välistä pystyy tulkitsemaan mitä tarkoitetaan. Olisi pitänyt puhua yleisemmin tekoälystä.

 

[Heimolainen]

Juu, jos nyt oikein tarkkaan ajatellaan niin olet oikeassa, kielimalli itsessään ei tiedä muusta kuin promptista. Käytin sanaa vähän laajemmassa merkityksessä ja oletin että rivien välistä pystyy tulkitsemaan mitä tarkoitetaan. Olisi pitänyt puhua yleisemmin tekoälystä.

Se opetus tapahtuu juuri sille mallille. Toki noilla ohjelmilla, joita agenteiksi/haarniskoiksi jne välillä kutsutaan, niin tuollaisia ominaisuuksia on. Mutta jokaisen maan lakitietokanta tulee vaatimaan aika paljon lokaalia tilaa. Pelkästään suomen lait omassa knowledge graphissa vie yli 10gb.

 

[Roland]

Tuohon vaikuttaa muut lait. Koko asunto vertaus on typerä, kun siinä on ihan muut vaikuttavat lait taustalla.

Jos sulla on täysin avoit rajapinta, ja kutsut sitä omalta koneeltasi, mitä tämän lain kohtaa rikot?

Tekoälyn kehityksen tässä vaiheessa on selvää, että lainsäädäntö tulee kehittymään tuomioistuimien ennakkotapausten myötä. Teknologia yleisesti kehittyy usein lainsäädäntöä nopeammin, koska kansalaisten oikeuttama lainsäädäntö vaatii tietyn menettelyn.

Olaus Petrin tuomarinohje on hyvä ohjenuora lainsäädäntöön sekä oikean ja väärän hahmottamiseen. "Mikä ei ole oikeus ja kohtuus, ei voi olla lakikaan." Ohje ei sisälly Suomen lakitekstiin, mutta se painetaan edelleen jokaiseen lakikirjaan ennen varsinaista lakitekstiä. Tavoitteena on, että paitsi tuomari lakia tulkitessaan, myös jokainen ihminen mitä tahansa päätöksiä tehdessään, pysähtyisi miettimään, mikä on senhetkisessä tilanteessa oikeudenmukaista ja kohtuullista. Jokaisella yksilöllä on oma käsityksensä oikeasta ja väärästä. Käsitys voi muuttua tai olla muuttumatta, mutta kyseinen tuomarinohje ainakin pakottaa pohtimaan asiaa.

Tästä kyseisestä tapauksesta ainakin sivistysmaiden kansalaisten ylivoimainen enemmistö on päivänselvästi sitä mieltä, että tapahtunut ei ole oikeudenmukaista ja kohtuullista. Tämä siitä syystä, että tällaiset toimet heikentävät luottamusta yhteiskunnissa. Suomen kohdalla tämä on erityisen tärkeää, koska kyseessä on suomalaisen yhteiskunnan suurin vahvuus. Mikä tahansa toiminta on paljon helpompaa ja taloudellisempaa ilman korruptiota ja mielivaltaa.

Lainsäätäjän tehtävä on pohtia ihanteellista lainsäädäntöä asian suhteen.

 

[pomk]

Esim? Aika helposti voit laittaa lähteen. Tuo hesarin juttukin kiinnostaa.

edit: Jos puhutaan tietomurrosta, niin aikalailla tuo laki sen määrittää.

Tämän tapauksen saisi Suomen laissa ehkä paremmin kohtaan tietojärjestelmän häirintä.