AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

[edup]

Eipä nuo rajaamiset oikein ole ainakaan tähän mennessä toimineet. Aina tuntuu löytyvän keinot ohittaa suojaukset. Riskit olisi siis käytännössä ihan samat.

Aika harvassa suljetussa mallissa on mitään onnistuttu ohittamaan. Kiinalaisissa malleissa uupuu tiedot Taivaallisen rauhan aukion tapahtumista, kuvageneraatiomallit ei suostu generoimaan pornoa, ym.

Avoimissa malleissa sitten toki hankalampi, koska niissä päästään mallia muokkaamaan ja analysoimaan vapaammin.

 

[Makis]

Taitaa noista kiinanmalleista puuttua kokonaan koulutusmateriaalista nuo tiedot. Tuo ei vain oikein koodauksen kohdalla toimi kun ei ole avainsanoja, joita suodattaa.

Onko nämä kaikki jo varmasti estetty? https://medium.com/@nirdiamant21/15-llm-jailbreaks-that-shook-ai-safety-981d2796d5c6

 

[finWeazel]

Nopeesti edetty siitä kun AI-mallit eivät osanneet löytää oikeita tietoturvareikiä/vikoja/yms.

Mozilla says 271 vulnerabilities found by Mythos have “almost no false positives

Toki vaatii työtä eikä vain "find bugs prompti"

Mozilla engineers said the finally ready-for-prime-time breakthrough they achieved was primarily the result of two things: (1) improvement in the models themselves and (2) Mozilla’s development of a custom “harness” that supported Mythos as it analyzed Firefox source code.

Mozilla says 271 vulnerabilities found by Mythos have "almost no false positives"

The developer of Firefox says it has "completely bought in" on AI-assisted bug discovery.

arstechnica.com

Linux kernelistä

AI bug reports went from junk to legit overnight, says Linux kernel czar​

Greg Kroah-Hartman can't explain the inflection point, but it's not slowing down or going away

Linux kernel czar says AI bug reports aren't slop anymore

Interview: Greg Kroah-Hartman can't explain the inflection point, but it's not slowing down or going away

www.theregister.com

CURL porukalta oli myös samanlainen nootti ettei olekkaan enää sloppia kunhan on pätevä käyttäjä työkalun päässä

All that said, Stenberg stressed that “AI is a tool” and that AI is already delivering real wins for open source security when used by experienced engineers. He explains, “We work with several AI-powered analyzing tools now […] They certainly find a lot of things no other tools previously found, and in ways no other tools previously could find.

With the help of these tools, they have fixed “more than 100 bugs” that have surfaced, even after years of using aggressive compiler flags, fuzzers, traditional static analysis, and multiple human security audits.

cURL’s Daniel Stenberg: AI slop is DDoSing open source

For open source software, AI is very much a mixed blessing in his view.

thenewstack.io

 

[El Toro]

Tuli tuossa mieleen, että jos kerran Mythos on niin kauhean vaarallinen että Anthropic ei voi laittaa sitä julkiseen jakoon, niin miten nuo heidän muut mallit voi jatkossa kehittyä? Väkisinkin jossain vaiheessa ne kehittyisivät Mythosin ohi ja mitäs sitten?

Totuus:

 

[---Alf]

Vibe koodaus harjoitukset aloitettu. Joitakin viikkoja sitten keskustelin copilotin kanssa sovelluksen luomisesta ja se oli positiivinen dialogi.
Eilen aloitin ensimmäisen tosi session Clauden kanssa Github copilotin kautta. Claudehan lähti heti laukalle ja päräytti koodit ensimmäisen promptin jälkeen, mikä pääsi yllättämään. 2h jälkeen tuli rate limit vastaan ja tänään 2h jälkeen maaliskuun tokenit käytetty.
Sain kuitenkin luotua kannan, be:n, kontitetun fe:n ja testit. Toimii osittain, mutta vielä on tehtävää ennen kuin kehtaa kollegoille esitellä. No ensi viikolla vaihtuu kuu ja uudet tokenit.
Kun saan tämän puikkoihin, niin vaimolta tuli jo speksit seuraavalle työkaluohjelmalle.

Huhtikuu juhahti, enkä ehtinyt katsomaan. Tällä viikolla 3h meni jatkoissa, että sain tämän toimimaan. OpenAI:n kanssa tein loppuun.
Hämmentävää kuinka paljon korjattavaa oli Clauden tekemissä testeissä, tämän viikon ajasta 2h meni niiden korjailuun.
Tämä oli minulle oikein hyvä POC, että kuinka homma toimii. Tämä tuli vielä tehtyä interaktiivisena chättinä Eclipsessä. Ehkäpä seuraava projektikin vielä sellaisena, ennen kuin pistän agentit tulille.