AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

[finWeazel]

Keskustelua ai:n avustetusta koodaamisesta. Ketjun tarkoitus nimenomaan koodauksessa/skriptauksessa/dokumentoinnissa/automaatiossa/... eikä yleisessä ai vie työpaikat tai yleisessä ai keskustelussa. Jos haluaa yleisemmin keskustella ai:sta niin esimerkiksi tämä ketju palvelee:

Robotit ja tekoäly vie työpaikat

Tämä ketju näyttäisi puuttuvan, en ainakaan löytänyt. http://www.iltasanomat.fi/kotimaa/art-2000001942261.html Sairaalarobotti siivoaa isompia tiloja, suomessa uutta, muualla arkipäivää. Pyöriihän noita toki muuallakin, ja miksipä ei. Tuo ei palkkaa pyydä, vaatii toki toistaiseksi ihmisen...

bbs.io-tech.fi

Oletteko kokeilleet jotain ai-koodiavustinta? Millon kokeilitte, toimiko vai ei? Mihin käyttäisit tai et käyttäisi koodiavustinta? Onko käyttämäsi koodiavustin parantunut ajan saatossa vai ei?

Keskustelun aloittamiseksi

• Cursor Mun mielestä tän hetken paras ide+ai koodiavustin(etenkin claude sonnet3.5 mallin käyttö pop). Forkattu vscode mihin AI integroitu syvälle. Ymmärtää koko koodipohjan ei vain yksittäisiä tiedostoja
  • Maksullinen
• GitHub Copilot · Your AI pair programmer Microsoftin copilotti vscodeen
  • Maksullinen
• qwen2.5-coder + Continue + vscode
  • Ilmainen. Integroituu lokaaliin kielimalliin. Continue toki integroituu maksullisiinkin pilvimalleihin. Itse laajennus taitaa olla open sourcea?
  • Mun setuppi macbook pro + ollama + vscode + continue. Toimii llaman yms. kanssa myös mutta ne ei pärjää qwen2.5:lle
• https://chatgpt.com/
  • Tälläkin voi, mutta aika keljua copy/pasteilla ees+taas. Mä arvostan enemmän IDEen integroitua, mutta voi tälläkin jotain tehdä kankeudesta huolimatta.

Muistiinpanohommiin testaillut obsidian+llm:t. Mielenkiintoinen tapa prosessoida ajatuksia

Tähän ketjuun saa myös heittää kuvauksia koodista mitä haluaisi luoda. Voidaan porukalla kokeilla osaako AI avustaa vai menikö metsään.

 

[Jumi]

ChatGPT:ltä oon kyselly yksittäisiä juttuja ja välissä se yllättää positiivisesti lisäten automaattisesti tärkeitä juttuja jotka ei ollu käyny itellä mielessä tai ollu huomannu sanoa. Esim. File Browseriin teki taaksepäin napin kysymättä, ja kuvien lataamiseen kuva-cachen. Välissä sillä taas ei ole oikein mitään käsitystä mitä se tekee. Hauskasti se osaa silti korjata oman virheensä kun antaa virheilmoituksen, tai pelkästään mainitsee ettei antamanne koodi toimi.

Cursor kiinnostais ku katoin Lex Fiedmanin podcastin jossa tekijätiimi oli vieraana. Erittäin vakuuttava, varsinkin kun tyypit oli selvästi "tehokkuus orientoituneita", ja keskittyivät just niihin asioihin.

Saa nähdä koska tulee AI joka liikuttaa hiirtä ja käyttää kaikkia PC:n ohjelmia, ohjelmoija vaan tuijottaa monitoria ja selittää mitä haluaa tehtävän.

 

[finWeazel]

Saa nähdä koska tulee AI joka liikuttaa hiirtä ja käyttää kaikkia PC:n ohjelmia, ohjelmoija vaan tuijottaa monitoria ja selittää mitä haluaa tehtävän.

Agentic AI taitaa olla 2025 alkuvuoden juttuja. "kaikki" pöhisee agenttien tekemisestä. Esim. imho. parhaan koodausmallin(claude sonnet 3.5) tekijät julkaisi agenttujutun: Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku

openai:n huhuttu tekevän agenttia OpenAI reportedly plans to launch an AI agent early next year

Koodaushommissa en tiedä miten agentti tässä kohtaa auttaisi. Tarvii tällä hetkellä vielä paimentaa AI:ta aika paljon eikä voi oikein jättä vapaalle jalalle että koodailes vaikka yksikkötestejä ja tee pull requestit ja kerro sitten kun menee ci putken läpi ilman virheitä. Jos anthropic&co tyyppien juttuihin on uskominen niin aika vauhdilla avustimet tulevat kehittymään lähivuosien ajan.

 

[PTohtori]

Olen käyttänyt sekä kaupallista että tavallista bingin copilottia apuna vaikeiden html:n xpath-lokaattorien löytämiseen ja rakenteluun automaatiotestauksen toteuttamisessa (Robot Framework). Lisäksi on tullut käytettyä vähän samoihin hommiin lokaalisti sekä Chat with RTX:ää (Mistral) ja Intelin AI Playgroundia (Phi-3-mini). Lokaalisti on myös asennettuna malli Poro34B:stä, mutta sen kokeilu on jäänyt hyvin vähäiseksi vaikka hommasin sen suomen kielen kokeiluja varten.

Oma käyttötapani on se että teen itse ensin koodin ja kun sieltä alkaa tulla virhettä, useimmiten lokaattorien takia, alan keskustella virheestä ja koodista LLM:n kanssa ja useimmiten ongelma selviää verrattain nopeasti. Joskus LLM alkaa vaikeissa kysymyksissä kiertämään vastauksissaan kehää, jolloin pitää osata kysyä sama asia eri tavoin. Kokonaisuutena on hämmästyttävää miten hyvin ainakin minua on LLM:t pystyneet auttamaan ja miten paljon on säästynyt chatbotin kanssa keskustelemalla aikaa verrattuna siihen että alkaisi googlaamaan ja katselemaan videoita.

 

[henkkahei]

On tullut käytettyä Cursoria, ja tietysti ChatGPT:tä. Opiskelen alanvaihtajana tällä hetkellä kolmatta vuotta tieto- ja viestintätekniikkaa, painottuen juurikin dataan ja tekoälyyn. Cursor on kyllä kätevä esim. koodin dokumentoinnissa ja yksikkötestien väsäämisessä, koodiakin tekee mutta ei täysin autuaaksi tee, eikä tarvitsekaan. Hyvät taidot tiedon etsimisessä haastavissa tilanteissa ja pyrkimys kehittää omia ratkaisuja on kuitenkin "key".

 

[Hyrava]

Itse luokittelisin itseni ehkä harrastelijakoodariksi joka välillä loihtii töissäkin jotain pientä koodinpätkää.

Olen tähän asti käytellyt ChatGPT:ta ja Googlen Geminiä ihan vaan kirjoittamaan tylsiä koodinpätkiä jossa nuo ovat kyllä pääsääntöisesti toimineet varsin hyvin. Eli tyyliin "Kirjoita pythonilla funktio aiheesta x, parametrit y ja z, haluan paluuarvon muodossa a" ja lähes aina on tullut ihan kelvollista koodia. Samoin joskus kun on ollut joku koodinpätkä josta ei vaan ole itse virhetä löytänyt niin AI on yli puolessa tapauksista löytänyt jotain korjattavaa.

Joskus on ihan huvikseen kokeillut kysyä jotain vähän isompaa kokonaisuutta mutta selkeästi silloin vastaukset ovat olleet heikompia eli kaikenlaista pikkubugia on ollut koodissa siellä sun täällä. Toki niistä suurimman osan on saanut osoitettua tekoälylle ja saanut sitä kautta korjattua mutta tuollaisessa isommassa koodinpätkässä on melkeinpä ollut helpompaa ja nopeampaa itse korjailla pikkuviat.

Toki tuohon vastausten laatuun vaikuttaa varmaan oma taito kysellä AI:lta asioita ja varmaan nuo LLM:t ovat kehittyneetkin viimeisen vuoden aikana.

Mitään editoriin integroitua avustinta ei minulla ainakaan vielä ole käytössä, sen verran harvoin kuitenkin on tullut AI:ta käytettyä koodailussa apuna.

 

[kaakau<"'\\/>]

Linuxin säätämisessä on ollut hyötyä. Vähän kuin hakukone, mutta ensimmäinen tulos on hyvä.

 

[finWeazel]

SWE-bench on yksi tapa mitata miten hyvä AI on tekemään koodaustaskeja. Claude Sonnetin tekijät jutteli, että vuosi sitten oli suurinpiirtein 3% mitä AI osasi ratkaista, nyt päästään 49%:iin. Ehkä vuoden päästä ollaan yli 90% suorituskyvyssä. Toki ei tarkoita että AI osaisi koodata kaiken, mutta kertoo jotain siitä miten AI:n käyttö tavanomaisiin tehtäviin on kehittynyt ja ehkä tulee kehittymään. Ollaan jännän äärellä. Ongelmiakin on benchmarkeissa kun niissä tehdyt tulokset eivät välttämättä yleisty tavanomaiseen käyttöön tai puuttuu benchmarkista testejä jostain tietystä koodaushommasta.

Mä olen tykännyt cursorista kun se tuntuu ymmärtävän kontekstin paremmin. ChatGPT webbisivulla hankala kun se ei näe ympäröivää koodia. On ihan herran hallussa tai pitkällinen promptaaminen että saa "helposti integroitavaa" tai hajoaa kokonaan jos pitäisi ympärillä olevaa koodia myös muuttaa.

Our latest model, the upgraded Claude 3.5 Sonnet, achieved 49% on SWE-bench Verified, a software engineering evaluation, beating the previous state-of-the-art model's 45%. This post explains the "agent" we built around the model, and is intended to help developers get the best possible performance out of Claude 3.5 Sonnet.

Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet

A post for developers about the new Claude 3.5 Sonnet and the SWE-bench eval

www.anthropic.com

SWE-bench

SWE-bench: Evaluate Language Models on Open Source Software Tasks

www.swebench.com

 

[demonax]

Copilottia on tullut käytettyä, integroituna VS Codeen. Kyllähän siitä pientä buustia saa koodin kirjoittamiseen, juurikin "autocomplete" featuren muodossa. Ja joskus kun on ollut aivot solmussa eikä ole jaksanut miettiä miten funktio kannattaisi toteuttaa, niin olen kirjoittanut ensin yksikkötestit ja pyytänyt niiden pohjalta ratkaisua, on toiminut oikein hyvin.