AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

[finWeazel]

RTX 5090 tulee joko 32GB tai 48GB muistilla, näkee sitten. Mutta joo näillä ei ihan Sonnettin tai O1 laatuisia työkaluja voi pyöritellä, mutta voi jotain muuta pienempää. Macci jää pelkän RAM'in kanssa aina hidaaksi juu, en ees lähe kokeilee

Kai se on 32GB kun vahvat huhut ettei 3GB gddr7 piirejä ole isona määrinä tarjolla. Ei mikään huhupajakaan ole puhunut 48GB mallista vaan kaikki viittaa 32GB.

Ei tuo m4 max:in hitaus nyt niin haitannut kun sen pohjalta näki jo mihin tän hetkiset lokaalit kielimallit pystyvät tai siis eivät oikeasti pysty versus o1/sonnet. ts. ihan sama mikä rauta olis alla niin ei tuo nykyisten lokaalimallien laatu riitä. Ei hyödytä nopeampi rauta kun ratkaisut eivät ole riittävän laadukkaita.

 

[Yann]

RTX 5090 tulee joko 32GB tai 48GB muistilla, näkee sitten. Mutta joo näillä ei ihan Sonnettin tai O1 laatuisia työkaluja voi pyöritellä, mutta voi jotain muuta pienempää. Macci jää pelkän RAM'in kanssa aina hidaaksi juu, en ees lähe kokeilee

Macissa tuo "RAM" on jaettu GPU:n kanssa. Mac on itse asiassa paljon nopeampi kuin RTX 4090, jossa vain 24 GB VRAM, jos malli mahtuu vain tuonne Macin muistiin.

Joku uusi Mac Studio M4 Ultra saattaisi olla mielenkiintoinen, jos vaikka 256 GB tuota jaettua muistia vähän nopeampana ja hintaa reilu 5 000 euroa. M4 Ultran pitäisi olla ainakin RTX 4090 tehoinen. Isojen mallien kanssa paljon nopeampi kuin joku RTX, jonka VRAMiin malli ei mahdu tai jos mahtuu niin hintaa on kymmeniä tuhansia euroja. Siis jos lokaalisti täytyy ajaa malleja. Korjatkaa jos olen väärässä.

 

[meelishy]

Macissa tuo "RAM" on jaettu GPU:n kanssa. Mac on itse asiassa paljon nopeampi kuin RTX 4090, jossa vain 24 GB VRAM, jos malli mahtuu vain tuonne Macin muistiin.

Joku uusi Mac Studio M4 Ultra saattaisi olla mielenkiintoinen, jos vaikka 256 GB tuota jaettua muistia vähän nopeampana ja hintaa reilu 5 000 euroa. M4 Ultran pitäisi olla ainakin RTX 4090 tehoinen. Isojen mallien kanssa paljon nopeampi kuin joku RTX, jonka VRAMiin malli ei mahdu tai jos mahtuu niin hintaa on kymmeniä tuhansia euroja. Siis jos lokaalisti täytyy ajaa malleja. Korjatkaa jos olen väärässä.

En ole vielä kuullut, että joku sanoisi, että Mac on nopeampi kuin 4090 näissä, tosin en ole itse lokaalisti malleja testannut. Paras "koti" setuppi on väitetysti/benchmarkattu vieläkin 2x 3090, ja jopa sillä ei saa vielä sellaisia tuloksia kuin haluaisi.

M3 Max -nopeus on jotain 400 GB/s? Ja 4090 jotain 1000 GB/s?
Miten Macci voi olla nopeampi?

Vaikka Macilla on enemmän muistia, ei se korvaa muistiväylän nopeutta (rinnakkaislaskentaa)?
Sekä 4090:llä voi ajaa kvantisoituja malleja. Macilla voi ajaa isompia malleja, mutta hyvin hitaasti, että kuullemma ei ole sen arvoista. Mielestäni koti-setupit eivät vielä ole siinä tilassa, että käyttäisin henk.koht. itse, ainakaan LLM:n kohdalla. 2x 3090 setuppi ehkä jopa ok tietyissä malleissa.

EDIT: Ja niin macin rahalla saa aikan monta 700e 3090 korttia Ettei ihan sen arvoista, jos ei ole edes yhtä nopea. Ja ei NVIDIA'n ekosysteemia (CUDA, cuBLAS ja TensorRT)

 

[Yann]

En ole vielä kuullut, että joku sanoisi, että Mac on nopeampi kuin 4090 näissä, tosin en ole itse lokaalisti malleja testannut. Paras "koti" setuppi on väitetysti/benchmarkattu vieläkin 2x 3090, ja jopa sillä ei saa vielä sellaisia tuloksia kuin haluaisi.

M3 Max -nopeus on jotain 400 GB/s? Ja 4090 jotain 1000 GB/s?
Miten Macci voi olla nopeampi?

Vaikka Macilla on enemmän muistia, ei se korvaa muistiväylän nopeutta (rinnakkaislaskentaa)?
Sekä 4090:llä voi ajaa kvantisoituja malleja. Macilla voi ajaa isompia malleja, mutta hyvin hitaasti, että kuullemma ei ole sen arvoista. Mielestäni koti-setupit eivät vielä ole siinä tilassa, että käyttäisin henk.koht. itse, ainakaan LLM:n kohdalla. 2x 3090 setuppi ehkä jopa ok tietyissä malleissa.

EDIT: Ja niin macin rahalla saa aikan monta 700e 3090 korttia Ettei ihan sen arvoista, jos ei ole edes yhtä nopea. Ja ei NVIDIA'n ekosysteemia (CUDA, cuBLAS ja TensorRT)

Toivottavaa kuitenkin olisi, että Apple haastaisi NVIDIAn näissä tekoälyhommissa, mutta taitaa vielä olla matkaa. Todella vähävirtaisiahan nuo Applen koneet ovat, niin se pitää kaiketi myös huomioida.

 

[finWeazel]

En ole vielä kuullut, että joku sanoisi, että Mac on nopeampi kuin 4090 näissä, tosin en ole itse lokaalisti malleja testannut. Paras "koti" setuppi on väitetysti/benchmarkattu vieläkin 2x 3090, ja jopa sillä ei saa vielä sellaisia tuloksia kuin haluaisi.

M3 Max -nopeus on jotain 400 GB/s? Ja 4090 jotain 1000 GB/s?
Miten Macci voi olla nopeampi?

m4 max suurinpiirtein sama kuin desktop 4070 tai parempi verrokki ehkä aavistuksen hitaampi kuin mobiili 4080. Tosin jos rajoitetaan mobiili4080 watit samaan kuin m4 max niin 4080 ei pärjää. Kai huhuttu m4 ultra voi päästä laskentahommissa 4090 tasolle. ultra on huhujen mukaan 2 m4 max piiriä yhteen liimattuna, nopea väylä välissä ja desktop form factor versus virtapihi läppäri.

m4 max:ssa 546GB/s muistikaistaa ja se on kyllä wattien puolesta läppäripiiri. Ei vedä satoja watteja vaan jotain 50W-60W väliin.

En tajua miksi tässä ketjussa pitää vängätä kenen isin gpu on nopein. Ainakin mun pointti oli testata lokaalit kielimallit kera lokaalin aiderin. Testin lopputulos oli, että lokaalit antavat niin paljon huonompia vastauksia verrattuna o1 että en näe itselleni mitään syytä käyttää lokaaleja tässä kohtaa. Toki ihan minä päivänä vain voi tulla lokaalimalli mikä on niin hyvä, että muutan mielipidettä. Llama3.3:70b ja qwen2.5-coder:32B eivät ole riittävän hyviä versus o1.

edit. Jos tekee chatbottia tms. niin lokaali llama3.3:70b on todella hyvä. Tämän ketjun aihe kuitenkin koodiavustimissa, ei geneerisissa chatboteissa.

 

[finWeazel]

Allaolevasta näkee millä vauhdilla llama3.3:70b jaksaa macbook pro m4 max:lla generoida koodia. Yritti ratkaista päivän advent of code luukkua. Lokaali lama ja pilven claude sonnet 3.5 feilas tuon kanssa. O1 onnistui toisella yrityksellä generoimaan pulmat ratkaisevan koodin. LLama imaisi 44GB muistia. Ei tuosta tällä hetkellä ole iloa vaikka tekisi saman toimimattoman lopputuloksen pikosekunnissa.



advent of coden 13. ja 14. päivän luukkujen kakkososat sellaiset ettei o1,o1 pro eikä cs3.5 osanneet ratkaista.

 

[mailbag]

Mitä olen seuraillut ihmisten kokeiluja niin 3090/4090 on yleensä vähintään noin 3x nopeampi kuin M4 LLM pyörityksessä ja tietysti diffusion mallit on nvidialla vielä nopeampia.

 

[Yann]

Mitä olen seuraillut ihmisten kokeiluja niin 3090/4090 on yleensä vähintään noin 3x nopeampi kuin M4 LLM pyörityksessä ja tietysti diffusion mallit on nvidialla vielä nopeampia.

TDP M4 noin 20 W vs RTX 4090 noin 350 W. Suorituskyky wattia kohden (perf/W) on varmasti paljon parempi M4:ssä, joten kaikki vaan ostamaan noita macceja, niin säästetään sähköä.

Onko vertailussa edes paljoa järkeä paitsi, jos lokaali malli vaatii hurjasti muistia (GPU:n käytössä Macilla n. 100 GB vs RTX 4090 24 GB), jolloin Mac loistaa?

Toisaalta hyvät lokaalisti ajetut kielimallit ainakin koodauksessa, joka on ketjun aihe, ovat tulossa vasta tulevaisuudessa ja vaatinevat paljon muistia. Parhaimmat mallit käsittääkseni niin isoja tällä hetkellä, että vaativat satoja GB muistia GPU:lta, eikä niitä edes saa ajettua lokaalisti.

 

[meelishy]

LiveBench

livebench.ai

O1 koodauksessa aika tasan sonnetin kanssa, paitsi olen aika varma, että jos tuloksia 'iteröidään' / kysytään samaa asiaa uudelleen, on O1 noin 20–30 % parempi. Ja O1 PRO vielä parempi (koska ajattelee pidempään / reasoning more).

EDIT: Ja tästä vielä kun katsoo "Reasoningia", eli kuvittelee nyt jos sulla on O1 PRO Arkkitehtinä (joka ei editoi koodia) ja toinen malli mikä toimii ehkä paremmin editorina

Itsellääni nyt parhaat editorit ovat
- 1. gemini-exp-1206 (aider WHOLE mode)
- 2. gemini-2.0-flash-ex (aider DIFF mode)
- 3. deepseek-chat (diff, uusi R1 lite kuullemma hyvää täytyy testaa)
- 4. sonnet-3-5 (diff)

4. on ehkä paras, mutta vika koska liian kallis editoriksi.
1-3 usein saattaa failaa {} (js) kielien kanssa, niin 4. yleenäs sillos pelastaa.. oma projekti suurrimmalta osaalta nyt pythoni niin 1-3 toimii hyvin.

Sekä editori testejä: Aider LLM Leaderboards

 

[finWeazel]

Taitaa openai:n o3:en tammikuun loppupuolella nytkäyttää koodiavustimia melko ison pykälän eteenpäin. Todella lupaavia numeroita openai:lta. SWE bench mittari missä katsotaan miten hyvin malli osaa ratkaista open source projektien githubissa olevia tickettejä ongelman ymmärtämisestä sisään saatuun koodiin. Hyppy 50% pinnasta 70% kova juttu. 3/4:sta tiketistä ratkeaa. Parhaat tän hetken tulokset alle 50% SWE-bench

Ratkoo myös arc challengea hyvin: OpenAI o3 Breakthrough High Score on ARC-AGI-Pub

Matematiikka/fysiikkapuolella aletaan lähestyä rajaa missä on vaikea keksiä riittävän vaikeita ongelmia mallien osaamisen mittaamiseen.

Parhaat mallit aikaisemmin tässä matemaattisten ongelmien ratkaisussa 2%, o3 10x parempi.

lähde:

 

[mailbag]

Ilmeisesti tuo o3 on todella kallis järjestelmä ajaa joten tässä vaiheessa ainakaan normaali käyttäjä ei varmaan pääse sitä käyttämään mutta tärkeämpää on että se näyttää että laitteiston skaalaus toimii taas erittäin hyvin uusilla tekniikoilla.

 

[meelishy]

Ilmeisesti tuo o3 on todella kallis järjestelmä ajaa joten tässä vaiheessa ainakaan normaali käyttäjä ei varmaan pääse sitä käyttämään mutta tärkeämpää on että se näyttää että laitteiston skaalaus toimii taas erittäin hyvin uusilla tekniikoilla.

Ei tuu ehkä ihan kuluttaja käyttöön näillä hinnoillaa juu

O1 Pro edelleen paras kuluttajakäytössä (ehkä naamioittu O3 mini)