AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

[finWeazel]

RTX 5090 tulee joko 32GB tai 48GB muistilla, näkee sitten. Mutta joo näillä ei ihan Sonnettin tai O1 laatuisia työkaluja voi pyöritellä, mutta voi jotain muuta pienempää. Macci jää pelkän RAM'in kanssa aina hidaaksi juu, en ees lähe kokeilee

Kai se on 32GB kun vahvat huhut ettei 3GB gddr7 piirejä ole isona määrinä tarjolla. Ei mikään huhupajakaan ole puhunut 48GB mallista vaan kaikki viittaa 32GB.

Ei tuo m4 max:in hitaus nyt niin haitannut kun sen pohjalta näki jo mihin tän hetkiset lokaalit kielimallit pystyvät tai siis eivät oikeasti pysty versus o1/sonnet. ts. ihan sama mikä rauta olis alla niin ei tuo nykyisten lokaalimallien laatu riitä. Ei hyödytä nopeampi rauta kun ratkaisut eivät ole riittävän laadukkaita.

 

[Yann]

RTX 5090 tulee joko 32GB tai 48GB muistilla, näkee sitten. Mutta joo näillä ei ihan Sonnettin tai O1 laatuisia työkaluja voi pyöritellä, mutta voi jotain muuta pienempää. Macci jää pelkän RAM'in kanssa aina hidaaksi juu, en ees lähe kokeilee

Macissa tuo "RAM" on jaettu GPU:n kanssa. Mac on itse asiassa paljon nopeampi kuin RTX 4090, jossa vain 24 GB VRAM, jos malli mahtuu vain tuonne Macin muistiin.

Joku uusi Mac Studio M4 Ultra saattaisi olla mielenkiintoinen, jos vaikka 256 GB tuota jaettua muistia vähän nopeampana ja hintaa reilu 5 000 euroa. M4 Ultran pitäisi olla ainakin RTX 4090 tehoinen. Isojen mallien kanssa paljon nopeampi kuin joku RTX, jonka VRAMiin malli ei mahdu tai jos mahtuu niin hintaa on kymmeniä tuhansia euroja. Siis jos lokaalisti täytyy ajaa malleja. Korjatkaa jos olen väärässä.

 

[meelishy]

Macissa tuo "RAM" on jaettu GPU:n kanssa. Mac on itse asiassa paljon nopeampi kuin RTX 4090, jossa vain 24 GB VRAM, jos malli mahtuu vain tuonne Macin muistiin.

Joku uusi Mac Studio M4 Ultra saattaisi olla mielenkiintoinen, jos vaikka 256 GB tuota jaettua muistia vähän nopeampana ja hintaa reilu 5 000 euroa. M4 Ultran pitäisi olla ainakin RTX 4090 tehoinen. Isojen mallien kanssa paljon nopeampi kuin joku RTX, jonka VRAMiin malli ei mahdu tai jos mahtuu niin hintaa on kymmeniä tuhansia euroja. Siis jos lokaalisti täytyy ajaa malleja. Korjatkaa jos olen väärässä.

En ole vielä kuullut, että joku sanoisi, että Mac on nopeampi kuin 4090 näissä, tosin en ole itse lokaalisti malleja testannut. Paras "koti" setuppi on väitetysti/benchmarkattu vieläkin 2x 3090, ja jopa sillä ei saa vielä sellaisia tuloksia kuin haluaisi.

M3 Max -nopeus on jotain 400 GB/s? Ja 4090 jotain 1000 GB/s?
Miten Macci voi olla nopeampi?

Vaikka Macilla on enemmän muistia, ei se korvaa muistiväylän nopeutta (rinnakkaislaskentaa)?
Sekä 4090:llä voi ajaa kvantisoituja malleja. Macilla voi ajaa isompia malleja, mutta hyvin hitaasti, että kuullemma ei ole sen arvoista. Mielestäni koti-setupit eivät vielä ole siinä tilassa, että käyttäisin henk.koht. itse, ainakaan LLM:n kohdalla. 2x 3090 setuppi ehkä jopa ok tietyissä malleissa.

EDIT: Ja niin macin rahalla saa aikan monta 700e 3090 korttia Ettei ihan sen arvoista, jos ei ole edes yhtä nopea. Ja ei NVIDIA'n ekosysteemia (CUDA, cuBLAS ja TensorRT)

 

[Yann]

En ole vielä kuullut, että joku sanoisi, että Mac on nopeampi kuin 4090 näissä, tosin en ole itse lokaalisti malleja testannut. Paras "koti" setuppi on väitetysti/benchmarkattu vieläkin 2x 3090, ja jopa sillä ei saa vielä sellaisia tuloksia kuin haluaisi.

M3 Max -nopeus on jotain 400 GB/s? Ja 4090 jotain 1000 GB/s?
Miten Macci voi olla nopeampi?

Vaikka Macilla on enemmän muistia, ei se korvaa muistiväylän nopeutta (rinnakkaislaskentaa)?
Sekä 4090:llä voi ajaa kvantisoituja malleja. Macilla voi ajaa isompia malleja, mutta hyvin hitaasti, että kuullemma ei ole sen arvoista. Mielestäni koti-setupit eivät vielä ole siinä tilassa, että käyttäisin henk.koht. itse, ainakaan LLM:n kohdalla. 2x 3090 setuppi ehkä jopa ok tietyissä malleissa.

EDIT: Ja niin macin rahalla saa aikan monta 700e 3090 korttia Ettei ihan sen arvoista, jos ei ole edes yhtä nopea. Ja ei NVIDIA'n ekosysteemia (CUDA, cuBLAS ja TensorRT)

Toivottavaa kuitenkin olisi, että Apple haastaisi NVIDIAn näissä tekoälyhommissa, mutta taitaa vielä olla matkaa. Todella vähävirtaisiahan nuo Applen koneet ovat, niin se pitää kaiketi myös huomioida.