AI ja LLM -räpellys

[Mikkopoiga]

En nyt suoraan löytänyt tästä ketjua, joten pistän uuden.

Minkälaisella setupilla ajat lokaaleja malleja? Tarvitsisin jotain referenssejä oman koneen kasaamiseen. En juurikaan pelaa, mutta Llama ja Stable Diffusionin nopea ajo suurella resoluutiolla ovat vaatimuslistalla. Pelikoneen hankkiminen vesijäähdytyksineen ja värivaloineen ei niinkään kiinnosta, mutta en haluaisi säästää väärässä kohdassa.

Minulla on tällä hetkellä työkoneena Lenovon X1 Thinkpad, jossa 4 GB muistilla varustettu GPU. Silläkin on saanut Llaman 7B-version ja monta muuta sovellusta toimimaan, vaikkakin todella hitaasti. Stable Diffusionilla saa tehtyä kuvia 512x512 asti, mutta ei siitä pidemmälle. Riittääkö eGPU ja joku Nvidian Tesla P40 siihen kaveriksi, vai onko pakko rakentaa ns pelikone.

Internetistähän löytyy mielipiteitä joka oksalle, mutta tähän kysymykseen on yllättävän vaikeaa löytää edes suuntaa-antavaa vastausta. GPU-muisti määrää, mutta mikä on seuraava rajoittava tekijä?

 

[zepi]

En nyt suoraan löytänyt tästä ketjua, joten pistän uuden.

Minkälaisella setupilla ajat lokaaleja malleja? Tarvitsisin jotain referenssejä oman koneen kasaamiseen. En juurikaan pelaa, mutta Llama ja Stable Diffusionin nopea ajo suurella resoluutiolla ovat vaatimuslistalla. Pelikoneen hankkiminen vesijäähdytyksineen ja värivaloineen ei niinkään kiinnosta, mutta en haluaisi säästää väärässä kohdassa.

Minulla on tällä hetkellä työkoneena Lenovon X1 Thinkpad, jossa 4 GB muistilla varustettu GPU. Silläkin on saanut Llaman 7B-version ja monta muuta sovellusta toimimaan, vaikkakin todella hitaasti. Stable Diffusionilla saa tehtyä kuvia 512x512 asti, mutta ei siitä pidemmälle. Riittääkö eGPU ja joku Nvidian Tesla P40 siihen kaveriksi, vai onko pakko rakentaa ns pelikone.

Internetistähän löytyy mielipiteitä joka oksalle, mutta tähän kysymykseen on yllättävän vaikeaa löytää edes suuntaa-antavaa vastausta. GPU-muisti määrää, mutta mikä on seuraava rajoittava tekijä?

Osta käytetty Macbook Pro M1 Pro / Max sirulla ja 32GB tai 64GB muistilla. Tai Mac Studio / Mac Mini (erikseen malli jossa 32GB muistia ja M2 Pro prossu), niin voit ajaa merkittävästi isompia malleja kuin millään järkevän hintaisella PC:llä.

Toinen vaihtoehto on ostaa maksimaalisen isolla muistilla varustettu GPU (kalliita) ja sen ympärille sitten joku koneen runko - silloin saa vähemmän muistia (pienemmät mallit) mutta toisaalta inferenssi pyörii nopeammin kun GPU:t ovat tehokkaampia.

Esim. omalla Macbook Pro M2 Max 64GB:llä pyörii vaikka LLaMA 70b malli ja myös Mistralin varsin hyvän tarkkuuden mallit pyörähtävät ilman ongelmia.

Reddit - Dive into anything

www.reddit.com

Mäkkien hyvä puoli on se, että niistä pääsee yleensä myös aika helposti eroon yhdellä osto / myynti ilmoitus-kombolla, siinä missä osista rakennetun PC:n kanssa saa joskus vähän jumpata myydessä kun osa ostajista ei kaipaa koko pakettia kerralla.

 

[hsalonen]

Internetistähän löytyy mielipiteitä joka oksalle, mutta tähän kysymykseen on yllättävän vaikeaa löytää edes suuntaa-antavaa vastausta. GPU-muisti määrää, mutta mikä on seuraava rajoittava tekijä?

No TOPS, tietysti. Ja sitten kaistanleveys, jonka vuoksi jotkut ostavat P100:ia. Maksaa about saman verran kuin P40.

Ja et sinä tartte toista "näytönohjainta", jos sinulla on iGPU. Tai sitten pistä joku halpa Quadro rinnalle. Ellet sitten puhu siitä, että kannettavaan kytket eGPU-koteloon P40:n. Siinä voi taas se kaista tulla vastaan, mutta taitaa muuten toimia. Lisäksi noissa on erilainen virransyöttö ja jäähdytys, niin kovaa modaamista on sillä tiellä luvassa.

 

[Mikkopoiga]

Osta käytetty Macbook Pro M1 Pro / Max sirulla ja 32GB tai 64GB muistilla. Tai Mac Studio / Mac Mini (erikseen malli jossa 32GB muistia ja M2 Pro prossu), niin voit ajaa merkittävästi isompia malleja kuin millään järkevän hintaisella PC:llä.

Mäkkien hyvä puoli on se, että niistä pääsee yleensä myös aika helposti eroon yhdellä osto / myynti ilmoitus-kombolla, siinä missä osista rakennetun PC:n kanssa saa joskus vähän jumpata myydessä kun osa ostajista ei kaipaa koko pakettia kerralla.

Tuo mac studio on kyllä mainio vinkki! Ei tullut mieleenkään katsoa applen pöytäkoneista mitään speksejä. Jotenkin miellän sen täysin läppärifirmaksi. Hinnan ja jälleenmyyntiarvon suhteen taitaa olla voittaja. Kiitos!

No TOPS, tietysti. Ja sitten kaistanleveys, jonka vuoksi jotkut ostavat P100:ia. Maksaa about saman verran kuin P40.

Ja et sinä tartte toista "näytönohjainta", jos sinulla on iGPU. Tai sitten pistä joku halpa Quadro rinnalle. Ellet sitten puhu siitä, että kannettavaan kytket eGPU-koteloon P40:n. Siinä voi taas se kaista tulla vastaan, mutta taitaa muuten toimia. Lisäksi noissa on erilainen virransyöttö ja jäähdytys, niin kovaa modaamista on sillä tiellä luvassa.

Joo, niitä eGPU-modauksia tuossa jo katselinkin. Niiden kanssa saa olla tarkkana ja lopputulos on jonkinmoinen frankenstein-malli. P100 taitaa olla kaistaa enemmän, mutta vähemmän muistia. P40 on halvin 24 GB GPU.