RTX 4060 vai RTX 3060 vai jotain muuta Chat with RTX:n testailuun?

Liittynyt
30.05.2017
Viestejä
74
Ajattelin kokeilla tuota Nvidian Chat with RTX-sovellusta. Minulla on ohjeita sisältävä datasetti, jolla ajattelin testailla millaisia vastauksia Chat with RTX kykenee näistä ohjeista lokaalisti tuottamaan. En siis halua ajaa tätä settiä missään pilvessä, sen takia juuri tämä lokaali Chat with RTX kiinnostaa ja mitä pienemmällä budjetilla, sen parempi, kuitenkin mielellään hintalaatu-suhde kohdillaan.

Mikä näytönohjain on paras noin 300 euron hintaluokassa ajamaan Chat with RTX-sovellusta? Koska minimimuistin määrä sovelluksen käyttöön Mistral-mallilla on 8GB niin RTX 4060 riittäisi siihen. Llama 2.0 väitetään vaativan 16GB muistin. Kuitenkin RTX 3060 saa 12GB:n muistilla suurin piirtein samaan hintaan kuin RTX 4060. RTX 4060 on vähemmän tensoriytimiä kuin RTX 3060, mutta RTX 4060 tensoriytimet lienevät taas tehokkaampia...

-Onko muistin määrä 12GB vs. 8GB tässä käytössä merkittävä ero?
-Onko RTX 4060 tensoriytimet merkittävästi paremmat kuin RTX 3060?
-Onko PCIE-kaistalla tässä käytössä väliä? Koneeseen johon ajattelin näyttiksen kiinnittää on PCIE3.0 -emolevy.

-Jos näistä ei ole mihinkään, onko järkevämpi ratkaisu ostaa suoraan esim. RTX 4060 Ti 16GB:n muistilla?
-Jos ostaa RTX 4060Ti:n 16GB:n muistilla, toimiiko se normaalisti koneessa jossa on vain 16GB RAM-muisti vai pitääkö silloin olla vaikka 32GB?

Tiedän ylläolevasta raudasta verrattain vähän, enkä paljoa enempää LLM yms. Malleista ja sovelluksista. Kuitenkin minulla on ilmennyt melkoinen tarve päästä testaamaan juuri omalla datasetilläni lokaalisti tuota Chat with RTX-sovellusta. Onko tässä mitään järkeä?
 
Liittynyt
30.05.2017
Viestejä
74
Ostin täältä myyntipalstalta käytettynä RTX 3050 8GB -näytönohjaimen. RTX 3050 on heikoin (ja halvin) 8 Gigan muistilla varustettu Chat with RTX -kelpoinen näyttis, mutta pyörittää pikaisen testin perusteella ja hyvin pienellä testidatasetillä Chat with RTX:ää hyvin. 8GB VRAM asentaa vain Mistral 7B int4 -mallin. Llaman käyttöön vaaditaan ilmeisesti 16GB VRAM-muisti ja tällä näyttiksellä sitä ei päässe testaamaan. Jatkan harjoituksia.
 
Toggle Sidebar

Statistiikka

Viestiketjut
239 261
Viestejä
4 189 178
Jäsenet
70 716
Uusin jäsen
ileesu

Hinta.fi

Ylös Bottom