Ajattelin kokeilla tuota Nvidian Chat with RTX-sovellusta. Minulla on ohjeita sisältävä datasetti, jolla ajattelin testailla millaisia vastauksia Chat with RTX kykenee näistä ohjeista lokaalisti tuottamaan. En siis halua ajaa tätä settiä missään pilvessä, sen takia juuri tämä lokaali Chat with RTX kiinnostaa ja mitä pienemmällä budjetilla, sen parempi, kuitenkin mielellään hintalaatu-suhde kohdillaan.
Mikä näytönohjain on paras noin 300 euron hintaluokassa ajamaan Chat with RTX-sovellusta? Koska minimimuistin määrä sovelluksen käyttöön Mistral-mallilla on 8GB niin RTX 4060 riittäisi siihen. Llama 2.0 väitetään vaativan 16GB muistin. Kuitenkin RTX 3060 saa 12GB:n muistilla suurin piirtein samaan hintaan kuin RTX 4060. RTX 4060 on vähemmän tensoriytimiä kuin RTX 3060, mutta RTX 4060 tensoriytimet lienevät taas tehokkaampia...
-Onko muistin määrä 12GB vs. 8GB tässä käytössä merkittävä ero?
-Onko RTX 4060 tensoriytimet merkittävästi paremmat kuin RTX 3060?
-Onko PCIE-kaistalla tässä käytössä väliä? Koneeseen johon ajattelin näyttiksen kiinnittää on PCIE3.0 -emolevy.
-Jos näistä ei ole mihinkään, onko järkevämpi ratkaisu ostaa suoraan esim. RTX 4060 Ti 16GB:n muistilla?
-Jos ostaa RTX 4060Ti:n 16GB:n muistilla, toimiiko se normaalisti koneessa jossa on vain 16GB RAM-muisti vai pitääkö silloin olla vaikka 32GB?
Tiedän ylläolevasta raudasta verrattain vähän, enkä paljoa enempää LLM yms. Malleista ja sovelluksista. Kuitenkin minulla on ilmennyt melkoinen tarve päästä testaamaan juuri omalla datasetilläni lokaalisti tuota Chat with RTX-sovellusta. Onko tässä mitään järkeä?
Mikä näytönohjain on paras noin 300 euron hintaluokassa ajamaan Chat with RTX-sovellusta? Koska minimimuistin määrä sovelluksen käyttöön Mistral-mallilla on 8GB niin RTX 4060 riittäisi siihen. Llama 2.0 väitetään vaativan 16GB muistin. Kuitenkin RTX 3060 saa 12GB:n muistilla suurin piirtein samaan hintaan kuin RTX 4060. RTX 4060 on vähemmän tensoriytimiä kuin RTX 3060, mutta RTX 4060 tensoriytimet lienevät taas tehokkaampia...
-Onko muistin määrä 12GB vs. 8GB tässä käytössä merkittävä ero?
-Onko RTX 4060 tensoriytimet merkittävästi paremmat kuin RTX 3060?
-Onko PCIE-kaistalla tässä käytössä väliä? Koneeseen johon ajattelin näyttiksen kiinnittää on PCIE3.0 -emolevy.
-Jos näistä ei ole mihinkään, onko järkevämpi ratkaisu ostaa suoraan esim. RTX 4060 Ti 16GB:n muistilla?
-Jos ostaa RTX 4060Ti:n 16GB:n muistilla, toimiiko se normaalisti koneessa jossa on vain 16GB RAM-muisti vai pitääkö silloin olla vaikka 32GB?
Tiedän ylläolevasta raudasta verrattain vähän, enkä paljoa enempää LLM yms. Malleista ja sovelluksista. Kuitenkin minulla on ilmennyt melkoinen tarve päästä testaamaan juuri omalla datasetilläni lokaalisti tuota Chat with RTX-sovellusta. Onko tässä mitään järkeä?
