- Liittynyt
- 25.10.2016
- Viestejä
- 97
Kiitos! Tämä selkiyttää, sittenpä ei ainakaan lasketa tämän varaan.Tuollaisella pystyy ajamaan esim. 120B parametrisen oss-gpt:120b mallin. Se on paska versus halvinkin pilvi ainakin niissä tapauksissa mitä minä olen kokeillut. Toinen puoli asiaa on kontekstin koko mikä myös vaatii muistia. Ehkä ainoa mikä osaa aika hyvin ja voi ajaa lokaalisti on deepseekin r1 joka imaisee muistia yli 500GB ellei sitten lähde kvantisoimaan mallia pilalle. Deepseek ei kyllä kisaa parhaiden pilvimallien kanssa koodauksessa, tekstinluonnossa yms, ei edes sen 20e/kk tilauksen kanssa.
Kaveri tuossa kehuskeli, jotta hälle oli duunin puolesta tulossa tuo jäsympi 128GB versio testiin juuri näiden ajelua varten, odotan mielenkiinnolla raportointia myös siitä.
Muuten, tämä z13 (tai tuolloin ehkä se vanhempi x13?) taisi olla juuri se läppäri, johon aloitusviestissä viittasin, ja joka oli verkkiksessä näytillä.