finWeazel
Make ATK Great Again
- Liittynyt
- 15.12.2019
- Viestejä
- 16 129
nvfp4 kultastandardi. Saa fp8 tarkkuuden, mutta 4bit per parametri. tavan fp4:ssa huomattavasti vähemmän tarkkuutta. Laguna s2.1:sta näkee miten myös tuo nvfp4 tarjoaa pienemmän mallikoon niin säästyy muistia(allaoleva kuva). mxfp4/nvfp4 vaatii raudalta tuen, ts. nvidian blackwell taitaa olla ainoa pelaaja tässä kaupungissa kuluttajapiireistä. Jos ei ole rautatukea niin nvfp4/mxfp4 blocki skaalainsysteemi ei toimi optimaalisesti vaan pitää laskea shadereilla == hidastaa/ei toimi.tekeeköhän noilla pienemmillä quanteilla mitään?
Tags · laguna-s-2.1
Our most capable model to date, designed for long-horizon work. 70.2% on Terminal-Bench 2.1 at 118B-A8B.
Viimeksi muokattu:

