NVIDIAn GeForce RTX 3060 12 Gt palasi markkinoille keskellä muistikriisiä

[Kaotik]

Näytönohjaimen yli viiden vuoden ikä ei valitettavasti näy hinnassa, vaan se on hinnoiteltu lähelle alkuperäistä suositushintaansa ja markkinoista riippuen jopa sen yli.

Muistikriisi on vaikuttanut negatiivisesti myös näytönohjainten hintoihin ja saatavuuteen. Messuilla on riittänyt myös puhetta mahdollisesta vanhempien mallien paluusta markkinoille aina toimitusjohtajatasoa myöden ja keväällä netissä liikkuikin vahvoja huhuja NVIDIAn GeForce RTX 3060 -näytönohjaimen paluusta.

Nyt huhut konkretisoituneet ja GeForce RTX 3060 12 Gt -näytönohjaimet ovat palanneet markkinoille. Kyse on vanhasta tutusta vuonna 2021 julkaistusta mallista, joka perustuu joko GA106- tai GA104-piiriin. Aiemmin markkinoilla oli versioita kummallakin piirillä ja toistaiseksi ei ole varmistettu, kumpaan uudet perustuvat. Mikäli aiemmat huhut Samsungin uudelleen käynnistetyistä 8 nanometrin luokan linjoista pitävät paikkansa, voitaneen olettaa kyse olevan kuitenkin halvemmasta GA106-piiristä.

Tom’s Hardware uutisoi jo viikko sitten Gigabyten RTX 3060 12 Gt varustettuna uudella ”Rev 2.0” -merkinnällä palanneen myyntiin NewEggin valikoimissa. Kenties vähemmän rohkaisevasti näytönohjaimen veroton hinta Yhdysvalloissa oli 339,99 dollaria, 10 dollaria enemmän kuin sen alkuperäinen suositushinta yli 5 vuotta sitten.

HardwareLuxx puolestaan tiesi kertoa, että Euroopassa kauppoihin saapui ensimmäisenä Asuksen GeForce RTX 3060 12 Gt Dual V2 ja perästä tulevat Gigabyte, MSI ja PNY omine malleineen. Sivusto mainitsee hinnan olleen vanhoilla erillä vuosi sitten vielä noin 245 euroa, kun nyt myyntiin tulleet uudet erät ovat hinnoiteltu edullisimmillaan 333 euroon. Ajankohtaisesti

Suomikaan ei ole jäänyt paitsi uusvanhoista näytönohjaimista, vaan Hinta.fi-hintaseurannan mukaan Asuksen GeForce RTX 3060 12 Gt Dual V2 on saatavilla jo täkäläisilläkin markkinoilla. Näytönohjain on tällä hetkellä edullisimmillaan kenties hieman yllättävästikin vain 314,99 euroa, eli halvempi kuin pienemmän verokannan omaavassa Saksassa.

 

[polarbear62]

Ihan jees kortti OS:n asentamista ja YouTuben katsomista varten.

 

[Marti77]

Toivottavasti ei kukaan osta tuolla hinnalla.
En tiedä mitä tämä vanhan malli herätys auttaa päinvastoin tuhlaavat muisteja.
Vaikka 9060 tai 5060 ei myöskään ole erityisen loistava ostos 8gt muistien takia niin se kuitenkin paljon parempi vaihtoehto ellei halua käytetyn rtx3080 kortin ostaa.

 

[Sepander]

50€ olisi sopiva hinta noin vanhalle tekniikalle.

 

[mastocontti]

En tiiä pöytäkoneessa r5 5800x 48gb ddr4 ja 3060 12gb 2023edition , pyörii 2k high settareilla bäfäki ERITTÄIN hyvin ja fps ei droppaile kovinkaan alas... Kynäri nyt pyörii perunallaki mutta testattu on 2k ultrahigh + obs päällä pysyy +400fps
Hinta toki pitäs olla 150-200e luokkaa...

 

[Lare]

Nvidia voisi julkaista vielä vaikka RTX 3070:n, 3080:n ja 3090:n pelaajille, jotka kaipaavat enemmän suorituskykyä.

Onhan tuo vähän erikoinen julkaisu etenkin, kun näytönohjaimien hinnat eivät ole räjähtäneet niin pahasti kuin muistipulan alussa arveltiin. RTX 5060 on yhä saman hintainen ja selvästi tehokkaampi, mutta toki 8GB-muisti voi jarruttaa menoa joisskain peleissä.

Itsellä oli alkuperäisen julkaisun jälkeen vähän aikaa RTX 3060 koneessa ja vaikka se oli 1080p-näytöllä ihan pätevä kortti, loppui suorituskyky auttamatta kesken 1440p-näytön hankinnan jälkeen. Tuon jälkeen on julkaistu vaikka kuinka vieläkin raskaampia pelejä. Yritin itse asiassa ostaa varakortiksi RTX 3060:aa talvella, mutta sitten löysin Torista 150 eurolla RX 6600 XT:n.

 

[tarmo2011]

Itsellä on RX 570 8GB ja tuo päivitys olisi valtaisa hyppäys itselle kun pelaamista ei ole.
Uudet näytönohjaimet pääasiassa sisältää kans 8GB vramia, joten sieltä puolelta parannusta ei tulisi.
Myös käytetyistä huonommista näytönohjaimista pyydetään samat tai enemmän kuin tuo 319€, että kallishan se on, mutta jos pelaaminen ei ole kyseessä, niin mitkä ne paremmat vaihtoehdot samaan hintaan on? Tai edes lähelle?
Houkuttaisi päivittää tuo 570:n tilalle, mutta ehkä jätän vielä hyllylle odottamaan hintojen ei-koskaan tulevaa laskua "normaalille" tasolle...

 

[Low Life]

Toivottavasti ei kukaan osta tuolla hinnalla.
En tiedä mitä tämä vanhan malli herätys auttaa päinvastoin tuhlaavat muisteja.
Vaikka 9060 tai 5060 ei myöskään ole erityisen loistava ostos 8gt muistien takia niin se kuitenkin paljon parempi vaihtoehto ellei halua käytetyn rtx3080 kortin ostaa.

Ja tarjouksista saa 5060 Ti -korttejakin (toki edelleen 8 GB) suunnilleen samalla hinnalla.

 

[Kaotik]

Itsellä on RX 570 8GB ja tuo päivitys olisi valtaisa hyppäys itselle kun pelaamista ei ole.
Uudet näytönohjaimet pääasiassa sisältää kans 8GB vramia, joten sieltä puolelta parannusta ei tulisi.
Myös käytetyistä huonommista näytönohjaimista pyydetään samat tai enemmän kuin tuo 319€, että kallishan se on, mutta jos pelaaminen ei ole kyseessä, niin mitkä ne paremmat vaihtoehdot samaan hintaan on? Tai edes lähelle?
Houkuttaisi päivittää tuo 570:n tilalle, mutta ehkä jätän vielä hyllylle odottamaan hintojen ei-koskaan tulevaa laskua "normaalille" tasolle...

Herää lähinnä kysymys, että mihin sitä sitten tarvitset jos et peleihin?

 

[_j03_]

En tiedä mitä tämä vanhan malli herätys auttaa päinvastoin tuhlaavat muisteja.

Siinähän se idea nimenomaan oli, tuoda takaisin malli joka käyttää halvempia muisteja. Nykyisistä NVIDIAn korteista vain 5050 käyttää gddr6.

Toki tuolla hinnalla aivan absurdi tuote.

 

[tarmo2011]

Herää lähinnä kysymys, että mihin sitä sitten tarvitset jos et peleihin?

Geneettisesti llm ajoihin. Tarkemmin; olen luonut Python sovelluksen, joka transcriptaa videosta (tai suoraan subtitle-tiedosta toiselle kielelle) tekstit ja sitten halutessa kääntää ne halutulle kielelle, täysin paikallisesti. NVIDIA cuda ois tähänkin miljoona kertaa parempi kuin nykyinen Polaris arkkitehtuurin GPU, joka tukee llm huonosti. Toimiihan se joo, mutta tosi hidas.

 

[lehtv]

50€ olisi sopiva hinta noin vanhalle tekniikalle.

Ei olisi. Käytetyistä takuuttomista 3060 12GB korteista pyydetään 200€ ja vähän alle. Uuden kortin hinta vähintään +30%. Jos nämä julkaistaisiin haluamallasi 50€ hinnalla, ne vietäisiin heti käsistä trokareille jotka tekisivät 150-200€ tuottoa per kortti.

 

[Kaotik]

Geneettisesti llm ajoihin. Tarkemmin; olen luonut Python sovelluksen, joka transcriptaa videosta (tai suoraan subtitle-tiedosta toiselle kielelle) tekstit ja sitten halutessa kääntää ne halutulle kielelle, täysin paikallisesti. NVIDIA cuda ois tähänkin miljoona kertaa parempi kuin nykyinen Polaris arkkitehtuurin GPU, joka tukee llm huonosti. Toimiihan se joo, mutta tosi hidas.

No siihen tarkoitukseen varmasti passeli ellei käytettyä RX7600XT 16Gt:tä löydy (ROCm) halvemmalla

 

[takomo]

Geneettisesti llm ajoihin.

Juuri LLM-käytössä 12GB VRAM puoleen hintaan 16GB-kortteihin verrattuna voi olla merkittävä etu, jos GPU:n suorituskyky on muuten riittävä.

 

[Teuris]

50€ olisi sopiva hinta noin vanhalle tekniikalle.

Käytetyt 3060 ilman takuuta maksaa jotain 170-210€, eli juuh.

 

[Spotty]

Käytetyt 3060 ilman takuuta maksaa jotain 170-210€, eli juuh.

Tavallisesti 5 ½ vuotta vanhan, uutena muutaman satkun maksaneen keskiluokan kortin hinta käytettynä olisi jossain 50 € tietämillä. Eli se tosiaan olisi passeli hinta tälle "julkaisulle."

 

[JuhaPekka79]

No joo. 3060 on viimeinen xx60-sarjalainen missä on täysi 16x pci-e väylä. 4060 on jo x8 vehje. Tämähän vaikuttaa varsinkin vanhempaa, varsin vielä pätevää, konetta päivittävälle (Intel z370, amd b450, x470). 5060:ssa puuttuu myös natiivi tuki 32bit physx:ästä. Vain onko jollain ajureilla kierretty jo tämä. Eli ei joissain tapauksissa uudempi ole aina parempi, vaikka voittaakin testaajien pci-e gen5. vehkeissä. Totuus on että tämähän on mikä oli jo 5 vuotta sitten, mutta sopii paremmin myös vanhempiin emoihin ja peleihin.
Hintaahan tällä on nyt kyllä liikaa.

 

[ratkakapu]

Tavallisesti 5 ½ vuotta vanhan, uutena muutaman satkun maksaneen keskiluokan kortin hinta käytettynä olisi jossain 50 € tietämillä. Eli se tosiaan olisi passeli hinta tälle "julkaisulle."

Olet sellaisen viitisentoista vuotta jäljessä noine tietoinesi... 50€ hintaan saa käytettynä suunnilleen sellaisia 10v vanhoja kortteja kuin GTX 1060 6Gb ja RX 480/580 8Gb, välillä joku myy jopa GTX 1660 ellei peräti Super tai Ti mallia, mutta yleensä nuo lähentelevät satasta.
5v vanhat kortit kuten RX 6600, RX 6600 XT ja RTX 3060 maksavat käytettynä melkein yhtä paljon kuin uutena halvimillaan. Ja mihis niiden hinnat tippuisi tuosta, kun uusien markkinoilta ei saa mitään pelikorttia alle 200€ (Arc 380 ei ole pelikortti, eikä varsinkaan nuo GT610 yms mitä vielä myydään jossain). Tai no itse asiassa näyttää parissa kaupassa olevan yhtä RX 580 8Gb mallia alkaen 170€ myynnissä.

RXT 3060 valmistusta ei olisi koskaan pitänyt lopettaa, vaan painaa tuota korttia markkinoille pää märkänä hinnan pikkuhiljaa painuessa alaspäin kun suunnittelukustannukset olisi kuoletettu ja tuotantoketju olisi pikkuhiljaa optimoitu.

 

[Intta83]

Hinta tällä kortilla on aika tyyris ottaen huomioon kilpailevat kortit. Osaako kukaan sanoa miten tämä vertautuu nvidian 5060 ja 4060 tasoisiin kortteihin?

 

[459]

Hinta tällä kortilla on aika tyyris ottaen huomioon kilpailevat kortit. Osaako kukaan sanoa miten tämä vertautuu nvidian 5060 ja 4060 tasoisiin kortteihin?

NVIDIA GeForce RTX 5060 8 GB Review

The GeForce RTX 5060 8 GB is NVIDIA's newest release. It is built using the same chip as the RTX 5060 Ti, but only comes with an 8 GB VRAM option. In our review we run it through all our tests, including 1440p and 4K with and without ray tracing, and we also recommend optimal settings for...

www.techpowerup.com

Tilanteessa, jossa muisti riittää 8 gigatavun 4060- 4060 Ti- ja 5060-korteilla ajossa olevaa ohjelmaa varten 3060 jää suorituskyvyssä useita kymmeniä prosentteja jälkeen. Ne tilanteet joissa 8 gigatavua ei riitä onkin sitten aivan eri tarina. Yo. prosenttitaulukot ovat varsin karkeita mutta pelikohtaisia eroja voi käydä ihmettelemässä niin pääsee kärryille siitä kuinka suurta hajonta on.

 

[Tseki]

Ei vaikuta nykyinen "kehitys" oikein hyvältä vaikka ehkä toisaalta hyvä asia, että julkaisevat sentään jotain johonkin hintaan. PS. Onko se edes kehitystä, jos kehityksessä mennään taaksepäin eikä eteenpäin?

 

[aleksejjj]

On aika surulliseksi mennyt tietokonemarkkinat, kun tällaisia tuotteita tuodaan takaisin tähän hintaan.

 

[Marti77]

Jos RTX 3060 olisi nopeampi kun rtx5050 ja hinta alhaisempi voisi jotenkin ymmärtää tämän tuotteen uudelleen julkaisun en tiedä ketä tämä palvelee kun käytetyllä markkinoila saa paljon paremman vastikkeen rahoille.

 

[rushi]

No on sitä ennenkin osattu. Muistan kun kävin joskus pahimman kryptohulluuden aikaan Jätkäsaaren Verkkiksessä, siellä oli näyttishyllyt pääasiassa tyhjiä mutta "tuoretta" hiljattain julkaistua Asus Dual 2060 12GB mallia oli muutama loota, hintakin oli jotain varsin kohtuullista 550€ luokkaa.
Tuohan julkaistiin n. vuosi 3000-sarjan jälkeen ja julkaisuhinta oli n. $470.

Että älkääpä valittako 5,5v wanhasta ylihintaisesta hitaasta paskasta, jos sitä kerran saa jopa alle 350€ eli alkuperäiseen julkaisuhintaan, vaikka inflaatiokin on jyllännyt vaikka huru mycket

 

[m1kael_68]

Sitä saa oikeasti miettiä kuka näitä oikeasti ostaa? Käytettyä 3080:aa saa jaa jo halvemmalla ja puhutaan kuitenkin ihan eritason kortista. Ja jos uutena pakko ostaa niin 9060 XT 16 GB:tä saa jo vähän yli 400€:lla.

Olisi ollut ihan pelimiesliike jos hinta olisi ollut vaikkapa 179€. Mutta toisaalta eipä Nvidialta kohtuullista hintatasoa kannata odottaa.

 

[Exec]

Itse olen seuraillut käytettyjen 12GB-mallien hintoja koko alkuvuoden, ja tosiaan ovat pyörineet siinä noin 170-250 eurossa. Kysyntäkin tuntuu olevan suht kovaa, eli menevät aika nopeasti. Itse en oikein keksi tähän muuta selitystä kuin tuon AI-käytön, tässä on kuitenkin saatavissa nopeutta ja etenkin VRAM:ia toistaiseksi parhaalla hinta-laatusuhteella tuohon käyttöön. Näitä voi myös asentaa kaksin kappalein, jolloin on mahdollista (teoriassa) ajaa jopa 27B-malleja pelkästään VRAM:sta.

Verrokkina 3090 24GB-muistilla taitaa olla jo 900-1000 euron hintaluokassa käytettynä, ja menevät kaupaksi parissa päivässä.

 

[Kaotik]

Sitä saa oikeasti miettiä kuka näitä oikeasti ostaa? Käytettyä 3080:aa saa jaa jo halvemmalla ja puhutaan kuitenkin ihan eritason kortista. Ja jos uutena pakko ostaa niin 9060 XT 16 GB:tä saa jo vähän yli 400€:lla.

Olisi ollut ihan pelimiesliike jos hinta olisi ollut vaikkapa 179€. Mutta toisaalta eipä Nvidialta kohtuullista hintatasoa kannata odottaa.

Tekoälykäyttöön tämä vaan on parempi kuin se 3080, vaikka 3080 onkin tehokkaampi se 8 Gt loppuu kesken. Pelikäytössä sitten toki 3080 on selvästi parempi

 

[finWeazel]

En lähtisi enää 30x0 sarjan kortteihin AI-käytössä kun eivät tue nvfp4:sta. nvfp4:lla saa suorituskykyä ja kun kyseessä on extra dataa sisältävä kaksitasoisen kompression blockiformaatti niin myös tarkkuutta lisää. nvfp4 realistisesti antaa saman tarkkuuden kuin naivi fp8 toteutus. 30x0 kortit eivät tue edes tavallista fp4 formaattia.

 

[sampo.666]

No joo. 3060 on viimeinen xx60-sarjalainen missä on täysi 16x pci-e väylä. 4060 on jo x8 vehje. Tämähän vaikuttaa varsinkin vanhempaa, varsin vielä pätevää, konetta päivittävälle (Intel z370, amd b450, x470). 5060:ssa puuttuu myös natiivi tuki 32bit physx:ästä. Vain onko jollain ajureilla kierretty jo tämä. Eli ei joissain tapauksissa uudempi ole aina parempi, vaikka voittaakin testaajien pci-e gen5. vehkeissä.

32 bittinen physx tuki lisättiin puoli vuotta sitten blackwell korteille tiettyihin peleihin.

4060ti-5060ti 16GB toimii ihan ok gen3 väylälläkin. 8GB korteissa alkaa väylän nopeus näkymään reilummin nykypeleillä.

Nopeudeltaan tämä kortti on ymmärtääkseni Steam Machine tasoa, mutta ostaja saa enemmän muistia, paremman ylösskaalauksen ja RT tuen.

Mopohan se silti on, mutta ei kumminkaan aivan ser-luokkaa vielä.

 

[Halpuuttaja]

En lähtisi enää 30x0 sarjan kortteihin AI-käytössä kun eivät tue nvfp4:sta. nvfp4:lla saa suorituskykyä ja kun kyseessä on extra dataa sisältävä kaksitasoisen kompression sisältävä blockiformaatti niin myös tarkkuutta lisää. nvfp4 realistisesti antaa saman tarkkuuden kuin naivi fp8 toteutus. 30x0 kortit eivät tue edes tavallista fp4 formaattia.

Nvidan markkinointimatskuissa noita formaatteja hehkutetaan kovasti joo, mutta käytännön tasolla INT8 riittää yhä moneen. Esim. llama.cpp hoitaa kiihdytyksen INT8:lla ja ComfyUI:n käyttäjien parissa kuuminta hottia tällä hetkellä on INT8 ConvRot formaatti, joka voittaa häviöllisyydessä ja nopeudessa FP8/MXFP8 formaatit Ada/Blackwell raudallakin.

NVFP4 on ainakin itelle ollut pettymys hypeen nähden. Kiinnosti kovasti testailla kun 5090:n hommasin alkuvuodesta, mutta eipä ole juuri tullut käytettyä kun tuolla menettää ihan reippaanlaisesti kuvanlaatua kuva-/videogeneroinnissa, vähän mallista riippuen toki.

Llama.cpp osaa NVFP4:ää kiihdyttää, jos Blackwelliä alla, mutta samankokoiset imatrix kalibroidut GGUF kvantit pärjäävät mm. KLD benchmarkeissa selvästi paremmin. Imo mieluummin vähän hitaampi prompt processing nopeus kun sillä saa paremmin alkuperäisen mallin kyvykkyydet säilyttäneen kvantin.

Nää nyt vain pari käyttökohdetta, ehkäpä vLLM käyttäjille tai jossain toisaalla FP4 kiihdytys on aidosti kiva juttu, mene ja tiedä.

 

[finWeazel]

Nää nyt vain pari käyttökohdetta, ehkäpä vLLM käyttäjille tai jossain toisaalla FP4 kiihdytys on aidosti kiva juttu, mene ja tiedä.

Jos tänään on ostamassa korttia ja aikoo sitä käyttää pidempään kuin hetken. NVFP4 on uus juttu missä ensimmäiset formaattia käyttävät mallit tulleet saataville viimosen 6kk aikana. Ei nvfp4/mxfp4 blockiformaatti ketsuppi mene takaisin purkkiin kun on niin hyödyllinen. Vaatii vaan sen, että malli on tälle suunniteltu, että löytyy niitä blockeja mitä voidaan kompressoida. Ei ole sama asia kuin naivi fp4 malli mistä puuttuu blockitason kompressointi. Naivissa fp4 formaatissa tarkkuus jää huonommaksi kuin blockitason formaateilla missä lisädataa per blocki. nvfp4 tapauksessa kaksitasoinen blockiformaatti

 

[Cirrus]

Tekoälykäyttöön tämä vaan on parempi kuin se 3080, vaikka 3080 onkin tehokkaampi se 8 Gt loppuu kesken. Pelikäytössä sitten toki 3080 on selvästi parempi

Mikä 8 Gt? Originaalissa oli 10 Gt ja niissä uusissa 12 Gt.

 

[Kaotik]

Mikä 8 Gt? Originaalissa oli 10 Gt ja niissä uusissa 12 Gt.

Juu muistin väärin muistimäärän. Joka tapauksessa enemmän muistia tuossa kuin perusmallisessa, jolloin tuo muuttuu tekoälyhommissa paremmaksi kun muistikäyttö menee yli 10 Gt

 

[Exec]

Juu muistin väärin muistimäärän. Joka tapauksessa enemmän muistia tuossa kuin perusmallisessa, jolloin tuo muuttuu tekoälyhommissa paremmaksi kun muistikäyttö menee yli 10 Gt

Juuri näin, ainakin omien kokemusten perusteella nimenomaan tuo VRAM:n määrä on ratkaiseva. Itse koen jo n. 15-20 token/s "riittäväksi" nopeudeksi, joten siinä mielessä esim. 2x 3060 12GB voisi olla houkuttelevampi vaihtoehto kuin 1x 5060ti 16GB.

 

[finWeazel]

Juuri näin, ainakin omien kokemusten perusteella nimenomaan tuo VRAM:n määrä on ratkaiseva. Itse koen jo n. 15-20 token/s "riittäväksi" nopeudeksi, joten siinä mielessä esim. 2x 3060 12GB voisi olla houkuttelevampi vaihtoehto kuin 1x 5060ti 16GB.

nvfp4 puolittaa muistinkulutuksen versus fp8/int8 ja tuplaa suorituskyvyn samalla kun reaalimaailman laskentatarkkuus säilyy fp8 tasolla. Toki kuten aikaisemmin mainittiin niin nvfp4 on niin uusi juttu että harva malli vielä tätä tukee. Tulevaisuus on kuitenkin aika selkeä siihen suuntaan että mxfp4/nvfp4 ja muut blockitason kompressoidut formaatit ovat juttu kun saadaan lisää suorituskykyä ja muistinkulutusta pienemmäksi. Tällä on iso merkitys konesaleissakin kun puhutaan biljoonien parametrien malleista ja mitä muistia vaaditaan(muisti maksaa) ja montako tokenia/s saadaan tehtyä. token/s on rahaa openai/anthropic/...:lle. Tuplat tokeneita, tuplat rahaa.

 

[Exec]

nvfp4 puolittaa muistinkulutuksen versus fp8/int8 ja tuplaa suorituskyvyn samalla kun reaalimaailman laskentatarkkuus säilyy fp8 tasolla. Toki kuten aikaisemmin mainittiin niin nvfp4 on niin uusi juttu että harva malli vielä tätä tukee. Tulevaisuus on kuitenkin aika selkeä siihen suuntaan että mxfp4/nvfp4 ja muut blockitason kompressoidut formaatit ovat juttu kun saadaan lisää suorituskykyä ja muistinkulutusta pienemmäksi. Tällä on iso merkitys konesaleissakin kun puhutaan biljoonien parametrien malleista ja mitä muistia vaaditaan(muisti maksaa) ja montako tokenia/s saadaan tehtyä. token/s on rahaa openai/anthropic/...:lle. Tuplat tokeneita, tuplat rahaa.

Pakko myöntää, että NVFP4 ei ole itselleni kovin tuttu, mutta "kotikäytössä" yleisin kvantisointi lienee Q4_K_M ja selvittelyn perusteella siihen verrattuna NVFP4:n ero tuntuu melko pieneltä, paitsi tietysti nopeuden osalta.

 

[finWeazel]

Pakko myöntää, että NVFP4 ei ole itselleni kovin tuttu, mutta "kotikäytössä" yleisin kvantisointi lienee Q4_K_M ja selvittelyn perusteella siihen verrattuna NVFP4:n ero tuntuu melko pieneltä, paitsi tietysti nopeuden osalta.

kaksitasoinen kompressio tarjoaa nvfp4:lla oikeasti fp8 tason tarkkuuden samalla kun muistinkulutus ja nopeus on fp4 tasolla. ts. parempi vertailukohta on fp8 kuin q4_k_m versus nvfp4. Yleisempi standardi on mxfp4, mutta tässä on skaalaimessa vähemmän tarkkuutta, isommat blockit ja vain yksitasoinen blockihärpätin: What’s MXFP4? The 4-Bit Secret Powering OpenAI’s GPT‑OSS Models on Modest Hardware

Integer formaateissa numerot on lineaarisesti järjestyksessä. Tämän takia virheprofiili on erilainen kuin liukulukuformaateilla. Käytännössä liukuluvuilla saa pienemmän virheen == parempi lopputulos. Log-numeroformaatit on vielä tarkempi. Log:in nopea toteuttaminen raudassa on ongelmallinen versus liukuluvut niin kukaan ei ole vielä siirtynyt log-formaatteihin raudassa.

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://youtu.be/oj9-DEPRSOs?t=2185

nvfp4/mxfp4 jne. tyyliset tulevat yleistymään nyt kun raudassa on tuki sille. Vaatii työtä, ei ole vain "kvantisoidaan koko malli" vaan pitää suunnitella ja opettaa malli niin, että syntyy kompressoitavia blockeja. nvfp4 tapauksessa 16 numeron palasia, mxfp4:ssa 32 numeron palasia. Jos on satunnaisesti opetettu ja suunniteltu malli niin tuollaisia blockeja ei synny tarpeeksi että systeemi toimisi.