Minun mielestäni pitäisi benchmarkata näin

Liittynyt
21.09.2017
Viestejä
1 024
Eli kun vaikka jotain näytönohjainta ollaan benchmarkkaamassa niin mielestäni tulokset pitäisi esittää ja kertoa siten, että lukija saa artikkelista mahdollisimman hyvän kuvan arvosteltavan näytönohjaimen suorituskyvystä.

Keskimääräinen ruudunpäivitysnopeus on lähinnä suuntaa antava luku, joka ei vielä kerro mitään siitä kuinka paljon ruudunpäivitysnopeudessa on vaihtelua. Minimi-ruudunpäivitysnopeus taas voi olla hyvinkin lyhytaikainen töksäys muuten hyvin pyörivässä testissä. Persentiilitestaus antaa jo parempaa kuvaa mutta sekään ei kerro tarpeeksi siitä, kuinka suuren osan ajasta testattava peli pyörii testattavalla laitteistolla riittävän hyvin itse kunkin tarpeisiin.

Miten sitten pitäisi benchmarkata? No aluksi tietysti pelin ruudunpäivitysnopeutta pitää logata pelatessa.

Otetaan kuvitteellinen esimerkki kuvitteellisella kortilla ja pelillä, jossa benchmark runin aikana on kerätty 10 datapistettä fps-lukemia (oikeasti näitä olisi tuhansia lukemia mutta nyt haluan luetella nuo fps-lukemat tässä, joten pidetään datasetti pienenä). Otetaan tämmönen äärimmäinen esimerkki, jossa on paljon vaihtelua.
Kuvitteellisen benchmark-ajon aikana kerättiin siis nämä 10 lukemaa:
35, 48, 42, 84, 67, 85, 110, 151, 148, 95

Miten tämä sitten saataisiin informatiivisemmin esille? Lokista esitettäisiin ensin graafinen kuvaaja ja sitten sen alla sanallinen kuvaus seuraavasti:



Ghettoblaster x:llä pelatessa Foxensteinin ruudunpäivitysnopeus oli noin puolet ajasta 60- ja 120 fps:n välillä. Vain mittauksen alussa ensimmäisen 10% ajan jäätiin testimonitorin 40fps FreeSync/G-Sync rajan alle. Tavallisella 60Hz näytöllä olennaisen yli 60fps lukemiin päästiin 70% ajan testin kestosta. Testinäytön 144Hz:n mukaisissa maksimilukemissa peli pyöri vain 20% ajan, käytännössä lähinnä vain testin loppupuolella.

Mielestäni tuollainen kertoisi hyvin pelikokemuksesta ruudunpäivitysnopeuden suhteen. Mielipiteitä?
 
Liittynyt
17.10.2016
Viestejä
22 049
Sitä varten siellä arvosteluissa on ne persentiilit. Kannattaa tutustua niihin käytettyihin testausmetodeihin..

Vaikka tuo tuorein arvostelu, jonka luin vasta nyt:




Tuossa nyt tummat palkit on nopeus 99% ajasta, niin eikö se riitä? Mitä lisäinformaatiota käyrä antaisi?
 
Liittynyt
21.09.2017
Viestejä
1 024
Mutta jos average on 70 ja persentiili on 40 niin se ei kerro minulle, että kuinka usein peli dippaa alle 60 fps ja miten pitkäksi aikaa.
 
Liittynyt
17.10.2016
Viestejä
22 049
Mutta jos average on 70 ja persentiili on 40 niin se ei kerro minulle, että kuinka usein peli dippaa alle 60 fps ja miten pitkäksi aikaa.
Voi huoh. Lue niistä persentiileistä. Et voi käyttää niitä ilman lukua edessä..
 
Liittynyt
21.09.2017
Viestejä
1 024
Persentiili siis kertoo sen että minkä lukeman alle ruudunpäivitys menee korkeintaan 1% ajaksi testistä. Minua ei kiinnosta tuo lukema. Jos se on sinulle kiinnostava lukema niin okei. Hyvä. Saat siitä sitten tarvitsemasi infon.

Minua kiinnostaisi paljon enemmän prosenttilukema, jonka peli pyörii yli tärkeiden raja-arvojen, kuten g-syncin toimintasäteen tai tavallisilla näytöillä tärkeän 60fps lukeman.
Jos 99. persentiili on vaikka 50 ja keskimääräinen ruudunpäivitysnopeus on vaikka sitte 70, niin siitä on hankala saada selville, että kuinka usein se on välillä 50-60 (joka ei riitä muille kuin freesync/gsync käyttäjille) ja kuinka usein se on yli 60.
 
Liittynyt
23.02.2017
Viestejä
1 825
Ja sama hieno ehdottamasi kaavio sitten jokaisesta pelistä ja jokaisella resoluutiolla tottakai myös varmasti eri asetuksilla ja parilla-kolmella prosessorilla?
 
Liittynyt
21.09.2017
Viestejä
1 024
Sitä varten siellä arvosteluissa on ne persentiilit. Kannattaa tutustua niihin käytettyihin testausmetodeihin..

Vaikka tuo tuorein arvostelu, jonka luin vasta nyt:




Tuossa nyt tummat palkit on nopeus 99% ajasta, niin eikö se riitä? Mitä lisäinformaatiota käyrä antaisi?
Tuossa esimerkissä käyrä ja kuvaus voisi antaa seuraavanlaista lisäinformaatiota, revin tässä infoa stetsonista kun kuvaaja ei kerro:

Asus ROG-STRIX-GTX1080TI-O11G-GAMING kortilla ruudunpäivitysnopeus oli yli 60 fps 97% ajasta. FPS tippui alle 60fps lukemiin kolmessa eri kohdassa testin aikana, pisimmillään viiden sekunnin ajaksi kerrallaan.

AMD Radeon RX Vega 64 pyöri yli 40fps FreeSync rajan 99.86 prosenttia ajasta tippuen sen alle vain kuuden sekunnin ajaksi koko testin aikana. Päälle 60fps lukemien päästiin käytännössä vain siinä testin kohtauksessa, jossa taistelu oli lakannut ja kuljettiin tyhjällä käytävällä.
 
Viimeksi muokattu:
Liittynyt
21.09.2017
Viestejä
1 024
Ja sama hieno ehdottamasi kaavio sitten jokaisesta pelistä ja jokaisella resoluutiolla tottakai myös varmasti eri asetuksilla ja parilla-kolmella prosessorilla?
Mielellään testaisin kunnolla ja perinpohjaisesti, jos sellaisen duunin saisin. Antaen mahdollisimman paljon informaatiota, joka on oleellista mahdollisimman monelle.

Huom: tarkoitukseni ei ole sanoa, että nimenomaan io-tech benchmarkkaisi ja testaisi jotenkin huonosti eikä tarkoitukseni ole tässä hyökätä ketään vastaan. Tää oli vain tällainen ajatus/idea, joka mulla on itänyt jonkin aikaa.

edit: ymmärrän jos tästä tulee vähän sellainen uusi kaveri tulee kertoon iskälle, miten naidaan fiilis. Ei ollut tarkoitus :)
 
Liittynyt
17.10.2016
Viestejä
22 049
Tuossa esimerkissä käyrä ja kuvaus voisi antaa seuraavanlaista lisäinformaatiota, revin tässä infoa stetsonista kun kuvaaja ei kerro:

Asus ROG-STRIX-GTX1080TI-O11G-GAMING kortilla ruudunpäivitysnopeus oli yli 60 fps 97% ajasta. FPS tippui alle 60fps lukemiin kolmessa eri kohdassa testin aikana, pisimmillään viiden sekunnin ajaksi kerrallaan.

AMD Radeon RX Vega 64 pyöri yli 40fps FreeSync rajan 99.86 prosenttia ajasta tippuen sen alle vain kuuden sekunnin ajaksi koko testin aikana. Päälle 60fps lukemien päästiin käytännössä vain siinä testin kohtauksessa, jossa taistelu oli lakannut ja kuljettiin tyhjällä käytävällä.
Jokainen kortti menee (myös Nvidia) yli 40 fps Freesync-rajan 99% ajasta. Sen näkee tuosta nykyisestä kaaviosta. Kun vaan katsoo.

FPS-hypyt näkee ihan vihreän palkin pituudesta. Jos se on pieni, niin FPS ei heittele. Jos se on pitkä, niin FPS:ssä on niitä hyppyjä.

Tämä on vaan kaavion tulkitsemista, eikä käyrä toisi lisäarvoa. Lisäksi jos siinä ei olisi smoothingia, niin fps pomppisi niin kovasti, ettei päällekkäistä viivoista ei saisi selvää ja sitten siinä ei näkisi niitä mikrosekunnin hyppyjä, joita kovasti koetat tuoda esiin. Omakin käyräsi laskee lyhyen ajan keskiarvoja.

Tässäkin järkevämpi mittari olisi frametime, mutta koko idea on mielestäni vaan turhaa työtä arvostelijalle.
 
Liittynyt
08.05.2017
Viestejä
1 877
Jos jossain arvostelussa olisi tuollainen Mendelin käppyrä esim. Deus Ex: Mankind Dividedin benchmarkista, niin kyllä minä ainakin saisin siitä lisäarvoa. Kyseisessä testiajossa on selvästi raskaampia kohtia ja olisi mielenkiintoista nähdä miten uusi kortti suoriutuu niistä vanhempiin verrattuna. Tuolainen graafi toimisi parhaiten juuri pelien benchmarkeissa.
 
Liittynyt
01.01.2017
Viestejä
1 264
Kyllähän tuo käyrämuoto on erittäin hyvä ja havainnollinen esitystapa, kunhan lisäksi on vieressä numeroarvot joissa näkyy valmiiksi lasketut min-max-avg.
Esim. Digitalfoundty ja HardOCP käyttävät kyseistä esitystapaa:

 
Liittynyt
21.02.2017
Viestejä
5 022
Videobenchmarkithan on mukavia siitä, että näkee suoraan millaisissa tilanteissa pyörii mitenkin. Havainnollistava GTA esimerkki jossa alle 50fps raskaassa kohdassa ja 100 paikkeilla toisaalla:



Tuosta kun saisi vain averagen ja jokut pikkupersentiilit niin tietäisin paljon vähemmän.
 
Liittynyt
21.09.2017
Viestejä
1 024
Videon tallennus vaan tuppaa syömään enemmän tehoja kuin frameraten loggaus. Paitsi tietysti jos on erillinen tallennuslaitteisto.
 
Liittynyt
17.10.2016
Viestejä
2 305
Kyllähän tuo käyrämuoto on erittäin hyvä ja havainnollinen esitystapa, kunhan lisäksi on vieressä numeroarvot joissa näkyy valmiiksi lasketut min-max-avg.
Esim. Digitalfoundty ja HardOCP käyttävät kyseistä esitystapaa:

Näytönohjain- ja prosessoritestien ensisijainen tarkoitus on kai testata ja verrata näytönohjainten ja prosessorien suorituskykyä, ei analysoida tietyn pelin toimintaa yksityiskohtaisesti. Laitevertailu onnistuu ilmankin monimutkaisia käyrästöjä, vaikka valitun pelin tarkasteluun ne ovatkin hyviä.
 
Liittynyt
01.01.2017
Viestejä
1 264
Näytönohjain- ja prosessoritestien ensisijainen tarkoitus on kai testata ja verrata näytönohjainten ja prosessorien suorituskykyä, ei analysoida tietyn pelin toimintaa yksityiskohtaisesti. Laitevertailu onnistuu ilmankin monimutkaisia käyrästöjä, vaikka valitun pelin tarkasteluun ne ovatkin hyviä.
Pakko olla eri mieltä: tässähän on nimenomaan tarkoitus verrata noita käyriä toisiinsa (=tuotteiden välinen ero), eikä sitä minkä muotoinen käyrä on (=pelin suorituskyvyn analysointi). Esim. jos näytönohjain A piirtää käyrään syvempiä "kuoppia" kuin näytönohjain B, kertoo se hyvin että B pystyy pitämään ruudunpäivityksen vakaampana ilman isoja dippauksia.

Jos oikein kunnolla lähdetään analysoimaan ruudunpäivityksen vakautta, pitäisi tietysti olla vielä omat käyrät frametimeistä. Niistä paljastuu hyvin jos kortti tekee ns. "microstutter" piikkejä, jotka ei paljastu millään average fps -mittauksella, mutta ovat kyllä silmällä havaittavissa:

 
Liittynyt
17.10.2016
Viestejä
3 200
Menee vähän turhan hifistelyksi piirrellä käppyrät fps-tuloksista koko mittausjaksolta, varsinkin kun saman leirin kortit käyttäytyy melko samoin pelistä riippumatta (dippaa samoissa kohdissa samassa suhteessa). Eikä tuosta nyt hirveänä kostu ilman gameplay videota, josta erottuu missä kohtaa tämäkin tapahtuu, joka taas menee enemmän pelikohtaiseksi analyysiksi. Ennemmin .99 persentiilin sijaan/lisäksi näkisi esimerkiksi alakvartiilin. Mutta joo, loppujen lopuksi kyseessä on se kuinka paljon milläkin sivustolla on aikaa testailla. Voihan niitä käppyröitä ja tunnuslukuja piirellä ja tutkailla vaikka hamaan loppuun asti.
 
Liittynyt
18.10.2016
Viestejä
346
Sitä varten siellä arvosteluissa on ne persentiilit. Kannattaa tutustua niihin käytettyihin testausmetodeihin..

Tuossa nyt tummat palkit on nopeus 99% ajasta, niin eikö se riitä? Mitä lisäinformaatiota käyrä antaisi?
Ymmärrän AP:n pointin tässä. Tiedon pystyisi saamaan myös persentiileistä jos niitä olisi esitetty enemmän, mutta pelkkästään 99%:n esittäminen on aika rajoittunut. Tietysti vaatii myös lukutaitoa.

Yksitäisistä käyristä informaatio näkyy minustakin selkeämmin, ellei niitä sitten laiteta samaan kuvaan liikaa.
 
Liittynyt
18.10.2016
Viestejä
346
Ennemmin .99 persentiilin sijaan/lisäksi näkisi esimerkiksi alakvartiilin. Mutta joo, loppujen lopuksi kyseessä on se kuinka paljon milläkin sivustolla on aikaa testailla. Voihan niitä käppyröitä ja tunnuslukuja piirellä ja tutkailla vaikka hamaan loppuun asti.
Luulisin että alakartaali ja muut persentiilit tulisi ihan siinä samalla samasta mittausdatasta kuin tuo .99:nenkin.
 
Liittynyt
17.10.2016
Viestejä
3 200
Luulisin että alakartaali ja muut persentiilit tulisi ihan siinä samalla samasta mittausdatasta kuin tuo .99:nenkin.
Tulee toki, mutta melko sotkuiseksi alkaa mennä kuvaajat jos niitä kaikkia alkaa yhteen tunkemaan -> lisää työtä. Tietty jotain laatikkopiirroksia voidaan käyttää mutta kuinka moni peruspertti niitä osaa tulkita tai kuinka montaa ihmistä ne kiinnostaa.
 
Liittynyt
21.08.2018
Viestejä
5 527
Videobenchmarkithan on mukavia siitä, että näkee suoraan millaisissa tilanteissa pyörii mitenkin. Havainnollistava GTA esimerkki jossa alle 50fps raskaassa kohdassa ja 100 paikkeilla toisaalla:



Tuosta kun saisi vain averagen ja jokut pikkupersentiilit niin tietäisin paljon vähemmän.
Jep mutta saattaa testaajalla olla mahdollisesti kovempi prossu ja paljon nopeammat muistit kuin sillä joka näitä testejä katsoo.
Eli lopulta sillä omalla koneella 1600mhz muisteilla ja +5v vanhalla prossulla ei päästäkkään samoihin.

Eli se miten se sun koneella pyörii ja mitkä on Min fps niin siihen vaikuttaa melkoisesti myös muut osat.
 
Liittynyt
21.08.2018
Viestejä
5 527
Eli tuo on vain uusi tapa ilmoittaa minimi fsp?
Edit: Mitä tuolla 99. persentiillä halutaan kertoa? En ymmärrä, tuohan vain kaunnistelee minimi arvoa
Jos se kerran käy jostain syystä pikaisesti 20fps niin olisi aika outoa kirjata se ylös kun todellisuudessa ei ole tapahtunut kuin kerran testin aikana johtuen maan ja mercuriuksen asennosta.
 
Liittynyt
12.12.2016
Viestejä
3 930
Jos se kerran käy jostain syystä pikaisesti 20fps niin olisi aika outoa kirjata se ylös kun todellisuudessa ei ole tapahtunut kuin kerran testin aikana johtuen maan ja mercuriuksen asennosta.
Eihän noita pitäisi jättää pois. Tositilanteessa pelatessa 20 FPS dippi häiritsee vaikka syynä olisi taivaankappaleiden asento. Enkä olisi ollenkaan varma että tuollaisia dippejä tapahtuu samaan tahtiin kaikilla prosessoreilla/näytönohjaimilla.
 
Liittynyt
21.08.2018
Viestejä
5 527
Eihän noita pitäisi jättää pois. Tositilanteessa pelatessa 20 FPS dippi häiritsee vaikka syynä olisi taivaankappaleiden asento. Enkä olisi ollenkaan varma että tuollaisia dippejä tapahtuu samaan tahtiin kaikilla prosessoreilla/näytönohjaimilla.
Sadasosan dippi niin on kyllä merkityksetön testin/näytönohjaimen nopeuden kannalta.

Saattaa johtua muusta kuin itse näytönohjaimesta.
 
Liittynyt
12.12.2016
Viestejä
3 930
Sadasosan dippi niin on kyllä merkityksetön testin/näytönohjaimen nopeuden kannalta.

Saattaa johtua muusta kuin itse näytönohjaimesta.
Sen huomaa pelatessa kuitenkin ja siten on hyvin merkittävä.

Voi johtua niin ja mikäli tietyillä osilla dippejä tapahtuu enemmän, sillä on merkitystä.
 
Liittynyt
21.08.2018
Viestejä
5 527
Sen huomaa pelatessa kuitenkin ja siten on hyvin merkittävä.

Voi johtua niin ja mikäli tietyillä osilla dippejä tapahtuu enemmän, sillä on merkitystä.
Jos niitä enemmän tapahtuu niin näkyy käppyröissä.
Tuota suurimmaksi osaa käytetään koska on ihan toimiva esitystapa.
 

459

Liittynyt
17.10.2016
Viestejä
1 256
Näytän esimerkkisuorituksen asiallisesta graafisesta esityksestä.

GeForce GTX 1080 Ti FCAT Frametime Analysis Review

Alla olevat kuvat on otettu tuolta sivulta. Tuossa Guru3D:n esityksessä aiheessa on erittäin hyvä esimerkki siitä, miten tuo 99. persentiili toimii.

per.png


Eli tässä kuvaajassa on tietyllä pelitestillä, näytönohjaimella ym. asetuksilla (1080Ti, RoTTR) esitetty, miten frametimet jakautuvat sen mukaan, miten nopeasti ne on piirretty. Puolet testin frameista on vähintään 170 FPS, 70 prosenttia on vähintään ~115 FPS ja 99 prosenttia testin frameista on vähintään ~95 FPS. Sinne noin 99. persentiiliin asti jakauma on selkeän näköinen. Aivan häntäpäässä taulukon oikeassa laidassa kuvaaja "romahtaa", mikä kuvastaa yksittäistä stutteroivista frameista tulleita tuloksia jotka voivat johtua jostain aivan muusta kuin näytönohjaimesta. Näiden dippien satunnaisuuden vuoksi niitä ei ole hyvä ilmoittaa ellei niitä jostain syystä ole erityisen paljon (microstuttering). Niille on kuitenkin oma kuvaajansa:

plot.png


Kuvaaja kertoo n. 30 sekuntia kestävän testin aikaiset frametimet millisekunteina. Piikit ovat frameja, joiden piirtämisessä on kestänyt erityisen kauan. Suuri piikkien lukumäärä on ongelma, sillä se ilmenee epämiellyttävänä tökkimisenä pelatessa kuten tämän ketjun aikaisemmissa postauksissa on jo tullut esille. Tässä kuvaajassa piikkejä on R9 Furyn tapauksessa erityisen paljon muilla korteilla ongelmien ollessa yksittäisiä, joten se kärsii tässä kyseisessä testissä selvästi häiriöistä toisin kuin kuvaajan muut kortit. Syy voi olla ajureissa, näytönohjaimen muistin loppumisessa etc.

Lukekaa lähteenä oleva yo. Guru3D:n artikkeli, siellä frametime-analyysi on esitetty selkeästi ja riittävän seikkaperäisesti. Artikkelin ensimmäinen sivu artikkelista linkin GeForce GTX 1080 Ti FCAT Frametime Analysis Review takaa.
 
Viimeksi muokattu:
Toggle Sidebar

Statistiikka

Viestiketjut
239 648
Viestejä
4 187 372
Jäsenet
70 776
Uusin jäsen
Fancy

Hinta.fi

Ylös Bottom