Minun mielestäni pitäisi benchmarkata näin

  • Keskustelun aloittaja Keskustelun aloittaja Mendel
  • Aloitettu Aloitettu
Liittynyt
21.09.2017
Viestejä
1 032
Eli kun vaikka jotain näytönohjainta ollaan benchmarkkaamassa niin mielestäni tulokset pitäisi esittää ja kertoa siten, että lukija saa artikkelista mahdollisimman hyvän kuvan arvosteltavan näytönohjaimen suorituskyvystä.

Keskimääräinen ruudunpäivitysnopeus on lähinnä suuntaa antava luku, joka ei vielä kerro mitään siitä kuinka paljon ruudunpäivitysnopeudessa on vaihtelua. Minimi-ruudunpäivitysnopeus taas voi olla hyvinkin lyhytaikainen töksäys muuten hyvin pyörivässä testissä. Persentiilitestaus antaa jo parempaa kuvaa mutta sekään ei kerro tarpeeksi siitä, kuinka suuren osan ajasta testattava peli pyörii testattavalla laitteistolla riittävän hyvin itse kunkin tarpeisiin.

Miten sitten pitäisi benchmarkata? No aluksi tietysti pelin ruudunpäivitysnopeutta pitää logata pelatessa.

Otetaan kuvitteellinen esimerkki kuvitteellisella kortilla ja pelillä, jossa benchmark runin aikana on kerätty 10 datapistettä fps-lukemia (oikeasti näitä olisi tuhansia lukemia mutta nyt haluan luetella nuo fps-lukemat tässä, joten pidetään datasetti pienenä). Otetaan tämmönen äärimmäinen esimerkki, jossa on paljon vaihtelua.
Kuvitteellisen benchmark-ajon aikana kerättiin siis nämä 10 lukemaa:
35, 48, 42, 84, 67, 85, 110, 151, 148, 95

Miten tämä sitten saataisiin informatiivisemmin esille? Lokista esitettäisiin ensin graafinen kuvaaja ja sitten sen alla sanallinen kuvaus seuraavasti:

foxenstein.png


Ghettoblaster x:llä pelatessa Foxensteinin ruudunpäivitysnopeus oli noin puolet ajasta 60- ja 120 fps:n välillä. Vain mittauksen alussa ensimmäisen 10% ajan jäätiin testimonitorin 40fps FreeSync/G-Sync rajan alle. Tavallisella 60Hz näytöllä olennaisen yli 60fps lukemiin päästiin 70% ajan testin kestosta. Testinäytön 144Hz:n mukaisissa maksimilukemissa peli pyöri vain 20% ajan, käytännössä lähinnä vain testin loppupuolella.

Mielestäni tuollainen kertoisi hyvin pelikokemuksesta ruudunpäivitysnopeuden suhteen. Mielipiteitä?
 
Sitä varten siellä arvosteluissa on ne persentiilit. Kannattaa tutustua niihin käytettyihin testausmetodeihin..

Vaikka tuo tuorein arvostelu, jonka luin vasta nyt:
asus-2080ti-bench-deus.png


asus-2080ti-bench-tr.png


Tuossa nyt tummat palkit on nopeus 99% ajasta, niin eikö se riitä? Mitä lisäinformaatiota käyrä antaisi?
 
Mutta jos average on 70 ja persentiili on 40 niin se ei kerro minulle, että kuinka usein peli dippaa alle 60 fps ja miten pitkäksi aikaa.
 
Mutta jos average on 70 ja persentiili on 40 niin se ei kerro minulle, että kuinka usein peli dippaa alle 60 fps ja miten pitkäksi aikaa.

Voi huoh. Lue niistä persentiileistä. Et voi käyttää niitä ilman lukua edessä..
 
Persentiili siis kertoo sen että minkä lukeman alle ruudunpäivitys menee korkeintaan 1% ajaksi testistä. Minua ei kiinnosta tuo lukema. Jos se on sinulle kiinnostava lukema niin okei. Hyvä. Saat siitä sitten tarvitsemasi infon.

Minua kiinnostaisi paljon enemmän prosenttilukema, jonka peli pyörii yli tärkeiden raja-arvojen, kuten g-syncin toimintasäteen tai tavallisilla näytöillä tärkeän 60fps lukeman.
Jos 99. persentiili on vaikka 50 ja keskimääräinen ruudunpäivitysnopeus on vaikka sitte 70, niin siitä on hankala saada selville, että kuinka usein se on välillä 50-60 (joka ei riitä muille kuin freesync/gsync käyttäjille) ja kuinka usein se on yli 60.
 
Ja sama hieno ehdottamasi kaavio sitten jokaisesta pelistä ja jokaisella resoluutiolla tottakai myös varmasti eri asetuksilla ja parilla-kolmella prosessorilla?
 
Sitä varten siellä arvosteluissa on ne persentiilit. Kannattaa tutustua niihin käytettyihin testausmetodeihin..

Vaikka tuo tuorein arvostelu, jonka luin vasta nyt:
asus-2080ti-bench-deus.png


asus-2080ti-bench-tr.png


Tuossa nyt tummat palkit on nopeus 99% ajasta, niin eikö se riitä? Mitä lisäinformaatiota käyrä antaisi?

Tuossa esimerkissä käyrä ja kuvaus voisi antaa seuraavanlaista lisäinformaatiota, revin tässä infoa stetsonista kun kuvaaja ei kerro:

Asus ROG-STRIX-GTX1080TI-O11G-GAMING kortilla ruudunpäivitysnopeus oli yli 60 fps 97% ajasta. FPS tippui alle 60fps lukemiin kolmessa eri kohdassa testin aikana, pisimmillään viiden sekunnin ajaksi kerrallaan.

AMD Radeon RX Vega 64 pyöri yli 40fps FreeSync rajan 99.86 prosenttia ajasta tippuen sen alle vain kuuden sekunnin ajaksi koko testin aikana. Päälle 60fps lukemien päästiin käytännössä vain siinä testin kohtauksessa, jossa taistelu oli lakannut ja kuljettiin tyhjällä käytävällä.
 
Viimeksi muokattu:
Ja sama hieno ehdottamasi kaavio sitten jokaisesta pelistä ja jokaisella resoluutiolla tottakai myös varmasti eri asetuksilla ja parilla-kolmella prosessorilla?

Mielellään testaisin kunnolla ja perinpohjaisesti, jos sellaisen duunin saisin. Antaen mahdollisimman paljon informaatiota, joka on oleellista mahdollisimman monelle.

Huom: tarkoitukseni ei ole sanoa, että nimenomaan io-tech benchmarkkaisi ja testaisi jotenkin huonosti eikä tarkoitukseni ole tässä hyökätä ketään vastaan. Tää oli vain tällainen ajatus/idea, joka mulla on itänyt jonkin aikaa.

edit: ymmärrän jos tästä tulee vähän sellainen uusi kaveri tulee kertoon iskälle, miten naidaan fiilis. Ei ollut tarkoitus :)
 
Tuossa esimerkissä käyrä ja kuvaus voisi antaa seuraavanlaista lisäinformaatiota, revin tässä infoa stetsonista kun kuvaaja ei kerro:

Asus ROG-STRIX-GTX1080TI-O11G-GAMING kortilla ruudunpäivitysnopeus oli yli 60 fps 97% ajasta. FPS tippui alle 60fps lukemiin kolmessa eri kohdassa testin aikana, pisimmillään viiden sekunnin ajaksi kerrallaan.

AMD Radeon RX Vega 64 pyöri yli 40fps FreeSync rajan 99.86 prosenttia ajasta tippuen sen alle vain kuuden sekunnin ajaksi koko testin aikana. Päälle 60fps lukemien päästiin käytännössä vain siinä testin kohtauksessa, jossa taistelu oli lakannut ja kuljettiin tyhjällä käytävällä.

Jokainen kortti menee (myös Nvidia) yli 40 fps Freesync-rajan 99% ajasta. Sen näkee tuosta nykyisestä kaaviosta. Kun vaan katsoo.

FPS-hypyt näkee ihan vihreän palkin pituudesta. Jos se on pieni, niin FPS ei heittele. Jos se on pitkä, niin FPS:ssä on niitä hyppyjä.

Tämä on vaan kaavion tulkitsemista, eikä käyrä toisi lisäarvoa. Lisäksi jos siinä ei olisi smoothingia, niin fps pomppisi niin kovasti, ettei päällekkäistä viivoista ei saisi selvää ja sitten siinä ei näkisi niitä mikrosekunnin hyppyjä, joita kovasti koetat tuoda esiin. Omakin käyräsi laskee lyhyen ajan keskiarvoja.

Tässäkin järkevämpi mittari olisi frametime, mutta koko idea on mielestäni vaan turhaa työtä arvostelijalle.
 
Jos jossain arvostelussa olisi tuollainen Mendelin käppyrä esim. Deus Ex: Mankind Dividedin benchmarkista, niin kyllä minä ainakin saisin siitä lisäarvoa. Kyseisessä testiajossa on selvästi raskaampia kohtia ja olisi mielenkiintoista nähdä miten uusi kortti suoriutuu niistä vanhempiin verrattuna. Tuolainen graafi toimisi parhaiten juuri pelien benchmarkeissa.
 
Kyllähän tuo käyrämuoto on erittäin hyvä ja havainnollinen esitystapa, kunhan lisäksi on vieressä numeroarvot joissa näkyy valmiiksi lasketut min-max-avg.
Esim. Digitalfoundty ja HardOCP käyttävät kyseistä esitystapaa:

15376294397bs6onijqf_4_1_l.png
 
Videobenchmarkithan on mukavia siitä, että näkee suoraan millaisissa tilanteissa pyörii mitenkin. Havainnollistava GTA esimerkki jossa alle 50fps raskaassa kohdassa ja 100 paikkeilla toisaalla:



Tuosta kun saisi vain averagen ja jokut pikkupersentiilit niin tietäisin paljon vähemmän.
 
Videon tallennus vaan tuppaa syömään enemmän tehoja kuin frameraten loggaus. Paitsi tietysti jos on erillinen tallennuslaitteisto.
 
Kyllähän tuo käyrämuoto on erittäin hyvä ja havainnollinen esitystapa, kunhan lisäksi on vieressä numeroarvot joissa näkyy valmiiksi lasketut min-max-avg.
Esim. Digitalfoundty ja HardOCP käyttävät kyseistä esitystapaa:

15376294397bs6onijqf_4_1_l.png

Näytönohjain- ja prosessoritestien ensisijainen tarkoitus on kai testata ja verrata näytönohjainten ja prosessorien suorituskykyä, ei analysoida tietyn pelin toimintaa yksityiskohtaisesti. Laitevertailu onnistuu ilmankin monimutkaisia käyrästöjä, vaikka valitun pelin tarkasteluun ne ovatkin hyviä.
 
Näytönohjain- ja prosessoritestien ensisijainen tarkoitus on kai testata ja verrata näytönohjainten ja prosessorien suorituskykyä, ei analysoida tietyn pelin toimintaa yksityiskohtaisesti. Laitevertailu onnistuu ilmankin monimutkaisia käyrästöjä, vaikka valitun pelin tarkasteluun ne ovatkin hyviä.

Pakko olla eri mieltä: tässähän on nimenomaan tarkoitus verrata noita käyriä toisiinsa (=tuotteiden välinen ero), eikä sitä minkä muotoinen käyrä on (=pelin suorituskyvyn analysointi). Esim. jos näytönohjain A piirtää käyrään syvempiä "kuoppia" kuin näytönohjain B, kertoo se hyvin että B pystyy pitämään ruudunpäivityksen vakaampana ilman isoja dippauksia.

Jos oikein kunnolla lähdetään analysoimaan ruudunpäivityksen vakautta, pitäisi tietysti olla vielä omat käyrät frametimeistä. Niistä paljastuu hyvin jos kortti tekee ns. "microstutter" piikkejä, jotka ei paljastu millään average fps -mittauksella, mutta ovat kyllä silmällä havaittavissa:

20638_bioshock.png
 
Menee vähän turhan hifistelyksi piirrellä käppyrät fps-tuloksista koko mittausjaksolta, varsinkin kun saman leirin kortit käyttäytyy melko samoin pelistä riippumatta (dippaa samoissa kohdissa samassa suhteessa). Eikä tuosta nyt hirveänä kostu ilman gameplay videota, josta erottuu missä kohtaa tämäkin tapahtuu, joka taas menee enemmän pelikohtaiseksi analyysiksi. Ennemmin .99 persentiilin sijaan/lisäksi näkisi esimerkiksi alakvartiilin. Mutta joo, loppujen lopuksi kyseessä on se kuinka paljon milläkin sivustolla on aikaa testailla. Voihan niitä käppyröitä ja tunnuslukuja piirellä ja tutkailla vaikka hamaan loppuun asti.
 
Sitä varten siellä arvosteluissa on ne persentiilit. Kannattaa tutustua niihin käytettyihin testausmetodeihin..

Tuossa nyt tummat palkit on nopeus 99% ajasta, niin eikö se riitä? Mitä lisäinformaatiota käyrä antaisi?

Ymmärrän AP:n pointin tässä. Tiedon pystyisi saamaan myös persentiileistä jos niitä olisi esitetty enemmän, mutta pelkkästään 99%:n esittäminen on aika rajoittunut. Tietysti vaatii myös lukutaitoa.

Yksitäisistä käyristä informaatio näkyy minustakin selkeämmin, ellei niitä sitten laiteta samaan kuvaan liikaa.
 
Ennemmin .99 persentiilin sijaan/lisäksi näkisi esimerkiksi alakvartiilin. Mutta joo, loppujen lopuksi kyseessä on se kuinka paljon milläkin sivustolla on aikaa testailla. Voihan niitä käppyröitä ja tunnuslukuja piirellä ja tutkailla vaikka hamaan loppuun asti.

Luulisin että alakartaali ja muut persentiilit tulisi ihan siinä samalla samasta mittausdatasta kuin tuo .99:nenkin.
 
Luulisin että alakartaali ja muut persentiilit tulisi ihan siinä samalla samasta mittausdatasta kuin tuo .99:nenkin.
Tulee toki, mutta melko sotkuiseksi alkaa mennä kuvaajat jos niitä kaikkia alkaa yhteen tunkemaan -> lisää työtä. Tietty jotain laatikkopiirroksia voidaan käyttää mutta kuinka moni peruspertti niitä osaa tulkita tai kuinka montaa ihmistä ne kiinnostaa.
 
Videobenchmarkithan on mukavia siitä, että näkee suoraan millaisissa tilanteissa pyörii mitenkin. Havainnollistava GTA esimerkki jossa alle 50fps raskaassa kohdassa ja 100 paikkeilla toisaalla:



Tuosta kun saisi vain averagen ja jokut pikkupersentiilit niin tietäisin paljon vähemmän.


Jep mutta saattaa testaajalla olla mahdollisesti kovempi prossu ja paljon nopeammat muistit kuin sillä joka näitä testejä katsoo.
Eli lopulta sillä omalla koneella 1600mhz muisteilla ja +5v vanhalla prossulla ei päästäkkään samoihin.

Eli se miten se sun koneella pyörii ja mitkä on Min fps niin siihen vaikuttaa melkoisesti myös muut osat.
 
Eli tuo on vain uusi tapa ilmoittaa minimi fsp?
Edit: Mitä tuolla 99. persentiillä halutaan kertoa? En ymmärrä, tuohan vain kaunnistelee minimi arvoa

Jos se kerran käy jostain syystä pikaisesti 20fps niin olisi aika outoa kirjata se ylös kun todellisuudessa ei ole tapahtunut kuin kerran testin aikana johtuen maan ja mercuriuksen asennosta.
 
Jos se kerran käy jostain syystä pikaisesti 20fps niin olisi aika outoa kirjata se ylös kun todellisuudessa ei ole tapahtunut kuin kerran testin aikana johtuen maan ja mercuriuksen asennosta.

Eihän noita pitäisi jättää pois. Tositilanteessa pelatessa 20 FPS dippi häiritsee vaikka syynä olisi taivaankappaleiden asento. Enkä olisi ollenkaan varma että tuollaisia dippejä tapahtuu samaan tahtiin kaikilla prosessoreilla/näytönohjaimilla.
 
Eihän noita pitäisi jättää pois. Tositilanteessa pelatessa 20 FPS dippi häiritsee vaikka syynä olisi taivaankappaleiden asento. Enkä olisi ollenkaan varma että tuollaisia dippejä tapahtuu samaan tahtiin kaikilla prosessoreilla/näytönohjaimilla.

Sadasosan dippi niin on kyllä merkityksetön testin/näytönohjaimen nopeuden kannalta.

Saattaa johtua muusta kuin itse näytönohjaimesta.
 
Sadasosan dippi niin on kyllä merkityksetön testin/näytönohjaimen nopeuden kannalta.

Saattaa johtua muusta kuin itse näytönohjaimesta.

Sen huomaa pelatessa kuitenkin ja siten on hyvin merkittävä.

Voi johtua niin ja mikäli tietyillä osilla dippejä tapahtuu enemmän, sillä on merkitystä.
 
Sen huomaa pelatessa kuitenkin ja siten on hyvin merkittävä.

Voi johtua niin ja mikäli tietyillä osilla dippejä tapahtuu enemmän, sillä on merkitystä.
Jos niitä enemmän tapahtuu niin näkyy käppyröissä.
Tuota suurimmaksi osaa käytetään koska on ihan toimiva esitystapa.
 
Näytän esimerkkisuorituksen asiallisesta graafisesta esityksestä.

GeForce GTX 1080 Ti FCAT Frametime Analysis Review

Alla olevat kuvat on otettu tuolta sivulta. Tuossa Guru3D:n esityksessä aiheessa on erittäin hyvä esimerkki siitä, miten tuo 99. persentiili toimii.

per.png


Eli tässä kuvaajassa on tietyllä pelitestillä, näytönohjaimella ym. asetuksilla (1080Ti, RoTTR) esitetty, miten frametimet jakautuvat sen mukaan, miten nopeasti ne on piirretty. Puolet testin frameista on vähintään 170 FPS, 70 prosenttia on vähintään ~115 FPS ja 99 prosenttia testin frameista on vähintään ~95 FPS. Sinne noin 99. persentiiliin asti jakauma on selkeän näköinen. Aivan häntäpäässä taulukon oikeassa laidassa kuvaaja "romahtaa", mikä kuvastaa yksittäistä stutteroivista frameista tulleita tuloksia jotka voivat johtua jostain aivan muusta kuin näytönohjaimesta. Näiden dippien satunnaisuuden vuoksi niitä ei ole hyvä ilmoittaa ellei niitä jostain syystä ole erityisen paljon (microstuttering). Niille on kuitenkin oma kuvaajansa:

plot.png


Kuvaaja kertoo n. 30 sekuntia kestävän testin aikaiset frametimet millisekunteina. Piikit ovat frameja, joiden piirtämisessä on kestänyt erityisen kauan. Suuri piikkien lukumäärä on ongelma, sillä se ilmenee epämiellyttävänä tökkimisenä pelatessa kuten tämän ketjun aikaisemmissa postauksissa on jo tullut esille. Tässä kuvaajassa piikkejä on R9 Furyn tapauksessa erityisen paljon muilla korteilla ongelmien ollessa yksittäisiä, joten se kärsii tässä kyseisessä testissä selvästi häiriöistä toisin kuin kuvaajan muut kortit. Syy voi olla ajureissa, näytönohjaimen muistin loppumisessa etc.

Lukekaa lähteenä oleva yo. Guru3D:n artikkeli, siellä frametime-analyysi on esitetty selkeästi ja riittävän seikkaperäisesti. Artikkelin ensimmäinen sivu artikkelista linkin GeForce GTX 1080 Ti FCAT Frametime Analysis Review takaa.
 
Viimeksi muokattu:

Statistiikka

Viestiketjuista
261 542
Viestejä
4 539 762
Jäsenet
74 819
Uusin jäsen
Niemi_81

Hinta.fi

Back
Ylös Bottom