Minun mielestäni pitäisi benchmarkata näin

Viestiketju alueella 'Näytönohjaimet' , aloittaja Mendel, 07.10.2018.

  1. Mendel

    Mendel RTX ON

    Viestejä:
    165
    Rekisteröitynyt:
    21.09.2017
    Eli kun vaikka jotain näytönohjainta ollaan benchmarkkaamassa niin mielestäni tulokset pitäisi esittää ja kertoa siten, että lukija saa artikkelista mahdollisimman hyvän kuvan arvosteltavan näytönohjaimen suorituskyvystä.

    Keskimääräinen ruudunpäivitysnopeus on lähinnä suuntaa antava luku, joka ei vielä kerro mitään siitä kuinka paljon ruudunpäivitysnopeudessa on vaihtelua. Minimi-ruudunpäivitysnopeus taas voi olla hyvinkin lyhytaikainen töksäys muuten hyvin pyörivässä testissä. Persentiilitestaus antaa jo parempaa kuvaa mutta sekään ei kerro tarpeeksi siitä, kuinka suuren osan ajasta testattava peli pyörii testattavalla laitteistolla riittävän hyvin itse kunkin tarpeisiin.

    Miten sitten pitäisi benchmarkata? No aluksi tietysti pelin ruudunpäivitysnopeutta pitää logata pelatessa.

    Otetaan kuvitteellinen esimerkki kuvitteellisella kortilla ja pelillä, jossa benchmark runin aikana on kerätty 10 datapistettä fps-lukemia (oikeasti näitä olisi tuhansia lukemia mutta nyt haluan luetella nuo fps-lukemat tässä, joten pidetään datasetti pienenä). Otetaan tämmönen äärimmäinen esimerkki, jossa on paljon vaihtelua.
    Kuvitteellisen benchmark-ajon aikana kerättiin siis nämä 10 lukemaa:
    35, 48, 42, 84, 67, 85, 110, 151, 148, 95

    Miten tämä sitten saataisiin informatiivisemmin esille? Lokista esitettäisiin ensin graafinen kuvaaja ja sitten sen alla sanallinen kuvaus seuraavasti:

    [​IMG]

    Ghettoblaster x:llä pelatessa Foxensteinin ruudunpäivitysnopeus oli noin puolet ajasta 60- ja 120 fps:n välillä. Vain mittauksen alussa ensimmäisen 10% ajan jäätiin testimonitorin 40fps FreeSync/G-Sync rajan alle. Tavallisella 60Hz näytöllä olennaisen yli 60fps lukemiin päästiin 70% ajan testin kestosta. Testinäytön 144Hz:n mukaisissa maksimilukemissa peli pyöri vain 20% ajan, käytännössä lähinnä vain testin loppupuolella.

    Mielestäni tuollainen kertoisi hyvin pelikokemuksesta ruudunpäivitysnopeuden suhteen. Mielipiteitä?
     
    Threadripper tykkää tästä.
  2. hsalonen

    hsalonen

    Viestejä:
    5 870
    Rekisteröitynyt:
    17.10.2016
    Sitä varten siellä arvosteluissa on ne persentiilit. Kannattaa tutustua niihin käytettyihin testausmetodeihin..

    Vaikka tuo tuorein arvostelu, jonka luin vasta nyt:
    [​IMG]

    [​IMG]

    Tuossa nyt tummat palkit on nopeus 99% ajasta, niin eikö se riitä? Mitä lisäinformaatiota käyrä antaisi?
     
    JuhoN tykkää tästä.
  3. Mendel

    Mendel RTX ON

    Viestejä:
    165
    Rekisteröitynyt:
    21.09.2017
    Mutta jos average on 70 ja persentiili on 40 niin se ei kerro minulle, että kuinka usein peli dippaa alle 60 fps ja miten pitkäksi aikaa.
     
  4. hsalonen

    hsalonen

    Viestejä:
    5 870
    Rekisteröitynyt:
    17.10.2016
    Voi huoh. Lue niistä persentiileistä. Et voi käyttää niitä ilman lukua edessä..
     
  5. Mendel

    Mendel RTX ON

    Viestejä:
    165
    Rekisteröitynyt:
    21.09.2017
    Persentiili siis kertoo sen että minkä lukeman alle ruudunpäivitys menee korkeintaan 1% ajaksi testistä. Minua ei kiinnosta tuo lukema. Jos se on sinulle kiinnostava lukema niin okei. Hyvä. Saat siitä sitten tarvitsemasi infon.

    Minua kiinnostaisi paljon enemmän prosenttilukema, jonka peli pyörii yli tärkeiden raja-arvojen, kuten g-syncin toimintasäteen tai tavallisilla näytöillä tärkeän 60fps lukeman.
    Jos 99. persentiili on vaikka 50 ja keskimääräinen ruudunpäivitysnopeus on vaikka sitte 70, niin siitä on hankala saada selville, että kuinka usein se on välillä 50-60 (joka ei riitä muille kuin freesync/gsync käyttäjille) ja kuinka usein se on yli 60.
     
  6. Jebaus

    Jebaus

    Viestejä:
    547
    Rekisteröitynyt:
    23.02.2017
    Ja sama hieno ehdottamasi kaavio sitten jokaisesta pelistä ja jokaisella resoluutiolla tottakai myös varmasti eri asetuksilla ja parilla-kolmella prosessorilla?
     
  7. Mendel

    Mendel RTX ON

    Viestejä:
    165
    Rekisteröitynyt:
    21.09.2017
    Tuossa esimerkissä käyrä ja kuvaus voisi antaa seuraavanlaista lisäinformaatiota, revin tässä infoa stetsonista kun kuvaaja ei kerro:

    Asus ROG-STRIX-GTX1080TI-O11G-GAMING kortilla ruudunpäivitysnopeus oli yli 60 fps 97% ajasta. FPS tippui alle 60fps lukemiin kolmessa eri kohdassa testin aikana, pisimmillään viiden sekunnin ajaksi kerrallaan.

    AMD Radeon RX Vega 64 pyöri yli 40fps FreeSync rajan 99.86 prosenttia ajasta tippuen sen alle vain kuuden sekunnin ajaksi koko testin aikana. Päälle 60fps lukemien päästiin käytännössä vain siinä testin kohtauksessa, jossa taistelu oli lakannut ja kuljettiin tyhjällä käytävällä.
     
    Viimeksi muokattu: 07.10.2018
  8. Mendel

    Mendel RTX ON

    Viestejä:
    165
    Rekisteröitynyt:
    21.09.2017
    Mielellään testaisin kunnolla ja perinpohjaisesti, jos sellaisen duunin saisin. Antaen mahdollisimman paljon informaatiota, joka on oleellista mahdollisimman monelle.

    Huom: tarkoitukseni ei ole sanoa, että nimenomaan io-tech benchmarkkaisi ja testaisi jotenkin huonosti eikä tarkoitukseni ole tässä hyökätä ketään vastaan. Tää oli vain tällainen ajatus/idea, joka mulla on itänyt jonkin aikaa.

    edit: ymmärrän jos tästä tulee vähän sellainen uusi kaveri tulee kertoon iskälle, miten naidaan fiilis. Ei ollut tarkoitus :)
     
  9. hsalonen

    hsalonen

    Viestejä:
    5 870
    Rekisteröitynyt:
    17.10.2016
    Jokainen kortti menee (myös Nvidia) yli 40 fps Freesync-rajan 99% ajasta. Sen näkee tuosta nykyisestä kaaviosta. Kun vaan katsoo.

    FPS-hypyt näkee ihan vihreän palkin pituudesta. Jos se on pieni, niin FPS ei heittele. Jos se on pitkä, niin FPS:ssä on niitä hyppyjä.

    Tämä on vaan kaavion tulkitsemista, eikä käyrä toisi lisäarvoa. Lisäksi jos siinä ei olisi smoothingia, niin fps pomppisi niin kovasti, ettei päällekkäistä viivoista ei saisi selvää ja sitten siinä ei näkisi niitä mikrosekunnin hyppyjä, joita kovasti koetat tuoda esiin. Omakin käyräsi laskee lyhyen ajan keskiarvoja.

    Tässäkin järkevämpi mittari olisi frametime, mutta koko idea on mielestäni vaan turhaa työtä arvostelijalle.
     
  10. Dargol

    Dargol

    Viestejä:
    552
    Rekisteröitynyt:
    08.05.2017
    Jos jossain arvostelussa olisi tuollainen Mendelin käppyrä esim. Deus Ex: Mankind Dividedin benchmarkista, niin kyllä minä ainakin saisin siitä lisäarvoa. Kyseisessä testiajossa on selvästi raskaampia kohtia ja olisi mielenkiintoista nähdä miten uusi kortti suoriutuu niistä vanhempiin verrattuna. Tuolainen graafi toimisi parhaiten juuri pelien benchmarkeissa.
     
  11. Tukkeuma

    Tukkeuma

    Viestejä:
    426
    Rekisteröitynyt:
    01.01.2017
    Kyllähän tuo käyrämuoto on erittäin hyvä ja havainnollinen esitystapa, kunhan lisäksi on vieressä numeroarvot joissa näkyy valmiiksi lasketut min-max-avg.
    Esim. Digitalfoundty ja HardOCP käyttävät kyseistä esitystapaa:

    [​IMG]
     
  12. Halpuuttaja

    Halpuuttaja

    Viestejä:
    767
    Rekisteröitynyt:
    21.02.2017
    Videobenchmarkithan on mukavia siitä, että näkee suoraan millaisissa tilanteissa pyörii mitenkin. Havainnollistava GTA esimerkki jossa alle 50fps raskaassa kohdassa ja 100 paikkeilla toisaalla:



    Tuosta kun saisi vain averagen ja jokut pikkupersentiilit niin tietäisin paljon vähemmän.
     
  13. Mendel

    Mendel RTX ON

    Viestejä:
    165
    Rekisteröitynyt:
    21.09.2017
    Videon tallennus vaan tuppaa syömään enemmän tehoja kuin frameraten loggaus. Paitsi tietysti jos on erillinen tallennuslaitteisto.
     
  14. Ormu

    Ormu Tukijäsen

    Viestejä:
    908
    Rekisteröitynyt:
    17.10.2016
    Näytönohjain- ja prosessoritestien ensisijainen tarkoitus on kai testata ja verrata näytönohjainten ja prosessorien suorituskykyä, ei analysoida tietyn pelin toimintaa yksityiskohtaisesti. Laitevertailu onnistuu ilmankin monimutkaisia käyrästöjä, vaikka valitun pelin tarkasteluun ne ovatkin hyviä.
     
  15. Tukkeuma

    Tukkeuma

    Viestejä:
    426
    Rekisteröitynyt:
    01.01.2017
    Pakko olla eri mieltä: tässähän on nimenomaan tarkoitus verrata noita käyriä toisiinsa (=tuotteiden välinen ero), eikä sitä minkä muotoinen käyrä on (=pelin suorituskyvyn analysointi). Esim. jos näytönohjain A piirtää käyrään syvempiä "kuoppia" kuin näytönohjain B, kertoo se hyvin että B pystyy pitämään ruudunpäivityksen vakaampana ilman isoja dippauksia.

    Jos oikein kunnolla lähdetään analysoimaan ruudunpäivityksen vakautta, pitäisi tietysti olla vielä omat käyrät frametimeistä. Niistä paljastuu hyvin jos kortti tekee ns. "microstutter" piikkejä, jotka ei paljastu millään average fps -mittauksella, mutta ovat kyllä silmällä havaittavissa:

    [​IMG]
     
  16. _j03_

    _j03_

    Viestejä:
    935
    Rekisteröitynyt:
    17.10.2016
    Menee vähän turhan hifistelyksi piirrellä käppyrät fps-tuloksista koko mittausjaksolta, varsinkin kun saman leirin kortit käyttäytyy melko samoin pelistä riippumatta (dippaa samoissa kohdissa samassa suhteessa). Eikä tuosta nyt hirveänä kostu ilman gameplay videota, josta erottuu missä kohtaa tämäkin tapahtuu, joka taas menee enemmän pelikohtaiseksi analyysiksi. Ennemmin .99 persentiilin sijaan/lisäksi näkisi esimerkiksi alakvartiilin. Mutta joo, loppujen lopuksi kyseessä on se kuinka paljon milläkin sivustolla on aikaa testailla. Voihan niitä käppyröitä ja tunnuslukuja piirellä ja tutkailla vaikka hamaan loppuun asti.
     
  17. jmjh

    jmjh

    Viestejä:
    209
    Rekisteröitynyt:
    18.10.2016
    Ymmärrän AP:n pointin tässä. Tiedon pystyisi saamaan myös persentiileistä jos niitä olisi esitetty enemmän, mutta pelkkästään 99%:n esittäminen on aika rajoittunut. Tietysti vaatii myös lukutaitoa.

    Yksitäisistä käyristä informaatio näkyy minustakin selkeämmin, ellei niitä sitten laiteta samaan kuvaan liikaa.
     
  18. jmjh

    jmjh

    Viestejä:
    209
    Rekisteröitynyt:
    18.10.2016
    Luulisin että alakartaali ja muut persentiilit tulisi ihan siinä samalla samasta mittausdatasta kuin tuo .99:nenkin.
     
  19. _j03_

    _j03_

    Viestejä:
    935
    Rekisteröitynyt:
    17.10.2016
    Tulee toki, mutta melko sotkuiseksi alkaa mennä kuvaajat jos niitä kaikkia alkaa yhteen tunkemaan -> lisää työtä. Tietty jotain laatikkopiirroksia voidaan käyttää mutta kuinka moni peruspertti niitä osaa tulkita tai kuinka montaa ihmistä ne kiinnostaa.
     
  20. locitus

    locitus

    Viestejä:
    296
    Rekisteröitynyt:
    08.05.2017
    Minusta tuntuu että menin sekaisin tämän viestiketjun luettuani.
    Eikös tuo 99. persentiinni tarkoita sitä että 99% ajasta fps on tämä?
     
  21. _j03_

    _j03_

    Viestejä:
    935
    Rekisteröitynyt:
    17.10.2016
    Ei, vaan arvo jonka alle jää 1% havaintoarvoista.
     
  22. locitus

    locitus

    Viestejä:
    296
    Rekisteröitynyt:
    08.05.2017
    Eli 1%:n ajan testiä fps on ilmoitetun?
     
  23. locitus

    locitus

    Viestejä:
    296
    Rekisteröitynyt:
    08.05.2017
    '99. persentiili (99th percentile) ilmoittaa muuttujan arvon, jota parempia ovat 99 % arvoista. Yksinkertaistetussa esimerkissä on 100 mitattua arvoa, jotka asetetaan paremmuusjärjestykseen. 99. persentiili jättää huomioimatta huonoimman arvon ja ilmoittaa 99. parhaimman arvon.'
     
  24. locitus

    locitus

    Viestejä:
    296
    Rekisteröitynyt:
    08.05.2017
    Eli tuo on vain uusi tapa ilmoittaa minimi fsp?
    Edit: Mitä tuolla 99. persentiillä halutaan kertoa? En ymmärrä, tuohan vain kaunnistelee minimi arvoa
     
  25. Lepakomäyrä

    Lepakomäyrä

    Viestejä:
    776
    Rekisteröitynyt:
    21.08.2018
    Jep mutta saattaa testaajalla olla mahdollisesti kovempi prossu ja paljon nopeammat muistit kuin sillä joka näitä testejä katsoo.
    Eli lopulta sillä omalla koneella 1600mhz muisteilla ja +5v vanhalla prossulla ei päästäkkään samoihin.

    Eli se miten se sun koneella pyörii ja mitkä on Min fps niin siihen vaikuttaa melkoisesti myös muut osat.
     
  26. locitus

    locitus

    Viestejä:
    296
    Rekisteröitynyt:
    08.05.2017
    Totta siksi skippaan 'testi' videot joissa ei näy kuin fps.
     
  27. Lepakomäyrä

    Lepakomäyrä

    Viestejä:
    776
    Rekisteröitynyt:
    21.08.2018
    Jos se kerran käy jostain syystä pikaisesti 20fps niin olisi aika outoa kirjata se ylös kun todellisuudessa ei ole tapahtunut kuin kerran testin aikana johtuen maan ja mercuriuksen asennosta.
     
    locitus tykkää tästä.
  28. locitus

    locitus

    Viestejä:
    296
    Rekisteröitynyt:
    08.05.2017
    Aa aivan, eli sillä halutaan 'bugi' saada pois listoilta. Totta kiitos tästä, vähän viisaampana
     
  29. Threadripper

    Threadripper

    Viestejä:
    2 987
    Rekisteröitynyt:
    12.12.2016
    Eihän noita pitäisi jättää pois. Tositilanteessa pelatessa 20 FPS dippi häiritsee vaikka syynä olisi taivaankappaleiden asento. Enkä olisi ollenkaan varma että tuollaisia dippejä tapahtuu samaan tahtiin kaikilla prosessoreilla/näytönohjaimilla.
     
  30. Lepakomäyrä

    Lepakomäyrä

    Viestejä:
    776
    Rekisteröitynyt:
    21.08.2018
    Sadasosan dippi niin on kyllä merkityksetön testin/näytönohjaimen nopeuden kannalta.

    Saattaa johtua muusta kuin itse näytönohjaimesta.
     
  31. Threadripper

    Threadripper

    Viestejä:
    2 987
    Rekisteröitynyt:
    12.12.2016
    Sen huomaa pelatessa kuitenkin ja siten on hyvin merkittävä.

    Voi johtua niin ja mikäli tietyillä osilla dippejä tapahtuu enemmän, sillä on merkitystä.
     
  32. Lepakomäyrä

    Lepakomäyrä

    Viestejä:
    776
    Rekisteröitynyt:
    21.08.2018
    Jos niitä enemmän tapahtuu niin näkyy käppyröissä.
    Tuota suurimmaksi osaa käytetään koska on ihan toimiva esitystapa.
     
  33. 459

    459 Team SER

    Viestejä:
    449
    Rekisteröitynyt:
    17.10.2016
    Näytän esimerkkisuorituksen asiallisesta graafisesta esityksestä.

    GeForce GTX 1080 Ti FCAT Frametime Analysis Review

    Alla olevat kuvat on otettu tuolta sivulta. Tuossa Guru3D:n esityksessä aiheessa on erittäin hyvä esimerkki siitä, miten tuo 99. persentiili toimii.

    per.png

    Eli tässä kuvaajassa on tietyllä pelitestillä, näytönohjaimella ym. asetuksilla (1080Ti, RoTTR) esitetty, miten frametimet jakautuvat sen mukaan, miten nopeasti ne on piirretty. Puolet testin frameista on vähintään 170 FPS, 70 prosenttia on vähintään ~115 FPS ja 99 prosenttia testin frameista on vähintään ~95 FPS. Sinne noin 99. persentiiliin asti jakauma on selkeän näköinen. Aivan häntäpäässä taulukon oikeassa laidassa kuvaaja "romahtaa", mikä kuvastaa yksittäistä stutteroivista frameista tulleita tuloksia jotka voivat johtua jostain aivan muusta kuin näytönohjaimesta. Näiden dippien satunnaisuuden vuoksi niitä ei ole hyvä ilmoittaa ellei niitä jostain syystä ole erityisen paljon (microstuttering). Niille on kuitenkin oma kuvaajansa:

    plot.png

    Kuvaaja kertoo n. 30 sekuntia kestävän testin aikaiset frametimet millisekunteina. Piikit ovat frameja, joiden piirtämisessä on kestänyt erityisen kauan. Suuri piikkien lukumäärä on ongelma, sillä se ilmenee epämiellyttävänä tökkimisenä pelatessa kuten tämän ketjun aikaisemmissa postauksissa on jo tullut esille. Tässä kuvaajassa piikkejä on R9 Furyn tapauksessa erityisen paljon muilla korteilla ongelmien ollessa yksittäisiä, joten se kärsii tässä kyseisessä testissä selvästi häiriöistä toisin kuin kuvaajan muut kortit. Syy voi olla ajureissa, näytönohjaimen muistin loppumisessa etc.

    Lukekaa lähteenä oleva yo. Guru3D:n artikkeli, siellä frametime-analyysi on esitetty selkeästi ja riittävän seikkaperäisesti. Artikkelin ensimmäinen sivu artikkelista linkin GeForce GTX 1080 Ti FCAT Frametime Analysis Review takaa.
     
    Viimeksi muokattu: 10.10.2018
    Threadripper, Lepakomäyrä ja vipe tykkäävät tästä.