Testiohjelmahuijaukset jälleen ajankohtaisia: Meizu ja OnePlus jäivät kiinni Geekbenchissä

[Kaotik]

Yritysten markkinointiosastot tekevät perinteisesti kaikkensa maalatakseen omista tuotteistaan kilpailijoita parempia. Kun PR-miesten salkuista loppuvat temput, saatetaan kutsua apuun insinöörit, joiden tehtäväksi annetaan esimerkiksi suorituskyvyn rukkaaminen uuteen uskoon keinoja kaihtamatta.

Erilaisissa testiohjelmissa huijaamisella tavalla toisella on jo pitkät perinteet. Monet meistä muistavat esimerkiksi 3DMark-näytönohjaintestin katoilevat lohikäärmeet NVIDIAlla ja Quaken mipmap-huijaukset ATI:lla, eikä Intelin sponsoroimat prosessoritestitkään ole päässeet unohtumaan. Yhteistä suurimmalle osalle huijauksista on ollut se, että ne on joko poistettu nopeasti, tai samat suorituskykylisät on saatu aikaan rehellisin keinoin lyhyellä aikavälillä siitä, kun huijaus on paljastunut.

Mobiilimaailmassa ensimmäinen ison luokan huijausbuumi paljastui vuonna 2013, kun käytännössä kaikki suuret Android-valmistajat Samsungista lähtien jäivät housut kintuissa kiinni testiohjelmahuijauksista. Suurista merkeistä vain Google ja sen omistama Motorola saivat tuolloin puhtaat paperit, kun huijauksista jäivät kiinni Samsungin ohella esimerkiksi HTC, LG ja Sony.

Vuoden 2013 kohuun reagoitiin niin valmistajien taholta kuin testiohjelmien kehittäjienkin puolelta. Testiohjelmista alettiin tekemään pidempiä, jotta järjestelmäpiirit ylikuumenisivat ja pienentäisivät kellotaajuuksiaan jos puhelin tunnistaisi ohjelman, ja nostaisi järjestelmäpiirin kellotaajuuksia tyypillistä korkeammalle. Puhelinvalmistajat puolestaan poistivat testiohjelmien tunnistuksia omista käyttöjärjestelmäversioistaan. Kaikki oli taas hyvin.

Valitettavasti XDA Developers on nyt huomannut, että jotkut puhelinvalmistajat ovat lähteneet uudelleen huijausleikkiin. Tällä kertaa huijauksista jäivät kiinni OnePlus ja Meizu. XDA Developers teki yhteistyötä Geekbenchin kehittäjän Primate Labsin kanssa saadakseen selville tuoreimpien huijauksien luonteen, ja Primate Labs toimitti testikäyttöä varten Bob’s Mini Golf Putt -nimellä tunnistuvan version Geekbench 4 -testistä.

OnePlussan tuoreimman OnePlus 3T -mallin kohdalla tavallisen Geekbenchin ja Bob’s-version erot ovat yhden ytimen testeissä varsin pieniä. Pisteissä eroa on parista pariin kymmeneen pisteeseen, ja lämpötiloissa erot nousevat korkeimmillaan neljään asteeseen. Useamman ytimen testeissä erot kasvavat kuitenkin jo selvästi, kun testiä ajetaan uudelleen ja uudelleen. Normaali versio saa parhaimmillaan yli 200 pistettä enemmän kuin Bob’s-versio. Lämpötiloissa ero kasvaa yhden ytimen testien tapaan suurimmillaan neljään asteeseen.

XDA Developersin mukaan huijaus on ollut Hydrogen OS:ssä mukana jo pitkään, mutta Oxygen OS:ään se tuli mukaan vasta viimeaikaisissa versioissa. OnePlus 3:n ensimmäisten arvostelujen aikaan huijausta ei ollut vielä käytössä. OnePlussan mukaan se käyttää vastaavaa tunnistusta myös pelien kohdalla. Yhtiö lupasi poistaa testiohjelmien tunnistuksen tulevista käyttöjärjestelmäversioistaan, vaikka pelien tunnistuksesta yhtiö aikoo pitää jatkossakin kiinni.

Selkeästi räikeämpi huijausesimerkki löytyy Meizun leiristä, tarkemmin Exynos 8890 -järjestelmäpiiriä käyttävästä Pro 6 -mallista. XDA Developersin Performance-tilassa ajamien testien mukaan Meizu Pro 6 saa Geekbenchin normaalin version yhden ytimen testissä liki 2,5-kertaisia ja moniydintestissä liki kaksinkertaisia tuloksia verrattuna Bob’s-versioon testistä.

XDA Developersin mukaan Meizu tunnistaa Geekbenchin, ja nostaa Performance-tilassa järjestelmäpiirien pienten prosessoriydinten kellotaajuuden niiden maksimiin eli 1,48 GHz:iin. Tehokkaammista ytimistä kaksi lukitaan 1,46 GHz:iin ja kahden annetaan skaalata vapaasti niin korkealle kuin järjestelmäpiiri ja lämmöt vain antavat myöden. Bob’s-versiossa, jota Meizu ei tunnista, Performance-tila käyttäytyy kuin puhelin olisi Balanced-tilassa, jossa tehokkaampia ytimiä ei käytetä lainkaan, tai niitä käytetään vain vähän.

Huomionarvoista on, että myös Bob’s-versiossa kellotaajuudet ja tulokset nousivat, jos puhelimessa ajettiin samaan aikaan Qualcommin Trepn-ohjelmaa, joka seuraa prosessoriydinten kellotaajuuksia. XDA Developers ei osannut kommentoida johtuuko ero kasvaneesta prosessorikuormasta vai Trepn-ohjelman tunnistuksesta. Meizu ei ole toistaiseksi kommentoinut tapausta XDA Developersille.

Uusien huijauksien paljastuttua XDA Developers ajoi Bob’s-version testistä myös lukuisten muiden valmistajien, kuten HTC, Huawei, Google, Sony ja Xiaomi, puhelimilla. Testattujen puhelinten joukosta ei löytynyt artikkelissa eriteltyjen OnePlussan ja Meizun lisäksi muita huijaustapauksia.

Lähde: XDA Developers

Linkki alkuperäiseen uutiseen (io-tech.fi)

 

[Nerkoon]

Jos oikein muistan, niin nuo eivät ole edes ensimmäisiä, jotka ovat jääneet tuosta kiinni. Muistaako joku mallejakin?

 

[Kaotik]

Jos oikein muistan, niin nuo eivät ole edes ensimmäisiä, jotka ovat jääneet tuosta kiinni. Muistaako joku mallejakin?

Kuten tuossa uutisessakin todetaan, 2013 jäi kiinni käytännössä kaikki isot Android-valmistajat vastavaasta.

 

[Nerkoon]

Kuten tuossa uutisessakin todetaan, 2013 jäi kiinni käytännössä kaikki isot Android-valmistajat vastavaasta.

Totta, pitää ottaa silmä käteen seuraavalla kerralla.

 

[eretux]

No, onhan se totta, että kuluttajille myydään puhelimia aika pitkälle specien perusteella, mutta välillä kyllä tuntuu siltä, että ollaanko tässä menty jo pikkuhiljaa yli. Ainakaan itse en keksi mitään syytä pakata puhelimeen 6Gb RAMia tai pyrkiä saavuttamaan se korkein huippu muuten kuin markkinointimielessä. Jos muhevilla speceillä yritetään korjata sitä mikä on jätetty optimoimatta softapuolella, niin ei hyvä. Itselläkin on käytössä Sony Z5 ja sen sisältämät specit alkavat olla jo aika "vanhentuneet" näiden uutuuksien rinnalla, vaikka ei ole kuin vasta reilu vuoden vanha malli. Ja siitä huolimatta olen melko varma, että tulee sisältämään tarvittavaa potkua omaan välillä kohtuu vaativaankin käyttööni vielä pitkälle tulevaisuuteen.

Olisi kiva nähdä se valmistaja, joka aloittaisi uuden kilpailun sen suhteen, että julkaisi puhelimen jolla myyntivalttina olisi nimenomaan pitkä akunkesto ja silti sisältäisi ihan OK specit muuten. Se, että vaikka akun kapasiteetti nyt pääsääntöisesti nouseekin kokoajan etenkin huippuluureissa, niin sen tuoma etu karsitaan samantien pakkaamalla siihen sellainen piiri ja näyttö, joka imee mehut samantien laitteesta. Esim oma Z5 menee kevyellä käytöllä helposti sen 2 päivää, todella vähällä käytöllä jopa 3, mutta sitten toisaalta menee kovassa käytössä about puolessa päivässä, etenkin jos pelaa.

 

[compvter]

Ymmärsinkö nyt oneplussan selityksen jotenkin väärin? Jos vastaavaa tunnistusta käytetään peleihin, niin miksi "Bob’s Mini Golf Putt" ei tunnistautunut peliksi ja siten käyttäytynyt samalla tavalla?

Jos toimii yleisesti noin eikä pelkästään testiohjelman kanssa niin sittenhän se on ihan ok, mutta ei tästä nyt oikein selvinnyt että miten tämä tunnistus toimii, eli onko siellä joku stattinen lista johon on lisätty yksi tai kaksi peliä että voi sanoa että toimii noin pelienkin kanssa.

 

[Kidov]

Ymmärsinkö nyt oneplussan selityksen jotenkin väärin? Jos vastaavaa tunnistusta käytetään peleihin, niin miksi "Bob’s Mini Golf Putt" ei tunnistautunut peliksi ja siten käyttäytynyt samalla tavalla?

Jos toimii yleisesti noin eikä pelkästään testiohjelman kanssa niin sittenhän se on ihan ok, mutta ei tästä nyt oikein selvinnyt että miten tämä tunnistus toimii, eli onko siellä joku stattinen lista johon on lisätty yksi tai kaksi peliä että voi sanoa että toimii noin pelienkin kanssa.

XDA:n uutisesta syntyi vaikutelma, että kyseessä on juurikin staattinen lista, joka sisältää testiohjelmat ja joitakin erityisesti puheliarvosteluissa käytettyjä pelejä.

 

[Kepe]

Niin siis ZEN kellottaa itseään rasituksessa sen mukaan miten lämmöt antaa myöten. Eihän se mitään huijaamista ole kun se käyttäytyy samalla tavalla joka paikassa. Näissä puhelimissa huijaamista on just se, että kelloja nostellaan vain kun on joku tietty testiohjelma päällä.

 

[Kaotik]

Ymmärsinkö nyt oneplussan selityksen jotenkin väärin? Jos vastaavaa tunnistusta käytetään peleihin, niin miksi "Bob’s Mini Golf Putt" ei tunnistautunut peliksi ja siten käyttäytynyt samalla tavalla?

Jos toimii yleisesti noin eikä pelkästään testiohjelman kanssa niin sittenhän se on ihan ok, mutta ei tästä nyt oikein selvinnyt että miten tämä tunnistus toimii, eli onko siellä joku stattinen lista johon on lisätty yksi tai kaksi peliä että voi sanoa että toimii noin pelienkin kanssa.

Tunnistus perustuu siis tiedettyjen ohjelmien/pelien nimiin, joita on toki enemmän kuin yksi tai kaksi

 

[FlyingAntero]

Tunnistus perustuu siis tiedettyjen ohjelmien/pelien nimiin, joita on toki enemmän kuin yksi tai kaksi

Tällainen toiminta on totta kai arveluttavaa enkä toivoisi valmistajien käyttävän näitä kikkailuja. Valmistajien tulisi vähintäänkin ilmoittaa käyttäjälle, mikäli laitteen toiminta on testeissä normaalista poikkeavaa. Sinänsä tuloksiahan ei varsinaisesti manipuloida vaan laitteen annetaan toimia normaalia korkeammilla kelloilla. Jos laite kestää tällaisen rasituksen, niin sittenhän kyseessä on periaatteessa suorituskyvyn "optimointi". Mitään iloa siitä ei tosin ole, jos kikkailuja käytetään vain testiohjelmissa eli huijataan. Mielenkiintoiseksi asian tekee, jos tällainen "optimointi" toimii myös peleissä. OnePlussalla lienee tällainen ajatus taustalla, kun ei poista "optimointia" peleistä. Tällöin "optimoinnin" tulisi toimia kaikissa peleissä eikä vain tietyissä testauksessa käytetyissä peleissä.

@Kaotik iso peukku . Hienosti kirjoitettu artikkeli ja tykkäsin tuosta PC puolen pohjustuksesta. Ehkä Googlen olisi voinut mainita Motorolan ohella aiemmin puhtaasti toimineena.

Spoileri: 2013 vuoden huijaukset

 

[P c L A Y E R]

Minun mielestä tässä ei voida kyllä mistään hirveästä "huijauksesta" puhusa, kun se suorituskyky on siinä laitteessa oikeasti. Se, että sitä ei hyödynnetä, muualla, kun tietyissä puhelimen tunnistavissa softissa, on toki aika harhaanjohtavaa toimintaa kuluttajaa kohtaan. Tosin eiköhän nuo rajoitukset rootatulla käyttiksellä saa pois, jos kiinnostaa.

 

[FlyingAntero]

Minun mielestä tässä ei voida kyllä mistään hirveästä "huijauksesta" puhusa, kun se suorituskyky on siinä laitteessa oikeasti. Se, että sitä ei hyödynnetä, muualla, kun tietyissä puhelimen tunnistavissa softissa, on toki aika harhaanjohtavaa toimintaa kuluttajaa kohtaan. Tosin eiköhän nuo rajoitukset rootatulla käyttiksellä saa pois, jos kiinnostaa.

CyanogenModiin lisättiin vastaava optimointi CM11 buildeihin (linkki). Ominaisuus kantaa nimeä "per-app profiles" ja sen voi kytkeä asetuksista päälle tai pois (CM12: Performance Settings, CM13: Battery Settings). Ominaisuuden lisääminen herätti aika paljon närää käyttäjissä, sillä valmistajien huijaukset oli vielä tuoreessa muistissa. Sittemmin ominaisuutta on kehitetty eteen päin. Kun tuon per-app profiles ominaisuuden aktivoi, niin käyttöjärjestelmä valitsee sopivat asetukset kullekin sovellukselle. Se ei pelkästään nosta prosessorin kellotaajuuksia benchmarkeissa (tekee tämän kyllä oletuksena CM:ssä) vaan myös laskee niitä tietyissä sovelluksissa. Esimerkiksi OnePlus 3:ssa asetukset menee näin (CM13):

Spoileri

Power Saver: Cores 1,2,4 active
Little - Min(0) Max(1000)
interactive governor
Big - Min(0) Max (1000)
interactive governor

Efficiency: Cores 1,2,3,4 active
Little - Min(0) Max(1000)
interactive governor
Big - Min(0) Max(1300)
interactive governor

Balanced: Cores 1,2,3,4 active
In balanced mode the ROM changes these values on the fly.

Quick: Cores 1,2,3,4 active
Little - Min(0) Max(FFF)
interactive governor
Big - Min(1400) Max(FFF)
interactive governor

Performance: Cores 1,2,3,4 active
Little - Min(FFF) Max(FFF)
interactive governor
Big - Min(FFF) Max(FFF)
interactive governor

In BOLD is all values manually applied.
Every "0" defines where the value is equal to the lowest frequency the kernel is set to operate at.
Every "FFF" defines the max frequency that can be applied by the operating kernel.

Lisää täältä.

Eri asetukset voi myös säätää manuaalisesti. Per-app profiles kuitenkin säätää asetuksia automaattisesti parhaaksi näkemällään tavalla. Mielestäni käyttäjää pitäisi vähintäänkin informoida tällaisesta toiminnasta. Ja jos ominaisuus on tehty lähinnä vain benchmarkkeja varten (=huijaus), niin pitäisi olla mahdollista kytkeä ominaisuus pois päältä.

EDIT: Xda:n puolella käyttäjät on tehnyt tällaisia kikkailuja jo pitkään säätämällä CPU scaling ja Governor asetuksia manuaalisesti. Vedetty yksi kierros benchmarkissa kellot tapissa ja postattu screenshotti muille ihmeteltäväksi . Onhan se ihan kiva hakea välillä maksimi tuloksia mutta ei niillä käytännön suorituskyvyn suhteen mitään tee.

 

[Kaotik]

@Kaotik iso peukku . Hienosti kirjoitettu artikkeli ja tykkäsin tuosta PC puolen pohjustuksesta. Ehkä Googlen olisi voinut mainita Motorolan ohella aiemmin puhtaasti toimineena.

Google oli tuolloin Motorolan omistaja, kyse oli siis Motorola-merkkisistä Googlen luureista, jos pilkkua lähdetään viilaamaan.
edit: jaa, oli siellä Nexuksetkin näemmä, päivitin

 

[AceD]

"huijaus on ollut Hydrogen OS:ssä mukana jo pitkään, mutta Oxygen OS:ään se _tuliu_ mukaan vasta viimeaikaisissa versioissa."

 

[compvter]

Kuka ostaa puhelinta yleensäkään benchmarkkien perusteella?

Sellainen joka ei ole merkkiuskovainen?
Ainakin itselle tulee siinä vaiheessa eteen jos specsit on muuten yhtä hyvät niin akunkeston sekä suorituskykyyn liittyvät benchmarkit alkaa kiinnostaa. Edellisessä luurissa oli tärkein päivitysten kesto, mutta ei tuo googlen tuen pituus enää taida niin omaa luokkaansa olla.

 

[FlyingAntero]

Ei niitä benchmarkkeja kannata pelkästään tuijotella mutta suuntaa antavia arvioitahan niistä voi tehdä