MediaTek jäi kiinni puhelinvalmistajille tarjottavista testiohjelmahuijauksista

[Kaotik]

Kaotik kirjoitti uutisen/artikkelin:
Älypuhelinmaailmassa törmätään aina aika ajoin tapauksiin, joissa valmistajat ovat asentaneet puhelimiinsa erilaisia suorituskykyä testiohjelmissa parantavia huijauksia. Tällä kertaa kyseenalaiseen valokeilaan on joutunut kuitenkin puhelinvalmistajan sijasta järjestelmäpiirivalmistaja MediaTek.



AnandTechin epäilyt huijauksesta heräsivät, kun Oppon Reno3 Pro -puhelimen Eurooppa-versio MediaTekin Helio P95 -järjestelmäpiirillä suoriutui PCMark-testistä paremmin kuin selvästi tehokkaammalla, niin ikään MediaTekin valmistamalla Dimensity 1000L -järjestelmäpiirillä varustettu kiinalaisversio Reno3:sta. Saatuaan UL Benchmarksilta käsiinsä anonymisoidun version PCMarkista huijaus vahvistui: P95:n tulos Reno3 Prossa oli yi 33 % parempi virallisella versiolla anonymisoituun verrattuna ja joissain osatesteissä ero oli vielä selvästi isompi Oppo puolestaan sai osittaisen synninpäästön tilanteesta, sillä yhtiön Reno3 Pron kiinalaisversio Snapdragon 765G:llä ei käyttäytynyt samoin vaan antoi saman tuloksen kummallakin versiolla. Synninpäästö on vain osittainen, sillä Oppo on selvästi tietoinen näistä huijauksista ja on siirtänyt ne uusimmassa firmware-versiossa pois itsestäänselvästi nimetystä power_whitelist_cfg.xml-tiedostosta jonnekin tuntemattomaan paikkaan.

Power_whitelist_cfg.xml-tiedosto kuuluu järjestelmäpiirin firmware-tiedostoihin, joka on AnandTechin mukaan alun perin lähtöisin suoraan MediaTekiltä. Tiedosto pitää sisällään lukuisia suosittuja testiohjelmia, joissa puhelin siirtyy ”Sports Mode” -tilaan, joka parantaa sen suorituskykyä. Joidenkin testiohjelmien, kuten Kishontin yrityksille suunnatussa GFXBench-version, tunnistus ei käynnistä Sports Modea, mutta muuttaa kuitenkin puhelimen muita asetuksia kuten jännite- ja kellotaajuuskäyriä ja lämpötilanhallintaa.



AnandTech tutki myös muiden valmistajien ja puhelinmallien firmwareja vastaavien varalta. Samat huijaukset löytyivät useista muistakin MediaTekin piirillä varustetusta puhelimesta joko kokonaan tai osittain. Esimerkiksi Oppo F15:n kohdalla erikoisesti puolet sovelluksista on mukana kyllä listauksessa, mutta ne on kommentoitu pois käytöstä. Aikaisin esimerkki, minkä AnandTech löysi, oli Sonyn P20-järjestelmäpiirillä varustettu XA1, jossa on käytössä vanhemman pään tunnistuslista. Yllä olevassa kuvassa tähdellä (*) merkityt kohdat löytyvät tiedostoista, mutta ne on kommentoitu pois käytöstä.

MediaTek julkaisi asiasta AnandTechille myös lausunnon. Sen mukaan kyseiset huijaukset ovat alalla hyväksytty käytäntö ja ne osoittavat järjestelmäpiirien todelliset kyvyt. Yhtiö tekee tiivistä yhteistyötä puhelinvalmistajien kanssa ja sen mukaan se on lopulta valmistajasta kiinni, miten puhelin konfiguroidaan näiden ominaisuuksien osalta. Oppo monen muun mukana on päätynyt ottamaan ilosta kaiken irti ainakin useimmilla puhelimistaan. Puhelinvalmistajat voivat myös vaihdella asetuksia puhelimen kohdemaasta riippuen.

MediaTekin mukaan sen järjestelmäpiirit osaavat lisäksi mukautua eri sovellusten tehovaatimuksiin älykkäästi, minkä myötä esimerkiksi prosessoriydinten, grafiikkaohjaimen ja muistien kellotaajuudet voivat vaihdella sovelluksesta toiseen kunkin yksilöllisen tarpeen mukaisesti. Yhtiön mukaan sen tapa paljastaa järjestelmäpiiriensä täydet tehot testiohjelmissa vastaa muiden yhtiöiden tapoja ja antaa käyttäjälle parhaan kuvan siitä, mihin laite pystyy venymään.

Oman lusikkansa soppaan tuo useiden kiinalaisvalmistajien puhelimiinsa lisäämä ”High Performance Mode” -tila, joka ilmeisesti toimii vastaavaan tapaan kuin Sports-tila ja on selvästi järeämpi kuin tunnetumpien valmistajien korkean suorituskyvyn tilat. Oppo käyttää sitä kuitenkin myös Snapdragon-puhelimissaan, joten se ei ainakaan suoraan ole kytköksissä huijauksiin. Oma erikoisuutensa on myös se, ettei Reno3 käyttäytynyt samoin; se on kuitenkin samalla tapaa Oppon puhelin ja varustettu MediaTekin järjestelmäpiirillä, vain selvästi järeämmällä sellaisella.

Lähde: AnandTech

Linkki alkuperäiseen juttuun

 

[eternality]

Valitettavan yleistä tämä power limiteillä huijaaminen puhelinmaailmassa. Mutta huolestuttavampaa ehkä on se että Anandtech tuntuu olevan suunnilleen ainoa taho joka testaa puhelimia niin hyvin, että näitä paljastuu aina välillä.

 

[Juha Kokkonen]

Onneksi sen näkee jo ihan otsallaan noissa synteettisissä testeissä, jos sieltä tulee jotain täysin poskettomia tuloksia kuten tuossa uutiskuvassa. Aika vähän vaan on Suomen markkinoilla näitä Mediatekin piireillä varustettuja puhelimia varsinkaan vähänkään korkeammissa hintaluokissa.

 

[Foxy]

Noita benchejä ei juuri monesta syystä tule tulkita kuin jotain absoluuttista totuutta. Noita tulee aina silloin tällöin ilmi, sport modet päälle kun benchisoftaa ajetaan, olikos joku sampan malli vuodelta 2013 (en nyt yhtään muista mikä luuri se oli) niin kellotti itsensä benchin aikana niin korkealle, että jos sitä olisi käyttänyt yhtään pidempään koko luuri olisi polttanut reijän housuun. Noi on sellasia nopeuksia mitä normaaleissa tilanteissa käyttäjä ei saa.

antaa käyttäjälle parhaan kuvan siitä, mihin laite pystyy venymään

...Benchmark softassa eikä oikeassa tilanteessa tai edes pelikäytössä.

Huvittavaa.

 

[Agent_007]

Ovat toistaiseksi vielä kaikki tähän syyllistyneet valmistajat tehneet kovin laiskasti tuon ohjelman tunnistamisen pelkällä application ID:llä. Tuosta jää sen takia helposti kiinni, ja tuota voi helposti hyödyntää esim. haittaohjelmissa, kunhan ne vain käyttävät samoja application ID:eitä mitä tuolla listalla on.

 

[Kaotik]

...Benchmark softassa eikä oikeassa tilanteessa tai edes pelikäytössä.

Se tuossa Anandin setissä jäi vajaaksi, että eivät verranneet tuloksia High Performance Modessa perustesteihin (eli antaako tunnistettu testisofta myös silloin paremman tuloksen vai saman kuin aina ja onko HPM tulos yhtä hyvä vai heikompi

 

[FlyingAntero]

Valitettavan yleistä tämä power limiteillä huijaaminen puhelinmaailmassa. Mutta huolestuttavampaa ehkä on se että Anandtech tuntuu olevan suunnilleen ainoa taho joka testaa puhelimia niin hyvin, että näitä paljastuu aina välillä.

XDA taisi viimeksi käräyttää OnePlussan ja Meizun. Se kuitenkin käytännössä vaatii, että on suhteita benchmark-sovellusten tekijöihin modatun sovelluksen saamiseksi. Tai sitten pitäisi itse modailla benchmark-sovelluksia.

• Testiohjelmahuijaukset jälleen ajankohtaisia: Meizu ja OnePlus jäivät kiinni Geekbenchissä - io-tech.fi

Se tuossa Anandin setissä jäi vajaaksi, että eivät verranneet tuloksia High Performance Modessa perustesteihin (eli antaako tunnistettu testisofta myös silloin paremman tuloksen vai saman kuin aina ja onko HPM tulos yhtä hyvä vai heikompi

Sinällään sillä ei ole juuri väliä, kun esimerkiksi Oppon huijausta vastaava High Performance Mode ei ole käyttökelpoinen normaalissa käytössä. Se soveltuu käytännössä vain benchmarkkien ajamiseen mutta silloinkin sovellus saattaa kipata kesken kaiken. Jos näitä korkeamman suorituskyvyn tiloja käytetään, niin niistä pitäisi aina ilmoittaa käyttäjälle eikä piilotella niitä, kuten MediaTek on tehnyt.

 

[Kaotik]

Sinällään sillä ei ole juuri väliä, kun esimerkiksi Oppon huijausta vastaava High Performance Mode ei ole käyttökelpoinen normaalissa käytössä. Se soveltuu käytännössä vain benchmarkkien ajamiseen mutta silloinkin sovellus saattaa kipata kesken kaiken. Jos näitä korkeamman suorituskyvyn tiloja käytetään, niin niistä pitäisi aina ilmoittaa käyttäjälle eikä piilotella niitä, kuten MediaTek on tehnyt.

Juu en minä sillä meinannut, että se hyväksyttävämpää olisi, vain lähinnä sitä voiko käyttäjä saada halutessaan samat tehot muuallekin, oli akkukesto tai puhelimen lämmöt sitten mitä tahansa

 

[Paspartu]

Eli onkos tämä vähän sama asia kuin PC puolella, kun yritetään rikkoa ennätyksiä ja katsoa mihin kyseisestä kivestä on, ajellaan nupit kaakossa LN:n kanssa, mutta tosielämässä mennään vedellä.

 

[Vellamo]

Tää ei ollu mikään uusinen itselle. Mutta eikös nuo Benchmarkit voisi ajaa jonkin akunrasitustestin yhteydessä? Elikkä, jos ilmoitettu akkukesto poikkeaa merkittävästi muista puhelimista siinä, kauanko ilmoitetut milliampeeritunnit riittävät eikä ero selity suorituskyvyssä, on syytä epäillä huijausta.

En tiedä sit olisko se noin yksinkertaista.

 

[Agent_007]

Tää ei ollu mikään uusinen itselle. Mutta eikös nuo Benchmarkit voisi ajaa jonkin akunrasitustestin yhteydessä? Elikkä, jos ilmoitettu akkukesto poikkeaa merkittävästi muista puhelimista siinä, kauanko ilmoitetut milliampeeritunnit riittävät eikä ero selity suorituskyvyssä, on syytä epäillä huijausta.

En tiedä sit olisko se noin yksinkertaista.

Helpompaa on ajaa noita testejä monta kertaa putkeen. Kun puhelin kuumenee tarpeeksi niin suorituskyky kyllä laskee sille "oikein" toimivalle tasolle.

 

[Juha Kokkonen]

Helpompaa on ajaa noita testejä monta kertaa putkeen. Kun puhelin kuumenee tarpeeksi niin suorituskyky kyllä laskee sille "oikein" toimivalle tasolle.

Ei välttämättä laske näissä huijaustapauksissa, jos kaikki/suuri osa piirin suojatoiminnoista on kytketty pois päältä. Esim. aiemmin Huawein huijauksissa puhelin kaatui/ylikuumeni.

 

[Frezeh]

Eli onkos tämä vähän sama asia kuin PC puolella, kun yritetään rikkoa ennätyksiä ja katsoa mihin kyseisestä kivestä on, ajellaan nupit kaakossa LN:n kanssa, mutta tosielämässä mennään vedellä.

Ennemminkin sitä että esim jäähyn suorituskykytestit saatetaan ajaa tuulettimet maksiminopeudella tai muistit yms yli virallisten tuettujen rajojen(mm. prossutesteissä muistit korkeilla kelloilla ja muistiajoituksilla).
Kuitenkin tulee tästä mieleen se kuinka esim prossurevikoiden ylikellotustestit ajetaan monessa paikkaa sellaisilla jännitteillä jotka eivät ole arkikäyttöön soveltuvia ja voi aiheuttaa ennenaikaista kulumista.

 

[akse]

Noita benchejä ei juuri monesta syystä tule tulkita kuin jotain absoluuttista totuutta. Noita tulee aina silloin tällöin ilmi, sport modet päälle kun benchisoftaa ajetaan, olikos joku sampan malli vuodelta 2013 (en nyt yhtään muista mikä luuri se oli) niin kellotti itsensä benchin aikana niin korkealle, että jos sitä olisi käyttänyt yhtään pidempään koko luuri olisi polttanut reijän housuun. Noi on sellasia nopeuksia mitä normaaleissa tilanteissa käyttäjä ei saa.

...Benchmark softassa eikä oikeassa tilanteessa tai edes pelikäytössä.

Huvittavaa.

Jep nää benchit on ollut puhelimissa kyllä itelle aivan turha osuus.

Enemmän kertoo video puhelimen toimivuuden sulavuudesta jne. Tai arvostelijan tuntuma.

Toki joku 1 testi voi olla, jotta näkee miten vertautuu edellisen sukupolven laitteisiin.

Ei välttämättä laske näissä huijaustapauksissa, jos kaikki/suuri osa piirin suojatoiminnoista on kytketty pois päältä. Esim. aiemmin Huawein huijauksissa puhelin kaatui/ylikuumeni.

No sittenhän puhelimen tulokset voi hylätä testistä. "muuten nopea mutta ylikuumenee ja kaatuu"

 

[Insinööri]

Kuten eräs Huawein pomo totesi taannoin rehellisesti:

"Joudumme huijaamaan suorituskykytesteissä, koska kaikki muutkin kiinalaisvalmistajat huijaavat"

Jokainen kiinalaisvalmistaja on tainnut kärähtää, kukin vuorollaan. Myös Samsung jäi taanoin kiinni vastaavasta puliveivauksesta, mutta siitä on jo aikaa.


Jos testaajat luottavat sokeasti johonkin yksittäiseen synteettiseen testiin, niin valmistajat huijaavat saadakseen siitä paremman arvosanan. Esimerkiksi raskasta peliä tai 4k-videon renderöintiä simuloiva puolen tunnin rasitustestisti on parempi mittari, sillä siinä on hankalampi huijata. Voi olla, että laite kestää huijjausohjelmiston sallimaa ylikuumenemista 5 minuutin ajan, mutta puoli tuntia tuottaa todennäköisesti ongelmia, erityisesti akulle. (Laitteen ei tule olla kytkettynä verkkovirtaan, kun testiä suoritetaan)

Testaajien tulisi myös kiinnittää enemmän huomiota lämmönhallintaan, mihin esimerkiksi lämpökamera on sangen kätevä työkalu. Lämmönhallinta ja suorituskyky kulkevat aina käsi kädessä. Ylikuumenemisen vaikutuksen voi havaita mobiilipelejä pelattessa, peli alkaa tökkimään vasta puolen tunnin pelaamisen jälkeen, tai sitten näyttö menee himmeäksi. Hyvä laite pyörittää raskaimpiakin pelejä tökkimättä tuntien ajan, ilman näytön himmenemistä.

 

[Juha Kokkonen]

No sittenhän puhelimen tulokset voi hylätä testistä. "muuten nopea mutta ylikuumenee ja kaatuu"

Niinhän se käytännössä hylättiinkin.

Esimerkiksi raskasta peliä tai 4k-videon renderöintiä simuloiva puolen tunnin rasitustestisti on parempi mittari, sillä siinä on hankalampi huijata. Voi olla, että laite kestää huijjausohjelmiston sallimaa ylikuumenemista 5 minuutin ajan, mutta puoli tuntia tuottaa todennäköisesti ongelmia, erityisesti akulle. (Laitteen ei tule olla kytkettynä verkkovirtaan, kun testiä suoritetaan)

Testaajien tulisi myös kiinnittää enemmän huomiota lämmönhallintaan, mihin esimerkiksi lämpökamera on sangen kätevä työkalu. Lämmönhallinta ja suorituskyky kulkevat aina käsi kädessä. Ylikuumenemisen vaikutuksen voi havaita mobiilipelejä pelattessa, peli alkaa tökkimään vasta puolen tunnin pelaamisen jälkeen, tai sitten näyttö menee himmeäksi. Hyvä laite pyörittää raskaimpiakin pelejä tökkimättä tuntien ajan, ilman näytön himmenemistä.

Nämä asiat ainakin meidän testeissä huomioidaan. Lämpökameraa tosin ei ole käytössä, mutta en näe sitä omien testikokemuksieni perusteella välttämättömäksi.

 

[eternality]

Nämä asiat ainakin meidän testeissä huomioidaan. Lämpökameraa tosin ei ole käytössä, mutta en näe sitä omien testikokemuksieni perusteella välttämättömäksi.

Tähän liittyen, onko teillä mitään suunnitelmia näiden huijausten ohittamiseen esim. muuttamalla tuota benchmarkin applicationId:tä? (Pikaisella googlauksella tuon pitäisi kai onnistua ihan APK:ta muokkaamalla?)

 

[Juha Kokkonen]

Tähän liittyen, onko teillä mitään suunnitelmia näiden huijausten ohittamiseen esim. muuttamalla tuota benchmarkin applicationId:tä? (Pikaisella googlauksella tuon pitäisi kai onnistua ihan APK:ta muokkaamalla?)

Ei ole toistaiseksi ainakaan suunnitelmissa. Aika vähän on noita Mediatekin piireillä olevia puhelimia ollut testissä. Pitää tutkia seuraavan sellaista käyttävän puhelimen kohdalla onko järkevällä vaivalla mahdollista toteuttaa.

 

[eternality]

Ei ole toistaiseksi ainakaan suunnitelmissa. Aika vähän on noita Mediatekin piireillä olevia puhelimia ollut testissä. Pitää tutkia seuraavan sellaista käyttävän puhelimen kohdalla onko järkevällä vaivalla mahdollista toteuttaa.

Qualcomm ja Samsunghan ovat myös joskus kärähtäneet ihan samasta touhusta. Voi olla että nykyään niillä on käytössä jo jotain hienompia metodeja kuin simppeli ID matchi, mutta mielstäni olisi tosiaan hyvä yrittää tehdä benchmark huijaamisesta mahdollisimman vaikeaa valmistajille, jos se vaan kohtuullisella vaivalla on mahdollista.

 

[Melbac]

Siis eikös ne piirit pystyy siihen nopeuteen mitä noi testiohjelmat näyttää mutta normaalisti ne ei pyöri samalla teholla ja akku loppuisi nopsaan?.

 

[FlyingAntero]

Siis eikös ne piirit pystyy siihen nopeuteen mitä noi testiohjelmat näyttää mutta normaalisti ne ei pyöri samalla teholla ja akku loppuisi nopsaan?.

Tavallaan mutta käytännön tasolla puhelin ei kykene toimimaan esimerkiksi pelissä samanlaisella suorituskyvyllä. Jos puhelin ilmoittaisi erikseen korkeamman suorituskyvyn tilasta niin ongelmaa ei olisi. Nyt MediaTek yrittää piilottaa Sport Moden ja antaa ymmärtää, että puhelin toimisi koko ajan samalla tavalla.

 

[Hannibal]

Ne saattaa pystyä tuohon lyhyen testiohjelman aikana, mutta jos oikeasti pelaat niin saattaa puhelimesi kärähtää tai vähintäänkin kaatua. Eli riippuu vähän siitä mitä ajattelee. Onko tärkeintä maksimaalinen teho vaikka osat kärsisivät ja puhelin kaatuisikin, vai sellainen jolla puhelinta voisi oikeasti käyttää vaikkapa edes puolisenkin tuntia.
Tuossa on suojat pois käytöstä, eli eli jotain saattaa oikeasti hajota, jos yrittää pidemmän aikaa noilla säädöillä ajella.
Mutta tottahan se on, että pc koneitakin ajetaan LN jäähdytyksellä muutamia minuutteja paljon yli normaalin. Mutta onko niistäkään testeistä hyötyä kuluttajalle?
Se mitä haluaisi on nähdä, mitä puhelin oikeasti tekee 24/7 normikäytössä. Ei se, mihin puhelin kykenee 1min ajan toimien ehkä, kaatuen ehkä...