Benchmark truccati: ci risiamo, stavolta tocca a OnePlus e Meizu

Dopo che Samsung e HTC erano state sorprese a barare per ottenere risultati migliori nei benchmark, era difficile pensare che qualcuno potesse riprovarci. Eppure sembra che OnePlusMeizu abbiano provato a farlo ma sono state colte con le mani nella marmellate da Mario Serrafero, caporedattore di XDA.

Cercando di comprendere come Qualcomm riuscisse ad aumentare la frequenza di clock al momento dell’apertura delle applicazioni, Serrafero ha notato che alcune applicazioni su OnePlus 3T non tornavano alla normale frequenza operativa.

Insieme a Geekbench, XDA ha svolto alcuni approfondimenti scoprendo che in effetti OnePlus ha in qualche modo truccato i benchmark. In presenza di determinate applicazioni, come AnTuTu o Geekbench, OnePlus 3T passava ad un governor della CPU molto più aggressivo garantendosi così dei punteggi migliori.

Nel grafico sottostante vediamo i benchmark truccati da OnePlus messi a confronto con quelli ottenuti con una versione modificata dell’applicazione che nasconde la propria vera identità. I risultati mostrati sono relativi ai test multi core, ma anche quelli in single core mostrano le medesime anomalie.

Lo stesso comportamento è stato accertato anche per Meizu, che avrebbe truccato i benchmark di Meizu Pro 6 in modo molto simile. OnePlus ha affermato che la procedura è stata implementata in OxygenOS per migliorare le prestazioni dei giochi su OnePlus 3T e che le applicazioni di benchmark saranno rimosse dall’ottimizzazione.

Peccato che OnePlus e Meizu avrebbero potuto pensarci prima e non ricorrere a incrementi artificiali delle loro performance per attirare qualche nuovo utente che pensa di potersi fidare ciecamente dei risultati di un benchmark. Si tratta indubbiamente di parametri importanti per determinare la bontà di uno smartphone ma non possono essere presi come metro unico di giudizio, soprattutto alla luce delle nuove macchinazioni ordite dai produttori.

Se non lo avete ancora fatto vi invitiamo a guardare la recensione di OnePlus 3T, che rimane comunque un ottimo smartphone al di là dei trucchi sui benchmark.

Fonte

Commenti

Ti invitiamo ad usare toni consoni e di rimanere in tema all'argomento trattato, in caso contrario, il sistema automatico potrebbe oscurare il tuo messaggio e potrebbero trascorrere fino a 48h per la verifica ed un'eventuale autorizzazione.
TuttoAndroid si riserva comunque il diritto di allontanare le persone non adatte a tenere un comportamento corretto e rispettoso verso gli altri.

  • Marco Meletti

    E negli speedtest? Anche quelli sono trucchi?
    Il benchmark deve riflettere le reali prestazioni del telefono, e lo fa! Se apri un gioco 3D è normale che le prestazioni richieste al telefono siano maggiori.

  • danitkd93

    Questo non è truccare. Anzi è proprio l’esatto opposto!
    Oneplus ha affermato che per i giochi (che sono app particolari in cui un decimo di secondo di reattivita in più o in meno fa tantissima differenza specialmente nell’online mode) il governor cambia in automatico (passando ad esempio da ondemand a interactive) e probabilmente diventa più sensibile ai carichi richiesti quindi più reattivo del solito.
    I benchmark misurano le prestazioni max di un dispositivo ergo se quel dispositivo quando ne ha più bisogno può aumentare le sue prestazioni perché nei benchmark ciò non dovrebbe esse considerato??
    Faccio un esempio: Faccio dei test e riscontro che per dispositivi con punteggi sotto il valore “3” di un determinato benchmark il gioco X ha dei lag. Faccio banchmark su oneplus 3t senza questa ottimizzazione, risultato benchmark “2”, con questa ottimizzazione, risultato banchmark “4”, gioco a gioco X su oneplus 3t e non ci sono lag. Quale dei due risultati è stato più veritiero???

    • Marco Meletti

      Sante parole, alla fine non è come con HTC che metteva un profilo diverso solo per i benchmark.
      Con applicazioni 3D le performance che ottieni (benchmark o meno) sono sempre le stesse.

  • Tiwi

    premesso che per me il benchmark conta poco e nulla..è assurdo vedere come si ricorra a certi trucchetti per accaparrarsi qualche cliente in più..

    • Manuelicata

      Purtroppo sono molti che guardano i benchmark…

  • Walter

    I benchmark sono fallaci a prescindere, però è chiaro che certi tweak che ne influenzino il comportamento equivalgono a barare. Perché si altera la condizione di misurazione, un po come le centraline delle auto con le emissioni nocive… il senso è quello.

    • Marco Meletti

      Se tu apri un applicazione 3d su oneplus 3, che prestazioni ottieni?
      Hai lo stesso governor dei benchmark, semplicemente perché così l’esperienza utente mentre gioca è migliore.

      Se dei benchmark non vi fidate allora guardate gli speedtest :)

  • Pocce90

    Scusate eh, non è che hanno truccato, se il telefono quando gira il benchmark riesce a ranggiungere certi punteggi, vuol dire che il telefono può raggiungere certi punteggi…se certi punteggi li raggiunge solo con le app che ne hanno bisogno be se non è ottimizzazione questa che altro volete? volete un telefono a 1000 anche per navigare su chrome? poi non vi lamentate se la batteria vi dura un battito di ciglia

    • Il punto è che l’hardware viene spinto al massimo soltanto durante i benchmark per cui non vuol dire nulla nell’uso quotidiano… a meno che uno non passi la giornata a far girare benchmark.

      O almeno MI AUGURO che stiano così le cose, altrimenti si creerebbero problemi di batteria e surriscaldamento anche quando non necessario.

      Per essere coerente con quel che fa durante i benchmark il software dovrebbe cambiare governor per TUTTE le app che richiedono un certo livello di prestazioni HW. Cosa molto improbabile, anche perché questo sarebbe il lavoro che fa il governor utilizzato di solito, e cioè uno di tipo on-demand o un suo derivato.

      • Marco Meletti

        Guarda che non è solo per i benchmark, hai letto l’articolo?
        Viene usato un profilo particolare per le applicazioni 3D, i benchmark sono applicazioni 3D.
        Se tu giochi con un op3 hai necessità di prestazioni massime e di nessun throttling

      • Il punto è che per l’uso nomale NON deve essere spinto al massimo, perchè sarebbe uno spreco di risorse, energia e si scalderebbe inutilmente.
        Il processore deve aumentare frequenza QUANDO serve, non stare sempre al massimo.
        Durante i giochi che sono molto CPU/GPU intensive ovviamente l’hardware viene spinto al massimo com’è giusto che sia.

  • Kalos92

    Ma alla fine che c’è di truccato? Qui non si sta parlando di cifre modificate, il telefono può fare X ma cambio le cifre per far sembrare che possa arrivare a Y, il telefono con un governor più aggressivo può effettivamente fare Y, con lo stesso governor che viene utilizzato per applicazioni pesanti quali giochi. Antutu e compagnia bella fanno benchmark anche sulla base di rendering 3D, che ve ne fate di grafica 3D su facebook? Nulla, utilizzate quella potenza di calcolo principalmente sui giochi, i quali utilizzano le stesse impostazioni dei test. Non è lo scopo di un benchmark quello di dare una stima quantitativa della potenza di calcolo del telefono? Boh, io non ci niente di truccato, solo (giustamente) quando vado a fare un benchmark mi viene data tutta la potenza disponibile per valutarla…

    • Andrea Visconti

      Sono d’accordo.

    • andyroid

      Io non lo considero nemmeno questi bench…

    • tntband

      Se io voglio vedere chi è il corridore più veloce in una gara metto tutti i contendenti nelle stesse condizioni, non è che ne lego qualcuno e lascio gli altri liberi di correre come gli pare…
      Allo stesso modo, se modifico il software, non è che non ottengo una misurazione veritiera solo che non posso confrontarla con quella di altri dispositivi per capire se il mio hardware è più o meno performante di altro. Hanno barato in questo senso: mettendo a confronto risultati ottenuti con software adattati al proprio hardware mentre gli altri no. Avrebbero dovuto dirlo per fare un confronto alla pari. Tutto qui.

      • Kalos92

        Calma, da quando l’ottimizzazione è un male? Hanno adattato il PROPRIO software per fare in modo che programmi di benchmark potessero “leggere” a pieno la potenza di calcolo del dispositivo, potenza di calcolo che effettivamente esiste e che altri programmi possono sfruttare, non hanno pagato Antutu ecc.. per falsare i risultati. Per riprendere il tuo esempio, io in una gara di corsa pretendo degli standard che tutti i corridori devono mantenere, ma se poi qualcuno decide di correre con i mocassini e altri con le scarpe da ginnastica non è colpa mia, è colpa delle scelte fatte dai singoli corridori. In questo specifico caso il software (es. Antutu) è sempre lo stesso, in alcuni casi gli sviluppatori hanno fatto in modo che possa leggere completamente le caratteristiche del telefono, in altri casi no. Questo è sicuramente il motivo per il quale basarsi solo sui benchmark è stupido, ma non ci vedo nulla di “truccato”, anzi, vedo solo una scelta di marketing azzeccata, molto azzeccata. Questo non significa necessariamente che siano migliori, ma si vede che una fetta importante del mercato guardi anche a questi dati.

        • tntband

          Il software è stato modificato per reagire “solo” a certe applicazioni, mi pare palese il cercare di primeggiare a tutti i costi…

          • Kalos92

            Si, è esattamente la definizione di “ottimizzazione”, come diceva sopra @pocce90:disqus sarebbe inutile avere il telefono al pieno delle prestazione per l’uso di tutti i giorni, solo dannoso in termini di surriscaldamento e batteria, mentre è utile per applicazioni particolarmente esose. Mi pare palese il cercare di ottimizzare il dispositivo per avere la massima resa dove serve a me. Tra l’altro, visto che stiamo parlando di OnePlus, è molto probabile che si possa comunque cambiare governor a scelta quando più serve, manualmente quindi, ma non vedo cosa ci sia di male se di default c’è una scelta dinamica a seconda del carico.

          • tntband

            Ottimizzare i governor per reagire ai software di benchmark fa perdere il senso di avere una misurazione “a condizioni normali” dell’hardware, che è poi in genere la funzione dei benchmark. Ricordo che qualche anno fa raffreddavano i processori per overcloccarli e ottenere prestazioni ancora oggi non avvicinate nella quotidianità… bello, ma poi io che compro al negozio? Come sono aiutato nella scelta? Nel bene e nel male i benchmark sono un riferimento nella scelta di molte persone, “ottimizzare” per prevalere comunque puzza di mezzuccio commerciale. Se proprio vogliamo dirla tutta non ci sarebbe stato niente di male se l’avessero palesato e consentito agli altri di fare test “ottimizzando” a loro volta…. così è truffaldino senza se e senza ma.

          • Kalos92

            Scusami ma se tu sei una casa automobilistica e realizzi un motore che a parità di benzina fa il doppio dei chilometri e la metà del particolato vai da Aranzulla a fargli fare il tutorial? OVVIO che è un mezzuccio commerciale, ma non lo si può chiamare una truffa. Una truffa è truccare i risultati del particolato per esempio, vedi WW, e dare dati falsati. Qui i dati NON sono falsati, sono gli altri che non hanno capito/non hanno saputo come ottimizzarli. Di fatto il discorso governor non è fatto su misura solo per i benchmark, quindi se sei così stupido (non tu è, in generale) da basarti solo su quelli quando acquisti uno smartphone prendi quello che sta più alto in classifica comunque, anche se quei dati sono EFFETTIVAMENTE stati falsati con l’azoto liquido o qualche altra minchiata. Però in questo specifico caso non mi senti di dargli della truffa, do degli incompetenti a quegli sviluppatori delle altre aziende produttrici che non ci hanno pensato.

          • tntband

            Avrebbero dovuto dirlo, ne avrebbero guadagnato in immagine. Per me sta qui il punto nero, il resto può essere o meno condivisibile.

            OT: Qualità dello schermo, durata della batteria e se rimuovibile (o facilmente sostituibile a prezzi umani), memoria espandibile o meno, qualità della fotocamera, qualità dell’assistenza, supporto su XDA … queste sono alcune delle cose che guardo quando acquisto tablet o smartphone … i benchmark li lascio a quelli che guardano i megapixel delle fotocamera ;)

          • Kalos92

            Sono d’accordo, soprattutto sul supporto su XDA. Ho fatto l’enorme sbaglio di prendere un dispositivo con processore MKT e la promessa del realese imminente del suo source code, e ancora sto fermo a Lollipop. Alla prossima solo snapdragon XD. Per la batteria ho concluso che è decisamente meglio una batteria integrata, semplicemente perché così facendo rientra nei 2 anni di garanzia dell’intero dispositivo e non soli 6 mesi perché considerata un accessorio. Per l’assistenza invece, mi è indifferente. Compro solo “venduto e spedito da amazon”, ci pensano loro poi a rimborsarmi :D

          • tntband

            Ti dirò, ho preso un paio di cinesoni con luci e ombre… un mi5s della xiaomi (ottimo in tutti i comparti tranne forse che nella fotocamera non all’altezza di s7 g5 o iphone 7) e un p9000 di cui mi sono pentito… avevano promesso rom e modifiche… hanno bloccato anche il root… mai più mediatek. PEr il resto Stockisti e/o Amazon… :)

          • Enrico Bastelli

            Calma però. Se ho capito bene, OnePlus, se percepisce un gioco e/o un programma di benchmark, cambia il governor della cpu in maniera più aggressiva. Quindi quel punteggio è veritiero e non è una truffa in alcun modo, semplicemente è il punteggio che ottieni, spremendo al 100% il telefono.
            Facile che lo facciano anche altri, anche Apple ma, non ci vedo nulla di male.
            Bolt, per dire, quando corre i 100 metri, corre al 100%, quando è a fare la spesa, probabilmente non corre a manetta, per questo mentre fa i 100 metri bara?
            Se invece (come ha fatto VW), OnePlus ha fatto un governor estremo, che non usa mai (perché consuma troppo, scalda troppo, cose del genere), solo per i programmi di benchmark, allora sarebbe barare. Ovvero, quando c’è un benchmark overclocco il terminale…allora no ma, non mi pare che sia questo il caso.

  • Static

    Davvero c’è gente che ancora si fida ciecamente dei benchmark? Comunque scemotte le società, hanno voluto fare le furbette e ora ne hanno le conseguenze

  • Rommel

    sarebbe interessante vedere anche come variano i consumi della batteria tra “regular” e “secret”…

  • piezio77

    Poveracci….Ecco perché risultava sempre il migliore….Mi pareva strano…Ma per favore !

    • Qui nessuno mette in discussione la qualità del prodotto, si parla di altro. Il discorso si basa su un mezzuccio che l’azienda utilizza per pompare i numeri dei benchmark per posizionare i suoi prodotti sopra quelli di altre aziende così da prendere per i fondelli gli utenti meno informati e provare a vendere qualche unità in più. Ed è senza ombra di dubbio un comportamento scorretto, nonostante l’Azienda cerchi di giustificarsi. Basta con questi commenti da fanboy per difendere per forza il proprio bellissimo e fighissimo smartphone. E’ un comportamento da condannare, qualsiasi sia l’azienda a tenerlo; proprio come fu anni fa per Samsung e HTC.

    • tntband

      Il prodotto è valido e pure assai, non serviva ricorrere a questi mezzucci….

  • Andrea__93

    Ma alla fine, cambiare Governor e alzare le frequenze CPU/Gpu prima di avviare un benchmark non è una pratica diffusa tra chi ci smanetta con lo smartphone?

    • Irven zanolla

      In questo modo però ottieni dati falsati, che servono solo a farti bello con gli amici.

      • Andrea Gino Servi

        Comunque sia, i benchmark, servono solo a farsi bello con gli amici

Top