OpenAI sta sperimentando un approccio inedito per consentire a ChatGPT di vedere lo schermo del tuo smartphone Android. L’obiettivo è lo stesso di sempre, ovvero permettere all’assistente di analizzare in tempo reale ciò che stai facendo sullo smartphone, ma con un metodo nuovo e potenziali vantaggi in termini di prestazioni e fluidità d’uso.
Segui TuttoAndroid su Google Discover
roborock Qrevo Curv 2 Flow
Offerta + clicca su applica coupon di 50 euro + coupon: TTANDROID5
Come funziona oggi
Attualmente ChatGPT su Android si affida alle API MediaProjection per accedere ai contenuti dello schermo, lo stesso sistema utilizzato dalle applicazioni di screen recording o da chi proietta il proprio schermo su un display esterno.
Il problema è che questo metodo porta con sé una serie di scomodità: finestre di permesso che si sovrappongono, pop-up di avviso che interrompono il flusso di lavoro, e soprattutto un consumo elevato di risorse di sistema, dato che la registrazione avviene in modo continuo.
In altre parole, ci troviamo davanti a un’esperienza davvero macchinosa, che può rallentare sensibilmente il dispositivo.
Segui l'Intelligenza Artificiale su Telegram, ricevi news e offerte per primo
Accessibilità e Bubbles
Nella versione 1.2026.118 dell’app ChatGPT per Android, alcuni ricercatori hanno individuato una funzione in fase di sviluppo che sfrutta due strumenti ben diversi: le impostazioni di Accessibilità di Android e le cosiddette Bubbles, le bolle di notifica multitasking introdotte ufficialmente in Android 17, ma disponibili tramite API già da Android 11.
Con il nuovo approccio, al primo avvio della funzione l’utente viene guidato ad abilitare una voce chiamata ChatGPT screen help nelle impostazioni di Accessibilità del sistema. Vengono poi richiesti i permessi per le notifiche e per le bolle di conversazione, necessari affinché l’app rimanga attiva in background senza essere terminata dal sistema operativo. Ecco alcune schermate della novità al lavoro, tratte da Android Authority:
Come cambia l’esperienza utente
Una volta concessi i permessi, sullo schermo compare una bolla interattiva (del tutto simile a quelle delle chat di messaggistica) che rimane visibile sia nella schermata principale che all’interno di qualsiasi altra applicazione.
Toccando questa bolla, è possibile rivolgere domande specifiche a ChatGPT su ciò che appare in quel momento sullo schermo. L’assistente analizza il contesto visivo attuale in modo indipendente, senza attingere alla cronologia della conversazione in corso.
Il risultato di questo sistema è un vantaggio interessante rispetto al metodo attuale, ovvero il consumo ridotto di risorse. Non trattandosi di una registrazione continua, ma di un accesso mirato ai contenuti visivi, il carico sul processore e sulla memoria risulta sensibilmente inferiore, con conseguente maggiore fluidità generale del dispositivo anche durante l’utilizzo di ChatGPT.
Tuttavia, la scelta di appoggiarsi alle funzioni di Accessibilità non è certo priva di implicazioni. I permessi che vengono qui richiamati sono infatti tra i più approfonditi che un’app possa richiedere su Android, perché permettono di leggere testi, pulsanti e dettagli dell’interfaccia di qualsiasi applicazione aperta. Affidarli a un chatbot basato sull’intelligenza artificiale potrebbe preoccupare gli utenti più attenti alla privacy, che potrebbero chiedersi quali dati vengano effettivamente elaborati e in che modo.
Cosa possiamo aspettarci
Al momento non è chiaro come OpenAI intenda affrontare pubblicamente queste preoccupazioni, né quando la funzione verrà rilasciata ufficialmente. Tuttavia, è certo che la direzione intrapresa dalla società riflette una tendenza sempre più ampia nel settore, e cioè il fatto che i grandi modelli linguistici stanno progressivamente evolvendo da semplici chatbot ad assistenti contestuali, capaci di agire in modo autonomo all’interno dell’ambiente digitale dell’utente.
Vedremo nelle prossime settimane in che modo l’azienda riuscirà a farlo in modo abbastanza trasparente da guadagnarsi la fiducia di chi tiene al controllo dei propri dati.