Gemini potrà usare lo smartphone al posto nostro per ordini, prenotazioni e automazioni su Android

È ormai evidente da tempo che Google stia lavorando per trasformare Gemini in qualcosa di più di un semplice assistente conversazionale, avvicinandolo sempre più a un vero e proprio agente capace di agire direttamente sullo smartphone. In tal senso, nuove stringhe individuate nell’app Google 17.4 Beta iniziano a delineare in modo piuttosto chiaro come funzionerà la cosiddetta screen automation, una funzionalità che permetterà a Gemini di completare attività pratiche all’interno delle app Android, come effettuare ordini o prenotare un passaggio.

Segui TuttoAndroid su Google Discover

Offerta

roborock Qrevo Curv 2 Flow

Offerta + clicca su applica coupon di 50 euro + coupon: TTANDROID5

519€ invece di 899€

-42%

Amazon

Come funziona la screen automation di Google Gemini

La nuova capacità, al momento indicata come funzione sperimentale di Google Labs e internamente identificata con il nome in codice bonobo, viene presentata attraverso la dicitura: Get tasks done with Gemini.

L’idea di fondo è semplice sulla carta, Gemini potrà interagire direttamente con alcune app installate sul dispositivo, simulando le azioni dell’utente sullo schermo (tocchi, passaggi, navigazione tra schermate), così da portare a termine compiti concreti come, ad esempio, piazzare un ordine o prenotare uno spostamento in auto.

Google parla esplicitamente di screen automation, una tecnologia per la quale Android 16 QPR3 avrebbe già posto le basi a livello di sistema, anche se, come spesso accade in questi casi, la disponibilità iniziale sarà limitata a un numero ristretto di applicazioni compatibili.

Un aspetto su cui Google insiste particolarmente riguarda la responsabilità dell’utente, nei messaggi introduttivi della funzione l’azienda avverte chiaramente che:

• Gemin può commettere errori
• l’utente resta responsabile di ciò che l’assistente fa per suo conto
• è sempre possibile interrompere l’azione dell’agente e riprendere il controllo manuale

Un’impostazione che, almeno in questa fase iniziale, sembra voler evitare qualsiasi automatismo cieco, puntando invece su un utilizzo supervisionato e consapevole, soprattutto considerando il tipo di operazioni coinvolte.

Non meno importante è il capitolo privacy, sul quale Google adotta un approccio piuttosto prudente (e, per certi versi, anche restrittivo); quando Gemini interagisce con un’app tramite screen automation:

• vengono analizzati screenshot, che possono essere revisionati da personale umano per migliorare i servizi Google, se l’opzione Keep Activity è attiva
• Google consiglia esplicitamente di non inserire dati di login o di pagamento nelle chat con Gemini
• viene sconsigliato l’uso della screen automation per emergenze o attività che coinvolgono informazioni sensibili

Indicazioni che confermano come la funzione sia ancora in una fase delicata e non pensata, almeno per ora, per gestire scenari critici o altamente personali.

All’interno della stessa Beta emergono inoltre riferimenti a un’altra integrazione, questa volta con nome in codice wasabi, legata alla funzione Likeness. Il termine non è nuovo, è infatti lo stesso utilizzato in Android XR per indicare gli avatar 3D attualmente impiegati nelle chiamate su Google Meet.

Alcune inoltre, stringhe suggeriscono la possibilità di richiamare la propria likeness tramite prompt. Non è ancora chiaro come questa funzione verrà effettivamente integrata nel’esperienza di Gemini su Android, né se si tratterà di un semplice elemento estetico o di qualcosa di più profondo, magari legato all’interazione in ambienti XR.

Come spesso accade con le funzionalità individuate nelle versioni Beta, non ci sono tempistiche ufficiali per il rilascio della screen automation di Gemini, né certezze su come apparirà nella versione finale; è però evidente che Google stia spingendo con decisione verso un futuro in cui l’assistente non si limiterà a rispondere, ma agirà direttamente al posto nostro, trasformando Android in una piattaforma sempre più orientata agli agenti intelligenti.

Gemini è dunque destinato a diventare molto più operativo di quanto lo sia oggi, resta solo da vedere quanto controllo Google lascerà effettivamente all’utente e quali app saranno coinvolte nella fase iniziale.