Gemini diventa molto più bravo ad analizzare i video e ora consuma anche meno token

Google ha deciso di rendere Gemini molto più efficace nell’analisi dei contenuti video, introducendo una nuova modalità di elaborazione che promette di migliorare contemporaneamente precisione, velocità ed efficienza. Si chiama comprensione video agentica e permette ai modelli Gemini più recenti di analizzare filmati anche molto lunghi senza dover elaborare ogni singolo fotogramma allo stesso modo.

La novità è stata annunciata da Google per Gemini 3.7 Flash,Gemini 3.6 Flash e Gemini 3.5 Flash-Lite e punta soprattutto a risolvere uno dei principali problemi dell’analisi video tramite intelligenza artificiale: l’enorme quantità di informazioni che un modello deve normalmente processare quando deve comprendere un filmato.

Secondo i dati condivisi da Google, la nuova tecnologia può ridurre il consumo di token fino all’88% e i costi di analisi fino al 66%, aumentando allo stesso tempo la precisione fino al 7%.

Segui TuttoAndroid su Google Discover

Gemini ora decide autonomamente cosa guardare

Fino a oggi, l’analisi video di Gemini si basava principalmente su un approccio definito da Google “statico”, il modello riceveva il filmato a una determinata frequenza di fotogrammi, impostata di default a 1 FPS e modificabile tramite API, e doveva quindi utilizzare quei dati per comprendere ciò che accadeva nel video.

Questo sistema può funzionare bene per contenuti relativamente semplici, ma diventa poco efficiente quando bisogna analizzare filmati lunghi oppure individuare eventi che avvengono in pochi istanti. Aumentare il numero di fotogrammi significa infatti fornire al modello una quantità maggiore di informazioni, con un conseguente aumento del consumo di token e dei costi.

La comprensione video agentica cambia completamente approccio, Gemini può infatti stabilire autonomamente quali parti del video analizzare, a quale velocità e attraverso quale tipo di informazione, scegliendo tra fotogrammi, audio e trascrizione; in questo modo non deve necessariamente esaminare l’intero filmato alla stessa maniera, ma può concentrarsi sui segmenti che contengono gli elementi utili per rispondere alla richiesta.

Il vantaggio diventa particolarmente evidente con i video di lunga durata, che possono andare dai tutorial di una decina di minuti fino alle lezioni di un’ora e mezza o alle registrazioni che durano diverse ore. In questi casi, il metodo tradizionale rischia di diventare particolarmente dispendioso, mentre l’approccio agentico permette a Gemini di recuperare soltanto le informazioni necessarie.

Non si limita a riassumere un video

La nuova tecnologia non serve semplicemente a chiedere a Gemini “di cosa parla questo video”, le capacità messe a disposizione da Google sono infatti decisamente più sofisticate.

Gemini può individuare con maggiore precisione momenti che durano anche una frazione di secondo, identificando per esempio cambiamenti rapidi o punti di taglio che potrebbero sfuggire a un’analisi effettuata a 1 FPS. Questo potrebbe essere particolarmente utile per attività di montaggio video automatizzato.

Il modello può inoltre rispondere a domande complesse basate sul contenuto di video della durata di diverse ore, effettuare controlli alla ricerca di anomalie visive e aumentare temporaneamente la frequenza di analisi quando rileva una situazione che richiede maggiore precisione.

Un altro utilizzo interessante riguarda il conteggio e il tracciamento di azioni e oggetti, Gemini può seguire nel tempo movimenti fisici ripetuti e distinguere oggetti presenti all’interno del filmato, aumentando la frequenza dei fotogrammi quando è necessario osservare con maggiore attenzione un’azione rapida.

Il risultato, almeno secondo i benchmark condivisi da Google, è un compromesso particolarmente interessante tra qualità e costi. Tra i modelli supportati, Gemini 3.7 Flash offre secondo l’azienda la combinazione migliore tra accuratezza ed efficienza, posizionandosi al vertice della cosiddetta frontiera di Pareto per il rapporto tra precisione e costo dell’analisi video.

Per ora è una funzione soprattutto per sviluppatori

La comprensione video agentica è disponibile a partire da oggi attraverso l’API Gemini, utilizzabile in Google AI Studio e sulla Gemini Enterprise Agent Platform. Non è previsto un costo aggiuntivo specifico per la nuova funzione, che utilizza il normale sistema di tariffazione basato sui token delle API Gemini.

La funzione deve essere attivata impostando l’elaborazione su “agentic” nella configurazione dell’API, questo significa che, almeno nella sua prima fase, la novità è indirizzata soprattutto agli sviluppatori che vogliono integrare l’analisi video avanzata nelle proprie applicazioni e nei propri strumenti.

Google ha però già confermato che non resterà confinata agli sviluppatori, la comprensione video agentica arriverà presto anche nell’app Gemini, sia sui modelli Flash sia sui Flash Lite, portando quindi queste capacità direttamente agli utenti comuni.

La società intende inoltre utilizzare questa tecnologia per migliorare “Chiedi a YouTube“, permettendo a Gemini di fornire risposte più precise sul contenuto dei video grazie a una comprensione più approfondita delle immagini presenti nei filmati.

Si tratta quindi di un aggiornamento che potrebbe avere conseguenze interessanti non soltanto per chi sviluppa applicazioni basate sull’intelligenza artificiale, ma anche per il normale utilizzo quotidiano di Gemini. La possibilità di analizzare in maniera intelligente un video di diverse ore, concentrandosi soltanto sui momenti realmente importanti, potrebbe infatti rendere molto più pratiche attività che oggi richiedono parecchio tempo e una quantità elevata di risorse.

Google, almeno sulla carta, sta quindi cercando di trasformare Gemini da semplice strumento capace di guardare un video a un sistema in grado di decidere autonomamente come guardarlo, scegliendo di volta in volta quali informazioni recuperare e con quale livello di dettaglio.