Nella serata di ieri, Google ha presentato DiffusionGemma, un modello open source sperimentale (rilasciato con licenza Apache 2.0) che “esplora la diffusione del testo” con un approccio super veloce alla generazione di testo.
Il nuovo modello è basato sul modello 26B MoE di Gemma 4, annunciato a inizio aprile, e si spinge oltre rispetto alla semplice elaborazione sequenziale (token per token) dei modelli linguistici di grandi dimensioni “tradizionali”, generando simultaneamente interi blocchi di testo e risultando fino a quattro volte più veloce nella generazione testuale su GPU.
Segui TuttoAndroid su Google Discover
Google ha presentato DiffusionGemma
Come anticipato in apertura, Google ha presentato il nuovo modello open source sperimentale per la “diffusione” del testo DiffusionGemma, un modello che punta a rivoluzionare la generazione del testo aumentandone sensibilmente la velocità e andando oltre rispetto alla tradizionale generazione delle risposte parola per parola (con elaborazione token per token).
Il nostro nuovissimo modello sperimentale aperto offre un’inferenza fino a 4 volte più veloce su GPU dedicate e apre le porte all’esplorazione di flussi di lavoro locali interattivi in cui la velocità è fondamentale.
Il modello è basato sulla iterazione più spinta della famiglia Gemma 4 (che a inizio mese è stata ampliata con il modello 12B (probabilmente quello che sarà integrato nei Googlebook) e coi modelli QAT ottimizzati per smartphone e PC).
DiffusionGemma è progettato per massimizzare la velocità di generazione: mentre i modelli Gemma 4 “autoregressivi” (quelli più tradizionali) rimangono lo standard per risultati di alta qualità, il nuovo modello è realizzato appositamente per ricercatori e sviluppatori che esplorano flussi di lavoro che sono critici per la velocità (modifica in linea, iterazione rapida, generazione di testo con strutture non lineari).
Il modello ad hoc per l’uso in locale
Prima di passare ai potenziali vantaggi per gli sviluppatori, riportiamo una breve spiegazione sulle differenze tra modelli tradizionali e di diffusione per quanto concerne l’efficienza, riassumendo ciò che Google ha spiegato all’interno del blog post dedicato a DiffusionGemma.
La maggior parte dei modelli linguistici “tradizionali” ha finora funzionato come una sorta di macchina da scrivere, generando un “token” per volta da sinistra verso destra. Mentre ciò risulta efficiente con le operazioni in cloud (dato che i server possono raggruppare migliaia di richieste distribuendo il carico hardware), lo stesso non si può verificare con le operazioni eseguite in locale dato che la GPU o la TPU dedicate alle operazioni IA non vengono sfruttate a dovere.
A detta del colosso di Mountain View, DiffusionGemma riesce a invertire la situazione perché, invece di prevedere le parole in sequenza, crea simultaneamente un intero paragrafo da 256 token: le risorse del PC, quindi, vengono sfruttate in maniera decisamente più ampia rispetto a quanto possa fare un singolo token per finestra. Di contro, l’utilizzo in cloud potrebbe portare a svantaggi come rendimenti decrescenti e costi di servizio più elevati.
La diffusione del testo funziona sostanzialmente come la generazione di immagini basata sull’IA: il modello parte da un elemento visivo statico e lo va perfezionando iterativamente, fino a ottenere un’immagine nitida; per questo motivo, Google ha voluto applicare questo principio alla generazione del testo, cercando di aprire le porte alla generazione e rendering del codice quasi in tempo reale e non solo.
In sostanza, DiffusionGemma parte da una “tela” composta da token messi là come segnaposto “casuali”; a questo punto, il modello va avanti con un perfezionamento iterativo che dura più passaggi, bloccando i token corretti e sfruttandoli come “contesto” per perfezionare il resto; arrivato alla fine del percorso, il modello procede con l’ultima revisione (fase di “rifinitura finale”) e tutto il testo generato converge in un output unico.
Segui Google su Telegram, ricevi news e offerte per primo
Quali sono i vantaggi promessi per gli sviluppatori
Tornando all’utilità di DiffusionGemma, come anticipato, il modello è pensato per ricercatori e sviluppatori che esplorano flussi di lavoro che sono critici per la velocità (modifica in linea, iterazione rapida, generazione di testo con strutture non lineari), quelle applicazioni interattive in tempo reale che spesso si scontrano con la latenza dell’inferenza locale, il vero collo di bottiglia. In tal senso, il modello:
- Sposta il collo di bottiglia della decodifica dalla larghezza di banda della memoria al calcolo vero e proprio per generare un otuput di token fino a 4 volte più veloce su GPU dedicate.
- Opera come un modello MoE da 26 miliardi di parametri ma solo 3,8 miliardi vengono attivati durante l’inferenza, adattandosi ai limiti di VRAM (18 GB) delle GPU dedicate di fascia alta per il mercato consumer.
- Utilizzando la generazione di 256 token in parallelo ad ogni passaggio in avanti, fa sì che ciascun token possa “prestare attenzione” a tutti gli altri (che diventano il contesto), offrendo vantaggi significativi negli ambiti non lineari (modifica in linea, stesura del codice, sequenze di aminoacidi, grafici matematici).
- È in grado di perfezionare iterativamente il proprio output e correggere gli errori in tempo reale.
- Privilegia la velocità e la generazione parallela del layout; di conseguenza, la qualità della generazione è inferiore rispetto ai modelli Gemma 4 standard, consigliati nel caso in cui la priorità dello sviluppatore sia la massima qualità.
Google fa poi sapere che è possibile migliorare le prestazioni di DiffusionGemma su compiti specifici tramite il “fine-tuning”. La seguente GIF mostra la differenza tra il modello nella sua versione “base” e il modello ottimizzato per giocare a Sudoku.
Come potrete notare, il modello ottimizzato impiega appena 5 mosse per risolvere il Sudoku; in 30 mosse, invece, il modello base non riesce a risolverlo.
DiffusionGemma può già essere utilizzato dagli sviluppatori
Il nuovo modello DiffusionGemma è già disponibile in forma open source (come anticipato con licenza Apache 2.0) su HuggingFace e maggiori informazioni sono fornite nella guida per sviluppatori e nella guida visiva messe a punto da Google.
Il modello può essere eseguito in modo efficiente usando MLX, vLLM (con integrazione supportata da Red Hat) e Hugging Face Transformers; c’è anche un tutorial di fine-tuning con Hackable Diffusion, con Unsloth e NVIDIA NeMo.
Sul fronte delle performance, Google ha collaborato strettamente con NVIDIA per far sì che l’intero stack hardware sia ottimizzato, garantendo compatibilità con le configurazioni “consumer” (RTX 5090 e 4090) e le massime prestazioni sui sistemi enterprise, inclusi NVIDIA DGX Spark e DGX Station.