A circa due mesi dal debutto della famiglia Gemma 4, Google continua a perfezionare la propria offerta di modelli IA open source introducendo una novità particolarmente interessante per sviluppatori, ricercatori e appassionati di intelligenza artificiale eseguita in locale. Nelle scorse ore infatti, il team di Google DeepMind ha annunciato la disponibilità dei nuovi checkpoint Gemma 4 ottimizzati tramite Quantization-Aware Training (QAT), una tecnologia che consente di ridurre drasticamente il consumo di memoria mantenendo pressoché invariata la qualità del modello.

L’obbiettivo è piuttosto chiaro, ossia permettere l’esecuzione di modelli sempre più avanzati anche su hardware consumer, inclusi smartphone, tablet, laptop e dispositivi edge, senza dover necessariamente fare affidamento a server remoti o infrastrutture particolarmente potenti.

Segui TuttoAndroid su Google Discover

Gemma 4 diventa più efficiente grazie al Quantization-Aware Training

Con questo aggiornamento Google punta a migliorare uno degli aspetti più importanti nell’ambito dell’intelligenza artificiale locale: il rapporto tra dimensioni del modello e prestazioni.

La quantizzazione rappresenta ormai una tecnica fondamentale per comprimere i modelli linguistici e renderli utilizzabili su hardware con risorse limitate. Tradizionalmente però, questo processo viene eseguito dopo l’addestramento attraverso la cosiddetta Post-Training Quantization (PTQ), una soluzione efficace ma che può comportare una perdita di qualità nelle risposte generate.

Con il Quantization-Aware Training il processo cambia radicalmente, la quantizzazione viene infatti simulata direttamente durante la fase di addestramento, permettendo al modello di adattarsi in anticipo alle limitazioni introdotte dalla compressione; secondo Google, questo approccio consente di ottenere risultati qualitativi superiori rispetto ai tradizionali metodi PTQ, preservando meglio le capacità di ragionamento e generazione del modello.

I nuovi checkpoint vengono distribuiti sia nel diffuso formato Q4_0, molto utilizzato all’interno della community IA, sia attraverso una nuova modalità di compressione sviluppata specificamente per i dispositivi mobili.

Uno degli aspetti più sorprendenti dell’annuncio riguarda proprio l’ottimizzazione per smartphone e dispositivi edge. Google ha sviluppato un sistema di quantizzazione dedicato all’hardware mobile che permette di ridurre sensibilmente il consumo di memoria, grazie a questa nuova soluzione, la variante Gemma 4 E2B può arrivare a occupare appena 1 GB di memoria, mentre nella configurazione solo testo (senza Per-Layer Embeddings) il requisito scende addirittura sotto questa soglia.

google gemma 4 qat

Per raggiungere questo risultato, DeepMind ha implementato diverse tecniche specifiche:

  • attivazioni statiche pre-calcolate durante l’addestramento
  • quantizzazione canale per canale ottimizzata per gli acceleratori mobili
  • compressione selettiva a 2 bit delle componenti dedicate alla generazione dei token
  • ottimizzazione degli embedding e della cache KV per ridurre il consumo di memoria durante le conversazioni più lunghe

Si tratta di accorgimenti tecnici che, tradotti nella pratica, consentono di eseguire modelli avanzati direttamente sul dispositivo senza sacrificare eccessivamente la qualità delle risposte o la velocità di elaborazione.

Google ha inoltre lavorato per garantire la compatibilità dei nuovi modelli con gran parte degli strumenti già utilizzati dagli sviluppatori.

I pesi sono disponibili in formato GGUF per l’utilizzo con llama.cpp, mentre sono stati rilasciati anche tensori compressi compatibili con vLLM. Non mancano inoltre integrazioni con Ollama, LM Studio, Transformers.js, LiteRT-LM, SGLang, MLX, Hugging Face Transformers e Unsloth.

Particolarmente interessante è anche il supporto ai checkpoint MTP (Multi-Token Prediction), introdotti recentemente per accelerare l’inferenza e mantenuti anche nelle nuove versioni QAT, consentendo quindi di beneficiare contemporaneamente sia della compressione sia dell’aumento delle prestazioni.

L’annuncio conferma una tendenza ormai evidente nel settore, l’intelligenza artificiale locale sta assumendo un ruolo sempre più importante accanto ai tradizionali servizi cloud.

Con questi nuovi modelli Gemma 4 ottimizzati tramite Quantization-Aware Training, Google punta a rendere accessibili capacità avanzate di generazione e ragionamento anche su hardware relativamente economico, riducendo sensibilmente i requisiti di memoria e favorendo l’esecuzione direttamente sul dispositivo.

Una direzione che potrebbe rivelarsi particolarmente interessante nei prossimi mesi, soprattutto considerando il crescente interesse dell’industria verso smartphone e PC capaci di eseguire modelli linguistici complessi senza dover inviare continuamente dati ai server remoti.

Potrebbero interessarti anche: