Uno dei punti di forza degli smartphone di Google, fin dalla prima generazione di Pixel, è la qualità fotografica. Nonostante un hardware spesso inferiore rispetto alla concorrenza il colosso americano ha saputo estrarre il meglio da ogni singolo pixel a disposizione, avvalendosi della propria esperienza nella fotografia computazionale, settore in cui è decisamente all’avanguardia.

Con la serie Pixel 6, che tra poco dovrebbe arrivare anche in Italia, Google ha fatto un ulteriore passo in avanti grazie a una nuova modalità ritratto dedicata ai selfie che è in grado di riconoscere anche le singole ciocche di capelli, permettendo così di ottenere risultati decisamente superiori rispetto a quanto accadeva in precedenza.

Una nuova serie di modelli

Emulare una lente e un sensore di grandi dimensioni non è sempre facile e serve un modello software di alta qualità per portare a miglioramenti apprezzabili. Per questo Google è tornata al lavoro per creare una nuova serie di modelli, che potessero migliorare il riconoscimento dei dettagli più piccoli, facendosi aiutare dalle prestazioni di Tensor.

Per poter istruire in maniera corretta un modello matematico è necessario creare un set di dati all’altezza della situazione, con scatti da ogni angolazione e con diverse fonti di illuminazione, così da generare una maschera più accurata rispetto a quanto avveniva in passato. È stata così rispolverata la sfera utilizzata con Pixel 5, composta da centinaia di LED, sensori di profondità e fotocamere, così da catturare un’elevata quantità di sample con una maschera perfetta, separando in maniera precisa il soggetto dallo sfondo.

Detto così sembrerebbe tutto (quasi) semplice ma in realtà sono serviti altri passaggi prima di arrivare alla magia della fotografia computazionale. Con gli scatti ottenuti sono stati realizzati diversi set di fotografie, cambiando l’illuminazione per adattarsi alla scena reale grazie anche ai dati sulla profondità di campo, al ray tracing e a una simulazione della distorsione ottica, per ottenere un risultato realistico.

Successivamente sono state scattate migliaia di foto in ambientazioni “reali”, con un modello preciso che si è occupato di estrarre le relative maschere e con un’ispezione visuale per utilizzare solo sample di altissima qualità. I due set ricavati sono poi stati dati in pasto ai sistemi di machine learning per istruire in maniera adeguata il modello e renderlo capace di riconoscere una vasta gamma di scenari, pose e persone.

Maschere a bassa e alta risoluzione

A questo punto potremmo pensare che il gioco è fatto ma ci sono altri passaggi per ottenere un selfie di qualità eccelsa. Se la maggior parte degli smartphone acquisisce l’immagine e applica una maschera per lo sfondo, al fine di sfuocarlo, Google Pixel 6 e Google Pixel 6 Pro fanno ben altro.

Sia la foto che la maschera iniziale, decisamente grossolana, vengono passate al modello istruito in precedenza, che genera una maschera più definita ma con una bassa risoluzione. A questo punto il modello effettua una operazione di upsampling per alzare la risoluzione, basandosi sulla foto originale e sulla prima maschera. Il risultato finale è una maschera ad alta risoluzione e con una qualità molto più elevata, da applicare all’immagine per preservare il soggetto andando a sfuocare lo sfondo.

Risultati sorprendenti

Ecco dunque come nascono selfie più accurati, con un effetto bokeh convincente, seppur non ancora ottimale come quello di una fotocamera tradizionale,

Uno dei punti di forza degli smartphone di Google, fin dalla prima generazione di Pixel, è la qualità fotografica. Nonostante un hardware spesso inferiore rispetto alla concorrenza il colosso americano ha saputo estrarre il meglio da ogni singolo pixel a disposizione, avvalendosi della propria esperienza nella fotografia computazionale, settore in cui è decisamente all’avanguardia.

Con la serie Pixel 6, che tra poco dovrebbe arrivare anche in Italia, Google ha fatto un ulteriore passo in avanti grazie a una nuova modalità ritratto dedicata ai selfie che è in grado di riconoscere anche le singole ciocche di capelli, permettendo così di ottenere risultati decisamente superiori rispetto a quanto accadeva in precedenza.

Una nuova serie di modelli

Emulare una lente e un sensore di grandi dimensioni non è sempre facile e serve un modello software di alta qualità per portare a miglioramenti apprezzabili. Per questo Google è tornata al lavoro per creare una nuova serie di modelli, che potessero migliorare il riconoscimento dei dettagli più piccoli, facendosi aiutare dalle prestazioni di Tensor.

Per poter istruire in maniera corretta un modello matematico è necessario creare un set di dati all’altezza della situazione, con scatti da ogni angolazione e con diverse fonti di illuminazione, così da generare una maschera più accurata rispetto a quanto avveniva in passato. È stata così rispolverata la sfera utilizzata con Pixel 5, composta da centinaia di LED, sensori di profondità e fotocamere, così da catturare un’elevata quantità di sample con una maschera perfetta, separando in maniera precisa il soggetto dallo sfondo.

Detto così sembrerebbe tutto (quasi) semplice ma in realtà sono serviti altri passaggi prima di arrivare alla magia della fotografia computazionale. Con gli scatti ottenuti sono stati realizzati diversi set di fotografie, cambiando l’illuminazione per adattarsi alla scena reale grazie anche ai dati sulla profondità di campo, al ray tracing e a una simulazione della distorsione ottica, per ottenere un risultato realistico.

Successivamente sono state scattate migliaia di foto in ambientazioni “reali”, con un modello preciso che si è occupato di estrarre le relative maschere e con un’ispezione visuale per utilizzare solo sample di altissima qualità. I due set ricavati sono poi stati dati in pasto ai sistemi di machine learning per istruire in maniera adeguata il modello e renderlo capace di riconoscere una vasta gamma di scenari, pose e persone.

Maschere a bassa e alta risoluzione

A questo punto potremmo pensare che il gioco è fatto ma ci sono altri passaggi per ottenere un selfie di qualità eccelsa. Se la maggior parte degli smartphone acquisisce l’immagine e applica una maschera per lo sfondo, al fine di sfuocarlo, Google Pixel 6 e Google Pixel 6 Pro fanno ben altro.

Sia la foto che la maschera iniziale, decisamente grossolana, vengono passate al modello istruito in precedenza, che genera una maschera più definita ma con una bassa risoluzione. A questo punto il modello effettua una operazione di upsampling per alzare la risoluzione, basandosi sulla foto originale e sulla prima maschera. Il risultato finale è una maschera ad alta risoluzione e con una qualità molto più elevata, da applicare all’immagine per preservare il soggetto andando a sfuocare lo sfondo.

Risultati sorprendenti

Ecco dunque come nascono selfie più accurati, con un effetto bokeh convincente, seppur non ancora ottimale come quello di una fotocamera tradizionale,. ma con una maggiore attenzione anche ai minimi dettagli. La maggior precisione della maschera permette di andare a sfuocare anche i piccoli dettagli tra i ricci dei capelli, come si può vedere dal sample sottostante, sicuramente non facile da gestire.

Il nuovo modello messo a punto da Google permette inoltre di gestire in maniera ottimale i diversi tipi di pelle e di pettinatura, garantendo risultati più accurati e realistici per chiunque, indipendentemente dal colore della pelle o dalla capigliatura. C’è ancora spazio per il miglioramento ma di sicuro è stato compiuto un importante passo in avanti nella direzione giusta, rendendo sempre più utile la fotocamera dello smartphone.

Dopotutto si tratta di un oggetto che abbiamo quasi sempre in tasca e ci aspettiamo che sia sempre pronto a cogliere l’essenza di quello che vediamo.

Potrebbe interessarti: Recensione Google Pixel 6 Pro

 

ma con una maggiore attenzione anche ai minimi dettagli. La maggior precisione della maschera permette di andare a sfuocare anche i piccoli dettagli tra i ricci dei capelli, come si può vedere dal sample sottostante, sicuramente non facile da gestire.

Il nuovo modello messo a punto da Google permette inoltre di gestire in maniera ottimale i diversi tipi di pelle e di pettinatura, garantendo risultati più accurati e realistici per chiunque, indipendentemente dal colore della pelle o dalla capigliatura. C’è ancora spazio per il miglioramento ma di sicuro è stato compiuto un importante passo in avanti nella direzione giusta, rendendo sempre più utile la fotocamera dello smartphone.

Dopotutto si tratta di un oggetto che abbiamo quasi sempre in tasca e ci aspettiamo che sia sempre pronto a cogliere l’essenza di quello che vediamo.

Potrebbe interessarti: Recensione Google Pixel 6 Pro