Gemini è una delle migliori AI per capire davvero i video: ecco perché
Quando si parla di intelligenza artificiale e video, molti pensano soprattutto alla generazione di filmati. Ma c’è un’altra competizione altrettanto importante: capire cosa succede dentro un video.
Ed è proprio qui che Gemini di Google sta diventando particolarmente interessante.
Gemini può ricevere un video come input e analizzarne contemporaneamente il contenuto visivo e quello audio. Non si limita quindi a descrivere una singola immagine: può riconoscere eventi, seguire una sequenza, rispondere a domande sul contenuto del filmato e indicare anche momenti precisi attraverso i timestamp.
Non è la stessa cosa che guardare qualche screenshot
Questa differenza è fondamentale.
Un sistema che prende alcuni fotogrammi di un video e trascrive l’audio può ricostruire una parte di quello che sta succedendo. Ma un video è molto più di una collezione di immagini.
Conta la progressione nel tempo: cosa succede prima, cosa cambia dopo, quale oggetto si muove, come si sviluppa un’azione e in quale momento avviene un determinato evento.
Gemini è progettato proprio per questo tipo di analisi multimodale. Google indica tra le sue capacità la descrizione e segmentazione dei video, l’estrazione di informazioni e la possibilità di fare domande specifiche sul contenuto.
Per esempio, invece di chiedere semplicemente:
“Cosa c’è in questo video?”
si può chiedere:
“Descrivi passo per passo quello che succede e indicami a quale secondo avviene ogni evento importante.”
Oppure:
“Il robot completa correttamente il movimento? Indicami il momento esatto in cui commette un errore.”
Ed è qui che l’analisi diventa davvero interessante.
Gemini può analizzare anche video di YouTube
La funzione non è limitata ai file caricati dal proprio computer.
La Gemini API supporta infatti anche URL di video pubblici di YouTube, oltre a diversi formati video come MP4, MOV, AVI e WebM. Per file molto grandi Google consiglia l’utilizzo della Files API; la documentazione indica un limite fino a 20 GB per i file attraverso l’API nei piani a pagamento.
Questo apre possibilità molto interessanti per chi costruisce agenti AI.
Un agente potrebbe, per esempio, ricevere un video di un robot, inviarlo a Gemini e chiedere di verificare automaticamente:
- quali azioni sono state eseguite;
- in quale ordine;
- se una determinata azione è riuscita;
- quando è comparso un errore;
- cosa viene detto nel video;
- quali sono i momenti più importanti.
In pratica, Gemini può diventare gli “occhi” di un agente AI specializzato nei video.
La novità ancora più interessante: l’analisi agentica
La documentazione più recente di Google introduce anche una modalità chiamata agentic video understanding su alcune versioni Flash di Gemini.
Invece di analizzare il filmato sempre nello stesso modo, il modello può navigare dinamicamente nella timeline e decidere quali parti del video, trascrizioni, fotogrammi o informazioni audio esaminare più a fondo. Google indica che questa modalità può ridurre significativamente il consumo di token nei video lunghi e migliorare la qualità dell’analisi in determinati scenari.
È un passaggio importante: l’AI non deve necessariamente trattare tutto il video allo stesso modo. Può cercare le informazioni che le servono.
