Το Gemini έγινε ακόμη καλύτερο στην ανάλυση των videos

Σύνοψη

• Η Google παρουσίασε το Agentic Video Understanding για τα μοντέλα τεχνητής νοημοσύνης Gemini 3.7 Flash, 3.6 Flash και 3.5 Flash-Lite.
• Η νέα τεχνολογία καταργεί τη στατική ανάγνωση των βίντεο (καρέ-καρέ) και επιτρέπει στο μοντέλο να επιλέγει δυναμικά την ταχύτητα και το μέσο εστίασης (εικόνα, ήχος ή κείμενο).
• Μειώνει την κατανάλωση tokens έως και 88% και το κόστος ανάλυσης κατά 66%, ενώ ταυτόχρονα αυξάνει την ακρίβεια των απαντήσεων κατά 7%.
• Ξεκλειδώνει νέες δυνατότητες, όπως ο εντοπισμός συγκεκριμένων σκηνών σε κλάσματα δευτερολέπτου, η μέτρηση αντικειμένων και η αναζήτηση πληροφοριών σε βίντεο πολλών ωρών.
• Είναι ήδη διαθέσιμο μέσω του Gemini API στο Google AI Studio, ενώ σύντομα θα ενσωματωθεί στην εφαρμογή του Gemini και στη νέα λειτουργία «Ask YouTube».

Το Agentic Video Understanding αποτελεί τη νέα αρχιτεκτονική ανάλυσης βίντεο της Google για τα μοντέλα Gemini 3.7 Flash, 3.6 Flash και 3.5 Flash-Lite, η οποία εγκαταλείπει την παραδοσιακή στατική εξαγωγή καρέ. Ενσωματώνοντας μια δυναμική διαδικασία, το μοντέλο αποφασίζει αυτόνομα πού θα εστιάσει, μειώνοντας την κατανάλωση tokens έως και 88% και το κόστος ανάλυσης κατά 66%, αυξάνοντας παράλληλα την ακρίβεια κατά 7%.

Η ανάλυση βίντεο μεγάλου μήκους αποτελούσε μέχρι σήμερα ένα από τα πιο δαπανηρά και απαιτητικά υπολογιστικά προβλήματα για τα μεγάλα γλωσσικά μοντέλα, με τους προγραμματιστές να καλούνται διαρκώς να ισορροπήσουν ανάμεσα στο υψηλό κόστος λειτουργίας και την αναπόφευκτη απώλεια κρίσιμων οπτικών πληροφοριών. 

Μέχρι την έλευση αυτής της αναβάθμισης, η τυπική διαδικασία λειτουργούσε αποδομώντας το οπτικοακουστικό υλικό σε μεμονωμένα καρέ με έναν σταθερό ρυθμό, ο οποίος συνήθως ρυθμιζόταν στο ένα καρέ ανά δευτερόλεπτο (1 FPS). Αυτή η μεθοδολογία, αν και λειτουργική για σύντομα κλιπ, αποδεικνυόταν εξαιρετικά αναποτελεσματική όταν το μοντέλο έπρεπε να αναλύσει πολύωρες διαλέξεις, οδηγούς χρήσης ή πολύπλοκα τεχνικά βίντεο, καθώς το σύστημα κατακλυζόταν από εκατομμύρια άχρηστα δεδομένα ή έχανε τις στιγμιαίες αλλαγές που συνέβαιναν μεταξύ των καρέ.

Η Google επιλύει το συγκεκριμένο δομικό πρόβλημα παραδίδοντας την πρωτοβουλία στο ίδιο το μοντέλο. Με το Agentic Video Understanding, το Gemini αποκτά ενεργό ρόλο και συμπεριφέρεται ως ένας αυτόνομος πράκτορας (agent), αποφασίζοντας σε πραγματικό χρόνο ποιες ενότητες του βίντεο πρέπει να παρακολουθήσει με προσοχή, με ποια ταχύτητα αναπαραγωγής και μέσω ποιου ακριβώς καναλιού πληροφορίας. 

Για παράδειγμα, το σύστημα μπορεί να σαρώνει γρήγορα το μεταγραφόμενο κείμενο για να εντοπίσει τη γενική θεματική μιας συζήτησης και, όταν αναγνωρίσει το ζητούμενο σημείο, να ανακαλέσει το εσωτερικό του εργαλείο αναπαραγωγής για να αναλύσει τη συγκεκριμένη σκηνή με υψηλό ρυθμό καρέ και πλήρη ανάλυση ήχου.

Αλγοριθμική αποδοτικότητα και νέα τεχνικά χαρακτηριστικά

Η μετάβαση από τη στατική στη δυναμική ανάλυση αποτυπώνεται με απόλυτη σαφήνεια στα επίσημα τεχνικά κριτήρια αξιολόγησης (benchmarks), όπως το LongVideoBench, όπου η νεότερη γενιά των μοντέλων της Google καταγράφει εντυπωσιακές επιδόσεις. 

Σύμφωνα με τα εργαστηριακά δεδομένα της Google DeepMind, η χρήση του Agentic Video Understanding τοποθετεί το μοντέλο Gemini 3.7 Flash στο βέλτιστο όριο της καμπύλης Pareto, προσφέροντας την ιδανικότερη δυνατή ισορροπία μεταξύ κορυφαίας ποιότητας κατανόησης και ελαχιστοποίησης του κόστους λειτουργίας ανά ερώτημα.

Οι τεχνολογικές προεκτάσεις της νέας αρχιτεκτονικής επιτρέπουν την εκτέλεση εξαιρετικά σύνθετων διεργασιών, οι οποίες συνοψίζονται στα εξής κύρια σημεία:

• Ανάκτηση στιγμιότυπων σε κλάσματα δευτερολέπτου: Το μοντέλο εντοπίζει με απόλυτη ακρίβεια μικροσκοπικές αλλαγές καταστάσεων και αυστηρά όρια μοντάζ, τα οποία πρακτικά χάνονταν κατά τη σάρωση στο 1 FPS, καθιστώντας πλέον εφικτή την πλήρως αυτοματοποιημένη επεξεργασία και κοπή βίντεο.
• Αναζήτηση βελόνας στα άχυρα σε βίντεο μεγάλης διάρκειας: Η τεχνητή νοημοσύνη απαντά σε ιδιαίτερα σύνθετες ερωτήσεις χρησιμοποιώντας ως πηγή καταγραφές πολλαπλών ωρών, στοχεύοντας αποκλειστικά στα σχετικά τμήματα και αποτρέποντας την άσκοπη κατανάλωση εκατομμυρίων tokens.
• Ανίχνευση ανωμαλιών: Το σύστημα εκτελεί επαναδειγματοληψία (resampling) σε συγκεκριμένα χρονικά παράθυρα ενδιαφέροντος αυξάνοντας προσωρινά τα FPS, ώστε να επιθεωρήσει οπτικές αλλοιώσεις ή περιπτώσεις εξαιρετικά ταχείας κίνησης.
• Καταμέτρηση δράσεων και αντικειμένων: Αναλύοντας τον χώρο και τον χρόνο με δυναμικό ρυθμό, το Gemini παρακολουθεί επαναλαμβανόμενες φυσικές κινήσεις και μετρά διακριτά αντικείμενα χωρίς να μπερδεύεται από τη χρονική αλληλουχία των καρέ.

Ενσωμάτωση στο οικοσύστημα, API και “Ask YouTube”

Η πρόσβαση στο Agentic Video Understanding είναι ήδη διαθέσιμη για τους προγραμματιστές μέσω του Gemini API εντός του Google AI Studio, καθώς και μέσω της πλατφόρμας Gemini Enterprise Agent Platform. Η υποστήριξη καλύπτει ολόκληρη την τρέχουσα οικογένεια μοντέλων (Gemini 3.7 Flash, 3.6 Flash και 3.5 Flash-Lite) ενώ η χρέωση παραμένει πιστή στη βασική τιμολογιακή πολιτική των standard tokens, χωρίς να απαιτείται η καταβολή κάποιου επιπρόσθετου τέλους για τη χρήση της προηγμένης λειτουργίας. Οι δημιουργοί εφαρμογών το μόνο που έχουν να κάνουν είναι να παραμετροποιήσουν τις κλήσεις τους στο API ορίζοντας την παράμετρο processing=”agentic” στον κώδικα τους.

Πέρα από τα αμιγώς προγραμματιστικά εργαλεία, η Google προετοιμάζει την ευρεία διανομή της τεχνολογίας σε δισεκατομμύρια τελικούς χρήστες. Σε πολύ σύντομο χρονικό διάστημα, η δυναμική ανάλυση βίντεο θα ενσωματωθεί πλήρως στην επίσημη εφαρμογή του Gemini σε φορητές συσκευές, επιτρέποντας στους καταναλωτές να αναλύουν άμεσα τα βίντεο που ανεβάζουν από τα κινητά τους. Παράλληλα, μέσα στους επόμενους μήνες, το Agentic Video Understanding θα αποτελέσει τον βασικό πυρήνα λειτουργίας για το επερχόμενο χαρακτηριστικό “Ask YouTube“.