Παρ’ ολίγον θερμό επεισόδιο ΗΠΑ-Κίνας λόγω παραισθήσεων στρατιωτικού AI συστήματος

Σύνοψη

• Αμερικανικές ναυτικές δυνάμεις έφτασαν ελάχιστα λεπτά πριν από την ένοπλη επιβίβαση και τον έλεγχο ενός εμπορικού κινεζικού πλοίου στα διεθνή ύδατα.
• Η κινητοποίηση βασίστηκε εξ ολοκλήρου σε αναφορά ενός πειραματικού εργαλείου τεχνητής νοημοσύνης, το οποίο συμπέρανε εσφαλμένα πως το πλοίο μετέφερε κρυφά προηγμένο οπλικό υλικό.
• Η στρατιωτική επιχείρηση ακυρώθηκε την τελευταία στιγμή, όταν έμπειροι αναλυτές πληροφοριών διαπίστωσαν ότι τα επίμαχα δεδομένα αποτελούσαν ξεκάθαρη «παραίσθηση» του λογισμικού ανάλυσης εικόνας και δεδομένων.
• Το σοβαρό αυτό περιστατικό εγείρει τεράστια ερωτήματα σχετικά με την τυφλή εμπιστοσύνη που αρχίζουν να δείχνουν οι ένοπλες δυνάμεις στις αυτοματοποιημένες ροές πληροφοριών χωρίς αυστηρή ανθρώπινη επίβλεψη.

Η ολοένα και βαθύτερη ενσωμάτωση των αλγορίθμων τεχνητής νοημοσύνης στα κέντρα λήψης αποφάσεων των σύγχρονων ενόπλων δυνάμεων ανέδειξε με τον πλέον επικίνδυνο τρόπο τα εγγενή όρια της τεχνολογίας, φέρνοντας δύο παγκόσμιες υπερδυνάμεις στο χείλος μιας απρόβλεπτης στρατιωτικής αντιπαράθεσης. 

Σύμφωνα με την αναφορά του CNN, οι αμερικανικές ναυτικές δυνάμεις βρέθηκαν σε κατάσταση ύψιστου συναγερμού και προετοιμάστηκαν για την άμεση αναχαίτιση και φυσική επιβίβαση σε ένα εμπορικό πλοίο κινεζικών συμφερόντων, βασιζόμενες σε μια απολύτως εσφαλμένη ανάλυση που παρήγαγε ένα αυτοματοποιημένο σύστημα πληροφοριών. Το περιστατικό αυτό αποκαλύπτει τις δραματικές συνέπειες που μπορεί να έχει η ανεξέλεγκτη ροή μηχανογραφημένων εκτιμήσεων σε κρίσιμα γεωπολιτικά περιβάλλοντα, υπενθυμίζοντας πως η ταχύτητα επεξεργασίας δεδομένων δεν ταυτίζεται απαραίτητα με την ορθότητα της κρίσης.

Τι ακριβώς συνέβη με το κινεζικό εμπορικό πλοίο

Το αμερικανικό ναυτικό έλαβε μια κατεπείγουσα, αυτοματοποιημένη αναφορά πληροφοριών η οποία υποδείκνυε με υψηλό βαθμό βεβαιότητας ότι ένα υπό παρακολούθηση κινεζικό σκάφος έκρυβε στο αμπάρι του προηγμένα οπλικά συστήματα που παραβίαζαν τους διεθνείς κανονισμούς ασφαλείας. Η εντολή αναχαίτισης εκδόθηκε σχεδόν άμεσα, με τις ειδικές δυνάμεις να ετοιμάζονται για επιβίβαση, προτού η διαδικασία ακυρωθεί δευτερόλεπτα πριν την εκτέλεση της από ανθρώπους αναλυτές που ανακάλυψαν ότι τα δεδομένα της αναφοράς δεν υπήρξαν ποτέ στην πραγματικότητα, αποτελώντας ένα κλασικό παράδειγμα ψηφιακής «παραίσθησης».

• Τα συστήματα οπτικής αναγνώρισης παρερμήνευσαν τις σκιές των containers ως συστήματα εκτόξευσης πυραύλων.
• Ο αλγόριθμος συσχέτισε αυθαίρετα προηγούμενα, άσχετα ταξίδια του πλοίου με κρυφά δρομολόγια διακίνησης οπλισμού.
• Η τεχνητή νοημοσύνη παρήγαγε πλαστά έγγραφα καταγραφής φορτίου προσπαθώντας να «γεμίσει» τα κενά της ανάλυσης της.

Το αμερικανικό Πεντάγωνο έχει επενδύσει δισεκατομμύρια δολάρια στην ανάπτυξη προηγμένων γλωσσικών μοντέλων και αλγορίθμων μηχανικής όρασης που αναλύουν χιλιάδες δορυφορικές εικόνες και υποκλοπές επικοινωνιών σε πραγματικό χρόνο, προσπαθώντας να μειώσουν τον φόρτο εργασίας των αναλυτών. Η διαδικασία αυτή, ωστόσο, κρύβει τεράστιες παγίδες όταν τα μοντέλα αρχίζουν να συνδέουν εντελώς άσχετα μεταξύ τους δεδομένα, καταλήγοντας σε συμπεράσματα που φαίνονται λογικοφανή στον άνθρωπο χειριστή, αλλά είναι παντελώς ανυπόστατα στον φυσικό κόσμο. Οι αναλυτές πληροφοριών που παρενέβησαν στο συγκεκριμένο συμβάν παρατήρησαν μικρές ασυνέπειες στα μεταδεδομένα των εικόνων που συνόδευαν την αναφορά της τεχνητής νοημοσύνης, γεγονός που τους ώθησε να ζητήσουν μια γρήγορη επαλήθευση από διαφορετικά, ανεξάρτητα δορυφορικά συστήματα τα οποία τελικά δεν επιβεβαίωσαν κανένα από τα ευρήματα του αρχικού αλγορίθμου.

Ο κίνδυνος των AI «παραισθήσεων» στις στρατιωτικές επιχειρήσεις

Η συζήτηση γύρω από τις παραισθήσεις της τεχνητής νοημοσύνης απασχολεί συνήθως τον εμπορικό τομέα, όπου ένα λάθος ενδέχεται να οδηγήσει σε λανθασμένες ιατρικές συμβουλές ή νομικές γκάφες, ωστόσο στο πεδίο των στρατιωτικών επιχειρήσεων το περιθώριο σφάλματος είναι απολύτως μηδενικό. Τα συστήματα τεχνητής νοημοσύνης εκπαιδεύονται να αναζητούν μοτίβα και απαντήσεις ακόμη και όταν τα διαθέσιμα δεδομένα είναι ελλιπή, καταφεύγοντας συχνά στη δημιουργία κατασκευασμένων πληροφοριών προκειμένου να ικανοποιήσουν την αρχιτεκτονική του λογισμικού τους που απαιτεί πάντα την παραγωγή ενός αποτελέσματος. Το πρόβλημα μεγεθύνεται εκθετικά όταν αυτές οι πλασματικές πληροφορίες παρουσιάζονται μέσω εντυπωσιακών, επίσημων αναφορών που φέρουν τη σφραγίδα του υπουργείου άμυνας, παρακάμπτοντας τον φυσιολογικό ανθρώπινο σκεπτικισμό απέναντι σε μια μηχανή που θεωρητικά κατέχει αλάνθαστη υπολογιστική ισχύ.

Αυτό το μεμονωμένο αλλά εξαιρετικά διδακτικό συμβάν καταδεικνύει την ανάγκη ριζικής αναθεώρησης των πρωτοκόλλων αξιολόγησης, καθώς αποδεικνύεται περίτρανα πως ο άνθρωπος δεν πρέπει απλώς να επικυρώνει τις αποφάσεις της μηχανής με ένα απλό πάτημα κουμπιού, αλλά οφείλει να διατηρεί τον πλήρη και ουσιαστικό έλεγχο της πρωτογενούς πληροφορίας. Ο κίνδυνος του λεγόμενου automation bias, δηλαδή της ψυχολογικής τάσης των χρηστών να εμπιστεύονται τυφλά τις προτάσεις των αυτοματοποιημένων συστημάτων αγνοώντας το δικό τους ένστικτο ή τα αντίθετα εμπειρικά δεδομένα, αναδεικνύεται πλέον ως η μεγαλύτερη ίσως απειλή για την παγκόσμια ειρήνη σε ένα όλο και πιο ψηφιοποιημένο γεωπολιτικό σκηνικό.

Η στρατιωτική ηγεσία των ΗΠΑ καλείται πλέον να επιβραδύνει τον ενθουσιασμό της για την άμεση υιοθέτηση παραγωγικών μοντέλων τεχνητής νοημοσύνης σε κρίσιμες αποστολές κατασκοπείας, θεσπίζοντας αυστηρότερα κριτήρια ελέγχου πριν οποιαδήποτε πληροφορία χαρακτηριστεί ως δράσιμη. Η εξασφάλιση της αξιοπιστίας των δεδομένων απαιτεί την ανάπτυξη εξειδικευμένων αλγορίθμων εποπτείας, οι οποίοι θα λειτουργούν ως ελεγκτές ορθότητας των πρωτευόντων συστημάτων AI, διασταυρώνοντας τα ευρήματα με φυσικές παρατηρήσεις και ιστορικά αρχεία που δεν επιδέχονται παραποίησης. 

Οι συζητήσεις στα στρατιωτικά fora ήδη περιστρέφονται γύρω από την ανάγκη δημιουργίας κλειστών μοντέλων που θα έχουν την ικανότητα να δηλώνουν ανοιχτά την αβεβαιότητά τους, προτιμώντας να επιστρέψουν μηδενικά αποτελέσματα αντί να κατασκευάσουν ψευδή σενάρια απλώς για να καλύψουν τα κενά της ανάλυσης τους.