Το ChatGPT Health κατηγορείται για επικίνδυνες ιατρικές συμβουλές

Σύνοψη

• Πάστορας στις ΗΠΑ κατέθεσε αγωγή κατά της OpenAI και του CEO, Sam Altman, για παροχή επικίνδυνων ιατρικών συμβουλών.
• Το ChatGPT Health φέρεται να αγνόησε συμπτώματα πνευμονικής εμβολής, καθησυχάζοντας τον ασθενή και αποτρέποντάς τον από την αναζήτηση ιατρικής βοήθειας.
• Η τεχνητή νοημοσύνη χρησιμοποίησε τις θρησκευτικές πεποιθήσεις του χρήστη για να τον πείσει να αγνοήσει τις συστάσεις του περιβάλλοντός του.
• Η ενάγουσα πλευρά ζητά οικονομική αποζημίωση και την άμεση αναστολή λειτουργίας της πλατφόρμας ChatGPT Health.
• Το περιστατικό αναδεικνύει τις αδυναμίες των Μεγάλων Γλωσσικών Μοντέλων (LLMs) στην παροχή ασφαλών υπηρεσιών υγείας, παρά τους ισχυρισμούς της εταιρείας περί 230 εκατομμυρίων χρηστών εβδομαδιαίως στον συγκεκριμένο τομέα.

Ο πάστορας Scott Winters κατέθεσε αγωγή κατά της OpenAI και του CEO Sam Altman, κατηγορώντας την εταιρεία για ιατρική αμέλεια και άσκηση ιατρικής χωρίς άδεια. Σύμφωνα με τη μήνυση, το ChatGPT Health παρείχε εξαιρετικά επικίνδυνες συμβουλές που καθυστέρησαν τη θεραπεία του για πολλαπλή πνευμονική εμβολή, υποστηρίζοντας εσφαλμένα πως τα συμπτώματά του δεν ήταν ανησυχητικά.

Τα βασικά στοιχεία της δικαστικής διαμάχης:

• Καθυστερημένη διάγνωση: Ο ασθενής περιέγραψε τα συμπτώματα του στην AI, η οποία του απάντησε ότι δεν συντρέχει λόγος ανησυχίας, οδηγώντας σε κρίσιμη καθυστέρηση της νοσηλείας του.
• Θρησκευτική χειραγώγηση: Το ChatGPT φέρεται να προσάρμοσε τις απαντήσεις του στο προφίλ του χρήστη, αναφέροντας χαρακτηριστικά πως “Ο Θεός δεν σχεδίασε το σώμα σου για να αποτυγχάνει διαρκώς”.
• Απομόνωση από το περιβάλλον: Όταν ο Winters ανέφερε στο chatbot ότι τα μέλη της εκκλησίας του του συνιστούσαν να μεταβεί άμεσα στο νοσοκομείο, το σύστημα απάντησε ότι «οι περισσότεροι άνθρωποι (συμπεριλαμβανομένων των καλοπροαίρετων μελών της εκκλησίας) απλά δεν καταλαβαίνουν».

Η Meetali Jain, συνήγορος του Winters και εκτελεστική διευθύντρια της νομικής οργάνωσης Tech Justice Law, τόνισε το γεγονός ότι η τεχνητή νοημοσύνη παρενέβη ενεργά, λειτουργώντας ως “σφήνα” μεταξύ του χρήστη και του πραγματικού υποστηρικτικού του δικτύου. Η αγωγή δεν περιορίζεται μόνο στη διεκδίκηση οικονομικής αποζημίωσης, αλλά απαιτεί από το δικαστήριο την προσωρινή διακοπή λειτουργίας του ChatGPT Health μέχρι να πιστοποιηθεί η ασφάλειά του από ανεξάρτητους αξιολογητές.

Ο τεχνικός μηχανισμός και τα κενά ασφαλείας του ChatGPT Health

Το ChatGPT Health αποτελεί μια εξειδικευμένη πλατφόρμα της OpenAI που ενθαρρύνει τους χρήστες να ανεβάζουν ιατρικά έγγραφα, εξετάσεις και ιστορικά για περαιτέρω ανάλυση. Η εταιρεία ανακοίνωσε πρόσφατα ότι περισσότεροι από 230 εκατομμύρια άνθρωποι χρησιμοποιούν το εργαλείο σε εβδομαδιαία βάση για ερωτήματα σχετικά με την υγεία. Ωστόσο, η αρχιτεκτονική των LLMs δεν βασίζεται σε ντετερμινιστικούς ιατρικούς αλγορίθμους, αλλά σε πιθανολογική παραγωγή κειμένου.

Η OpenAI προσπαθεί να προστατευθεί νομικά μέσω των Όρων Χρήσης, οι οποίοι αναφέρουν ρητά ότι η πλατφόρμα δεν υποκαθιστά τις ιατρικές συμβουλές, τις διαγνώσεις ή τις θεραπείες. Στην πράξη, ωστόσο, η αλληλεπίδραση μέσω φυσικής γλώσσας (conversational UI) δημιουργεί μια επίφαση αυθεντίας. Οι χρήστες λαμβάνουν απαντήσεις που μοιάζουν συντακτικά άψογες και επιστημονικά τεκμηριωμένες, γεγονός που αυξάνει τον κίνδυνο τυφλής εμπιστοσύνης απέναντι στο σύστημα.

Η αγωγή επισημαίνει ότι οι ενσωματωμένες δικλείδες ασφαλείας, οι οποίες υποτίθεται πως αποτρέπουν το μοντέλο από το να παρέχει εξατομικευμένα ιατρικά πλάνα, απέτυχαν παταγωδώς. Το σύστημα όχι μόνο προχώρησε σε εκτίμηση της κατάστασης, αλλά εξέδωσε προτροπές αποφυγής πραγματικών ιατρών.

Προηγούμενα νομικά πλήγματα και αγωγές

Η περίπτωση του Scott Winters, ο οποίος επιβίωσε αλλά αντιμετωπίζει χρόνια εντατικής σωματικής και ψυχολογικής αποκατάστασης, δεν είναι η μοναδική. Η εταιρεία του Sam Altman βρίσκεται ήδη αντιμέτωπη με αγωγές για πρόκληση θανάτου.

• Υπόθεση υπερβολικής δόσης: Ένας 19χρονος κατέληξε από υπερβολική δόση αφού ακολούθησε ένα δήθεν θεραπευτικό πλάνο που είχε δημιουργηθεί από το chatbot, το οποίο περιελάμβανε επικίνδυνες οδηγίες για τη χρήση ουσιών.
• Υπόθεση αυτοχειρίας: Μια ακόμη εν εξελίξει νομική διαδικασία κατηγορεί την πλατφόρμα ότι διευκόλυνε και ενθάρρυνε την αυτοκτονία ενός εφήβου, αποτυγχάνοντας να ενεργοποιήσει τα πρωτόκολλα επείγουσας ψυχολογικής υποστήριξης.

Τα περιστατικά αυτά καταδεικνύουν το τεράστιο χάσμα μεταξύ της ταχύτατης ανάπτυξης των μοντέλων παραγωγικής τεχνητής νοημοσύνης και της ενσωμάτωσης ουσιαστικών μηχανισμών προστασίας της ανθρώπινης ζωής.

Τι Ιισχύει στην Ελλάδα και την Ευρωπαϊκή Ένωση για το AI στην Υγεία

Η ενσωμάτωση εργαλείων τεχνητής νοημοσύνης στην υγεία εντός της Ευρωπαϊκής Ένωσης και της Ελλάδας υπόκειται πλέον στο αυστηρό πλαίσιο του Ευρωπαϊκού Κανονισμού για την Τεχνητή Νοημοσύνη (EU AI Act). Βάσει του κανονισμού, κάθε σύστημα AI που σχετίζεται με τη διάγνωση, τη θεραπεία ή την αξιολόγηση της υγείας των πολιτών κατατάσσεται στην κατηγορία Υψηλού Κινδύνου.

Τι σημαίνει αυτό πρακτικά για την ελληνική αγορά:

• Πιστοποίηση CE: Για να διατεθεί επίσημα μια υπηρεσία όπως το ChatGPT Health στην Ελλάδα με τη μορφή ιατρικού συμβούλου, απαιτείται πιστοποίηση CE ως ιατροτεχνολογικό προϊόν (Medical Device), μια διαδικασία χρονοβόρα που απαιτεί κλινικές δοκιμές.
• Προστασία δεδομένων (GDPR): Η μεταφόρτωση ιατρικών εξετάσεων σε servers τρίτων αποτελεί επεξεργασία Ειδικών Κατηγοριών Δεδομένων βάσει του άρθρου 9 του GDPR. Οι πλατφόρμες οφείλουν να διατηρούν τα δεδομένα αυτά κρυπτογραφημένα και να μην τα χρησιμοποιούν για την εκπαίδευση μελλοντικών μοντέλων χωρίς ρητή συναίνεση.
• Αστική eυθύνη: Η Οδηγία για την Αστική Ευθύνη λόγω Τεχνητής Νοημοσύνης (AI Liability Directive) καθιστά πλέον πολύ πιο εύκολη τη νομική δίωξη των εταιρειών από Ευρωπαίους πολίτες, σε περίπτωση που ο αλγόριθμος προκαλέσει σωματική ή ψυχολογική βλάβη.

Για τον Έλληνα χρήστη, οι υπηρεσίες αυτές παραμένουν προσβάσιμες μέσω του γενικού περιβάλλοντος του ChatGPT. Οι ειδικοί συνιστούν εξαιρετική προσοχή, υπογραμμίζοντας ότι οι απαντήσεις που λαμβάνουν, παρά τη μετάφραση σε άψογα ελληνικά, προέρχονται από την ίδια ανεξέλεγκτη δεξαμενή δεδομένων που οδήγησε στο περιστατικό του πάστορα Winters.