Δίνει λάθος απαντήσεις με αυτοπεποίθηση σύμφωνα με νέα έρευνα

Το ChatGPT αποτελεί ήδη μια απειλή για το Google Search, αλλά το ChatGPT Search έχει ακόμα να διανύσει πολύ δρόμο για να θεωρηθεί αξιόπιστο. Σύμφωνα με μια πρόσφατα δημοσιευμένη μελέτη του Tow Center for Digital Journalism του Columbia, το ChatGPT Search δυσκολεύεται να δώσει ακριβείς απαντήσεις στα ερωτήματα των χρηστών του.

Οι ερευνητές επέλεξαν 20 δημοσιεύσεις από τρεις εκδότες: Αυτές που συνεργάστηκαν με το OpenAI για να χρησιμοποιήσουν το περιεχόμενό τους στα αποτελέσματα του ChatGPT Search, αυτές που εμπλέκονται σε αγωγές κατά του OpenAI και οι μη συνδεδεμένοι εκδότες που είτε επέτρεψαν είτε μπλόκαραν το crawler του ChatGPT.

Από κάθε εκδότη, επιλέξαμε 10 άρθρα και αποσπάσαμε συγκεκριμένα αποσπάσματα. Αυτά τα αποσπάσματα επιλέχθηκαν επειδή, όταν εισήχθησαν σε μηχανές αναζήτησης όπως η Google ή η Bing, επέστρεφαν αξιόπιστα το άρθρο της πηγής μεταξύ των τριών πρώτων αποτελεσμάτων. Στη συνέχεια αξιολογήσαμε κατά πόσον το νέο εργαλείο αναζήτησης του ChatGPT αναγνώριζε με ακρίβεια την αρχική πηγή για κάθε απόσπασμα.

Σαράντα από τα αποσπάσματα προέρχονται από δημοσιεύσεις που χρησιμοποιούν σήμερα το OpenAI και δεν έχουν επιτρέψει την απόσπαση του περιεχομένου τους. Αλλά αυτό δεν εμπόδισε το ChatGPT Search να δημιουργήσει με αυτοπεποίθηση μια απάντηση ούτως ή άλλως.

Συνολικά, το ChatGPT επέστρεψε μερικώς ή εξ ολοκλήρου λανθασμένες απαντήσεις σε εκατόν πενήντα τρεις περιπτώσεις, αν και αναγνώρισε μόνο επτά φορές την αδυναμία να απαντήσει με ακρίβεια σε ένα ερώτημα», διαπιστώθηκε στη μελέτη. «Μόνο σε αυτές τις επτά εξόδους το chatbot χρησιμοποίησε προσδιοριστικές λέξεις και φράσεις όπως «φαίνεται», «είναι πιθανό» ή «θα μπορούσε» ή δηλώσεις όπως «δεν μπόρεσα να εντοπίσω το ακριβές άρθρο.

.Η επιπόλαιη στάση του ChatGPT Search απέναντι στην αλήθεια θα μπορούσε να βλάψει όχι μόνο τη δική του φήμη αλλά και τη φήμη των εκδοτών που παραθέτει. Σε μια δοκιμή κατά τη διάρκεια της μελέτης, η τεχνητή νοημοσύνη απέδωσε λανθασμένα ένα άρθρο του Time ως γραμμένο από την Orlando Sentinel. Σε μια άλλη δοκιμή, η τεχνητή νοημοσύνη δεν παρέπεμψε απευθείας σε ένα άρθρο των New York Times, αλλά σε μια άλλη ιστοσελίδα που είχε αντιγράψει το άρθρο χονδρικά.

Η OpenAI, όπως ήταν αναμενόμενο, υποστήριξε ότι τα αποτελέσματα της μελέτης οφείλονταν στο ότι το Columbia έκανε λάθος τις δοκιμές.

Η λανθασμένη απόδοση είναι δύσκολο να αντιμετωπιστεί χωρίς τα δεδομένα και τη μεθοδολογία που το Tow Center απέκρυψε, και η μελέτη αποτελεί μια άτυπη δοκιμή του προϊόντος μας.

[via]