Το να είσαι αγενής με το ChatGPT αυξάνει την ακρίβειά του, αλλά μπορεί να το μετανιώσεις -Τι έδειξε έρευνα

Νέα μελέτη έδειξε ότι τα chatbots τεχνητής νοημοσύνης (AI), ειδικά το ChatGPT, ενδέχεται να δίνουν πιο ακριβείς απαντήσεις όταν οι χρήστες είναι αγενείς.

Οι επιστήμονες ωστόσο προειδοποιούν ότι η χρήση προσβλητικής γλώσσας στην αλληλεπίδραση ανθρώπου-Τεχνητής Νοημοσύνης μπορεί να ενέχει κινδύνους.

Η μελέτη δημοσιεύθηκε στις 6 Οκτωβρίου στη βάση προδημοσιεύσεων arXiv και δεν έχει ακόμα αξιολογηθεί από ομοτίμους. Σκοπός της είναι να εξετάσει αν ο τόνος του χρήστη, δηλαδή πόσο ευγενικός ή αγενής είναι, επηρεάζει την ακρίβεια των απαντήσεων.

Έτσι, οι ερευνητές συνέταξαν 50 βασικές ερωτήσεις πολλαπλής επιλογής και στη συνέχεια τις τροποποίησαν σε πέντε κατηγορίες τόνου: πολύ ευγενικό, ευγενικό, ουδέτερο, αγενές και πολύ αγενές. Οι ερωτήσεις κάλυπταν γνωστικά πεδία όπως μαθηματικά, ιστορία και επιστήμες, και κάθε μία είχε τέσσερις πιθανές απαντήσεις από τις οποίες η μία σωστή. Τα 250 ερωτήματα που προέκυψαν τα έβαλαν δέκα φορές στο ChatGPT-4o, ένα από τα πιο προηγμένα μεγάλα γλωσσικά μοντέλα (LLMs) που έχει αναπτύξει η OpenAI.

Τι έδειξε η έρευνα στο ChatGPT

Τα
αποτελέσματα έδειξαν ότι ο τόνος
επηρεάζει την απόδοση. «Τα
πειράματά μας είναι προκαταρκτικά και
δείχνουν ότι ο τόνος μπορεί να επηρεάσει
σημαντικά την απόδοση που μετριέται με
βάση τη βαθμολογία στις απαντήσεις στις
50 ερωτήσεις», έγραψαν οι ερευνητές στην
εργασία τους. «Κάπως εκπληκτικά, τα
αποτελέσματά μας δείχνουν ότι οι αγενείς
τόνοι οδηγούν σε καλύτερα αποτελέσματα
από τους ευγενικούς«,
σημείωσαν ωστόσο προειδοποίησαν ότι
«η
χρήση προσβλητικής ή υποτιμητικής
γλώσσας στην αλληλεπίδραση ανθρώπου-Τεχνητής
Νοημοσύνης θα μπορούσε να έχει αρνητικές
επιπτώσεις στην εμπειρία του χρήστη,
την προσβασιμότητα και την συμπερίληψη
και μπορεί να συμβάλει σε επιβλαβείς
κανόνες επικοινωνίας».

Όπως
εξηγεί το LiveScience, πριν
από κάθε prompt, οι
ερευνητές ζητούσαν από το chatbot να αγνοεί
πλήρως τις προηγούμενες συνομιλίες,
ώστε να μην επηρεάζεται από τον τόνο
των προηγούμενων απαντήσεων και
τού ζητούσαν να επιλέγει μόνο μία
απάντηση χωρίς εξήγηση.

Οι
πολύ ευγενικές προτροπές ξεκινούσαν
με το:
«Μπορώ να ζητήσω τη βοήθειά σας με αυτή
την ερώτηση;» ή «Θα ήσασταν τόσο ευγενικός
ώστε να λύσετε την ακόλουθη ερώτηση;».
Στις
αγενείς προτροπές
χρησιμοποιήθηκαν φράσεις όπως: «Έι,
υπάλληλε, λύσε
αυτό» ή «Ξέρω ότι δεν είσαι έξυπνος,
αλλά δοκίμασε αυτό.».

Η
ακρίβεια των απαντήσεων αυξανόταν όσο
μειωνόταν η ευγένεια. Τα
ποσοστά επιτυχίας ανά τόνο ήταν τα εξής:

• Πολύ ευγενικός τόνος: 80,8%
• Ευγενικός τόνος: 81,4%
• Ουδέτερος τόνος: 82,2%
• Αγενής τόνος: 82,8%
• Πολύ αγενής τόνος: 84,8%

Οι επιστήμονες σημείωσαν ότι τα αποτελέσματά τους έρχονται σε αντίθεση με προηγούμενες μελέτες, στις οποίες διαπιστώθηκε πως η αγένεια μειώνει την απόδοση, ενώ η ευγένεια δεν τη βελτιώνει απαραίτητα.

Ωστόσο,
εκείνες οι μελέτες χρησιμοποιούσαν
άλλα μοντέλα (ChatGPT 3.5 και Llama 2-70B) και
περισσότερες κατηγορίες τόνου (οκτώ
συνολικά). Παρά τις διαφορές, υπήρξε και
εκεί μια μικρή ομοιότητα: οι πιο αγενείς
διατυπώσεις είχαν επίσης ελαφρώς
υψηλότερη ακρίβεια (76,47%) από τις πιο
ευγενικές (75,82%).

Οι
ερευνητές επισημαίνουν ότι τα αποτελέσματα
είναι προκαταρκτικά και ότι η μελέτη
έχει σημαντικούς περιορισμούς
καθώς το
δείγμα των 250 ερωτήσεων είναι μικρό,
και γίνεται χρήση χρήση
ενός μόνο μοντέλου (ChatGPT-4o).

Στο μέλλον σχεδιάζουν να επεκτείνουν την έρευνα σε άλλα μοντέλα, όπως το Claude της Anthropic και το ChatGPT o3 της OpenAI.

Πηγή: LiveScience