Έχουν εξαντληθεί ήδη τα ανθρώπινα δεδομένα εκπαίδευσης της AI

Ο Elon Musk, φαίνεται να πιστεύει ότι η εκπαίδευση μοντέλων AI με αποκλειστικά ανθρώπινα δεδομένα καθίσταται αδύνατη. Ο Musk ισχυρίζεται ότι υπάρχει αυξανόμενη έλλειψη δεδομένων από τον πραγματικό κόσμο με τα οποία μπορούν να εκπαιδευτούν μοντέλα AI, συμπεριλαμβανομένου του Grok AI chatbot του.

«Έχουμε πλέον εξαντλήσει ουσιαστικά το αθροιστικό σύνολο της ανθρώπινης γνώσης … στην εκπαίδευση της AI», δήλωσε ο Musk κατά τη διάρκεια μιας ζωντανής συνέντευξης στο X που πραγματοποιήθηκε από τον πρόεδρο της Stagwell, Mark Penn. «Αυτό συνέβη ουσιαστικά πέρυσι».

Τα σχόλια του Musk αντανακλούν εκείνα του πρώην ερευνητή της OpenAI, Ilya Sutskever, ο οποίος προέβλεψε τον περασμένο Δεκέμβριο ότι η βιομηχανία Τεχνητής Νοημοσύνης είχε φτάσει στο «peak data». Η λύση του Musk σε αυτό το ζήτημα – συνθετικά δεδομένα – αντικατοπτρίζει επίσης την ευρύτερη βιομηχανία. Η Google, η OpenAI, η Anthropic και η Meta αξιοποιούν ήδη συνθετικά δεδομένα για την εκπαίδευση των μοντέλων τους.

«Ο μόνος τρόπος για να συμπληρώσουμε τα δεδομένα του πραγματικού κόσμου είναι με συνθετικά δεδομένα, όπου η AI δημιουργεί δεδομένα εκπαίδευσης», δήλωσε ο Musk. «Με τα συνθετικά δεδομένα … η AI θα διαβαθμιστεί και θα περάσει από αυτή τη διαδικασία της αυτομάθησης».

Αν και η χρήση συνθετικών δεδομένων μπορεί να προσφέρει σημαντική εξοικονόμηση κόστους στις εταιρείες, ορισμένες μελέτες υποδεικνύουν ότι η υπερβολική εξάρτηση από συνθετικά δεδομένα μπορεί να οδηγήσει σε κατάρρευση του μοντέλου, όπου οι απαντήσεις της AI γίνονται λιγότερο δημιουργικές και πιο προκατειλημμένες με την πάροδο του χρόνου, καθώς εκπαιδεύονται επανειλημμένα σε αναδρομικά παραγόμενα δεδομένα.

[via]