Πώς η OpenAI ξεπερνά τις επιδόσεις των Nvidia GPUs

Σύνοψη

• Η OpenAI ανακοίνωσε τα πρώτα αποτελέσματα του Jalapeño, του πρώτου custom chip της αποκλειστικά για διεργασίες AI inference.
• Το νέο hardware προσφέρει 1.5x έως 1.9x περισσότερη απόδοση ανά Watt και 1.7x έως 3.6x χαμηλότερο χρόνο απόκρισης σε σχέση με τα εμπορικά διαθέσιμα συστήματα.
• Σχεδιάστηκε με τη συμβολή της ίδιας της τεχνητής νοημοσύνης σε μόλις 9 μήνες και η πραγματική του κατανάλωση δεν ξεπερνά τα 550W.
• Θα ενσωματωθεί στις υποδομές της OpenAI έως τα τέλη του 2026, με τη δεύτερη και τρίτη γενιά του chip να βρίσκονται ήδη υπό ανάπτυξη.

Η OpenAI προχώρησε στην επίσημη δημοσιοποίηση των πρώτων αποτελεσμάτων επιδόσεων για το Jalapeño, το παρθενικό της custom chip που έχει σχεδιαστεί αποκλειστικά για διεργασίες inference στην τεχνητή νοημοσύνη, αποδεικνύοντας ότι η μετάβαση στον ιδιόκτητο σχεδιασμό hardware αποδίδει ήδη σημαντικούς καρπούς. 

Καθώς ο όγκος δεδομένων και οι απαιτήσεις των σύγχρονων γλωσσικών μοντέλων αυξάνονται με εκθετικούς ρυθμούς, η εταιρεία αποφάσισε να επενδύσει στρατηγικά στη δημιουργία μιας εξειδικευμένης αρχιτεκτονικής, η οποία στοχεύει στην επίλυση των παραδοσιακών σημείων συμφόρησης που αφορούν την κατανάλωση ενέργειας και την ταχύτητα απόκρισης. Τα δημοσιευμένα benchmarks, τα οποία βασίζονται σε πραγματικές συνθήκες φόρτου εργασίας, καταδεικνύουν μια αξιοσημείωτη τεχνολογική πρόοδο που καθιστά το νέο chip κομβικό στοιχείο για την εξέλιξη των υποδομών της OpenAI.

Το Jalapeño προσφέρει έως και 1.9x περισσότερη απόδοση ανά Watt σε σύγκριση με τον ανταγωνισμό, μειώνοντας παράλληλα το latency στο 1/3 (έως 3.6x γρηγορότερα). Αν και η επίσημη ονομαστική του ισχύς ανέρχεται στα 700W, η πραγματική μέγιστη κατανάλωση ενέργειας διατηρείται σταθερά κάτω από τα 550W.

• Υποστήριξη μοντέλων: Απόλυτη συμβατότητα με γιγαντιαία μοντέλα όπως τα GPT-OSS 120B, DeepSeek R1 670B και Kimi K2.5 1T.
• Διαδραστική απόδοση: Επίτευξη 2.1x έως 4.1x υψηλότερης απόδοσης σε εξαιρετικά διαδραστικούς (agentic) φόρτους εργασίας.
• Ταχύτητα ανάπτυξης: Ολοκλήρωση της διαδικασίας από τον αρχικό σχεδιασμό έως το tapeout σε χρονικό διάστημα μόλις εννέα μηνών.
• Ενεργειακή αποδοτικότητα: Προσφέρει έως και 104 φορές περισσότερο throughput (στο προηγούμενο minimum TBT) στο μοντέλο DeepSeek R1.

Αρχιτεκτονική βελτιστοποιημένη για Prefill και Decode

Η σχεδιαστική φιλοσοφία του Jalapeño βασίστηκε στο θεμελιώδες ερώτημα του πώς θα έπρεπε να δομηθεί ένα hardware αποκλειστικά για την εξυπηρέτηση σύγχρονων και μελλοντικών γλωσσικών μοντέλων, δίνοντας ιδιαίτερη βαρύτητα στους διαδραστικούς AI agents. Η διαδικασία του language-model inference περνά από διαφορετικές φάσεις που αντιμετωπίζουν διακριτά bottlenecks. Η φάση του prefill, κατά την οποία το σύστημα επεξεργάζεται το αρχικό prompt, είναι εξαιρετικά απαιτητική σε υπολογιστική ισχύ. Αντιθέτως, η φάση του decode, όπου το σύστημα παράγει την απάντηση token προς token, περιορίζεται κατά κύριο λόγο από το bandwidth της μνήμης. Η επικοινωνία μεταξύ διαφορετικών πυρήνων και chips μπορεί να προσθέσει ανεπιθύμητο latency, αφήνοντας ανενεργές ορισμένες υπολογιστικές μονάδες την ώρα που απλώς περιμένουν τη μεταφορά δεδομένων.

Η OpenAI σχεδίασε το Jalapeño με κεντρικό άξονα την ελαχιστοποίηση της μετακίνησης δεδομένων και των καθυστερήσεων στην εσωτερική επικοινωνία. Αυτό σημαίνει ότι η κατάσταση του μοντέλου, συμπεριλαμβανομένης της μνήμης cache που χρησιμοποιείται αδιάκοπα κατά τη δημιουργία μιας απάντησης, μπορεί να τοποθετηθεί ρητά και να παραμείνει τοπική. Το σύστημα ενεργοποιεί δυναμικά τον κατάλληλο συνδυασμό υπολογιστικής ισχύος, μνήμης και δικτύωσης για κάθε επιμέρους φάση του inference, διασφαλίζοντας ότι ολόκληρος ο φόρτος εργασίας παραμένει εντός ενός στενά διασυνδεδεμένου συστήματος.

Ο ρόλος της Τεχνητής Νοημοσύνης στον σχεδιασμό hardware

Ένα από τα πλέον εντυπωσιακά στοιχεία της τεχνολογικής εξέλιξης του Jalapeño είναι ο άμεσος ρόλος που διαδραμάτισε η ίδια η τεχνητή νοημοσύνη στη δημιουργία του. Η αξιοποίηση προηγούμενων γενεών μοντέλων επέτρεψε στην ομάδα των μηχανικών της εταιρείας να συντομεύσει θεαματικά τους κύκλους σχεδιασμού, μέτρησης και επαλήθευσης. Η τεχνητή νοημοσύνη συνέβαλε καθοριστικά στη βελτιστοποίηση των αριθμητικών κυκλωμάτων του chip, επιτρέποντας την ενσωμάτωση μεγαλύτερης υπολογιστικής απόδοσης στο πυρίτιο χωρίς να υπάρξει καμία απολύτως παρεκτροπή από το αυστηρό χρονοδιάγραμμα των εννέα μηνών.

Επιπρόσθετα, το νέο chip σχεδιάστηκε εξ αρχής ώστε να αποτελεί έναν ξεκάθαρο, προβλέψιμο στόχο προγραμματισμού, τον οποίο οι αλγόριθμοι μπορούν να διαχειριστούν αποτελεσματικά. Η ομάδα χρησιμοποίησε το Codex σε συνδυασμό με το GPT-Astra προκειμένου να προσαρμόσει τρία open-weight μοντέλα, τα οποία αρχικά δεν αποτελούσαν καν μέρος του πρωταρχικού σχεδιασμού. Μέσα σε διάστημα δύο μηνών, τα μοντέλα αυτά έφτασαν σε ανώτατα επίπεδα λειτουργικής απόδοσης. Αξίζει μάλιστα να υπογραμμιστεί ότι, για συγκεκριμένα blocks προσοχής (attention) του GPT-OSS, οι υλοποιήσεις κώδικα που δημιουργήθηκαν εξ ολοκλήρου από την τεχνητή νοημοσύνη εκτελέστηκαν 1.5 έως 1.8 φορές ταχύτερα συγκριτικά με τις αντίστοιχες υλοποιήσεις που είχαν γραφτεί από κορυφαίους ανθρώπους προγραμματιστές.

Συγκριτικά benchmarks: Κυριαρχία σε GPT-OSS, DeepSeek και Kimi

Για να αξιολογήσει αντικειμενικά τις επιδόσεις της νέας αρχιτεκτονικής, η OpenAI χρησιμοποίησε το InferenceX, ένα ανεξάρτητο και δημόσιο benchmark της SemiAnalysis που μετρά την πλήρη διαδικασία εξυπηρέτησης ενός αιτήματος. Οι συγκρίσεις πραγματοποιήθηκαν απέναντι στα κορυφαία εμπορικά διαθέσιμα συστήματα της αγοράς (αναφορές γίνονται συχνά απέναντι σε καταναλώσεις επιπέδου GB200 1200W και GB300 1400W).

Στο μοντέλο GPT-OSS 120B, το Jalapeño προσέφερε 1.9x υψηλότερο peak mixed TPS/kW (85.448 έναντι 44.960). Το end-to-end latency μειώθηκε κατά 1.7x, πέφτοντας στο 1.03s έναντι 1.80s του ανταγωνισμού, ενώ παράλληλα έδειξε 2.7x χαμηλότερο χρόνο TBT (Time Between Tokens). Παρόμοια εντυπωσιακή εικόνα καταγράφηκε και στο DeepSeek R1 670B MXFP4, όπου το Jalapeño σημείωσε 1.7x υψηλότερο peak mixed TPS/kW και ένα εκπληκτικό 3.6x χαμηλότερο end-to-end latency (1.65s έναντι 5.99s). Τέλος, στο τεράστιο μοντέλο Kimi K2.5 του ενός τρισεκατομμυρίου παραμέτρων, το chip της OpenAI κατέγραψε 1.5x υψηλότερη κορυφαία απόδοση ανά Watt και 3.4x χαμηλότερο χρόνο απόκρισης.