Ένα νέο AI μοντέλο που τρέχει τοπικά σε Windows 11 για να βοηθά τον χρήστη

Η Microsoft παρουσίασε επίσημα το Mu, ένα νέο μικρού μεγέθους γλωσσικό μοντέλο τεχνητής νοημοσύνης που ενσωματώνεται απευθείας στο λειτουργικό σύστημα Windows 11. Το Mu έρχεται ως μέρος της στρατηγικής της εταιρείας να ενισχύσει τις δυνατότητες των Copilot+ PCs με έξυπνες λειτουργίες βασισμένες στην τοπική επεξεργασία γλώσσας, προσφέροντας στους χρήστες πιο φυσική και άμεση αλληλεπίδραση με το σύστημα.

Η νέα αυτή προσθήκη αποτελεί συνέχεια της περσινής κυκλοφορίας των Copilot+ PCs, τα οποία ήταν τα πρώτα που ενσωμάτωσαν ειδικές NPUs, ικανές να εκτελούν πάνω από 40 τρισεκατομμύρια λειτουργίες ανά δευτερόλεπτο (TOPS). Τότε είχε παρουσιαστεί το Phi-Silica, ένα γλωσσικό μοντέλο που χρησιμοποιούσε την τοπική υπολογιστική ισχύ για να ενισχύσει τις εφαρμογές της Microsoft και άλλων προγραμματιστών. Τώρα, με το Mu, η Microsoft προχωρά σε ένα βήμα παραπέρα, φέρνοντας ένα ακόμα πιο ελαφρύ και αποδοτικό μοντέλο απευθείας στο Settings app του Windows 11.

Το Mu σχεδιάστηκε ειδικά για να λειτουργεί γρήγορα και αποδοτικά στις NPUs των σύγχρονων υπολογιστών, αποδίδοντας περισσότερα από 100 tokens ανά δευτερόλεπτο σε τοπικό επίπεδο, χωρίς να απαιτείται σύνδεση με το cloud. Σύμφωνα με επίσημη ανάρτηση στο blog της Microsoft, το μοντέλο βασίζεται στην αρχιτεκτονική encoder-decoder, διαθέτοντας συνολικά 330 εκατομμύρια παραμέτρους.

Αυτό το συγκεκριμένο αρχιτεκτονικό μοντέλο προσφέρει σημαντικά πλεονεκτήματα σε σχέση με τις πιο κλασικές επιλογές. Όπως αναφέρεται, η καθυστέρηση για την παραγωγή του πρώτου token είναι μειωμένη κατά περίπου 47%, ενώ η συνολική ταχύτητα αποκωδικοποίησης είναι έως και 4,7 φορές ταχύτερη σε σύγκριση με ένα μοντέλο μόνο-decoders αντίστοιχου μεγέθους. Μέσω της χρήσης κοινών βαρών (weight sharing) σε επιμέρους τμήματα, η Microsoft κατάφερε να μειώσει ακόμα περισσότερο τον συνολικό αριθμό παραμέτρων, χωρίς να θυσιάσει την απόδοση.

Η εκπαίδευση του Mu έγινε με τη χρήση καρτών γραφικών NVIDIA A100, σε υποδομή Azure Machine Learning. Αξιοσημείωτο είναι ότι το Mu, παρά το μικρό του μέγεθος, προσφέρει επιδόσεις συγκρίσιμες με το Phi-3.5-mini, ένα μοντέλο περίπου δέκα φορές μεγαλύτερο σε μέγεθος, που έχει επίσης βελτιστοποιηθεί για συγκεκριμένες εργασίες.

Η βασική αποστολή του Mu στο Windows 11 είναι να ενισχύσει την εμπειρία αναζήτησης και πλοήγησης μέσα από το Settings app. Πιο συγκεκριμένα, το μοντέλο επιτρέπει στους χρήστες να πληκτρολογούν φυσικές ερωτήσεις —όπως “πώς μπορώ να αλλάξω την ανάλυση της οθόνης μου;”— και να λαμβάνουν ακριβείς απαντήσεις, βελτιώνοντας έτσι τη χρηστικότητα και την προσβασιμότητα. Η λειτουργία αυτή έχει ήδη γίνει διαθέσιμη σε δοκιμαστική μορφή για τους χρήστες του Dev Channel που διαθέτουν Copilot+ PCs.

Παρότι το Mu αποδίδει καλύτερα σε πλήρεις φράσεις και όχι σε μεμονωμένες λέξεις ή συντομογραφίες, το σύστημα συνεχίζει να παρέχει αποτελέσματα με βάση τη λεξική και σημασιολογική αναζήτηση, όταν εντοπίζει σύντομα ή μερικά λεκτικά ερωτήματα.

Οι χρήστες που επιθυμούν να δοκιμάσουν αυτή τη νέα δυνατότητα, μπορούν να εγκαταστήσουν την έκδοση Windows 11 Build 26120.3964 (KB5058496) ή νεότερη.

[via]