Η Apple μοιράστηκε λεπτομέρειες σχετικά με μια συνεργασία με τη NVIDIA για να βελτιώσει σημαντικά την απόδοση των μεγάλων γλωσσικών μοντέλων (LLMs) εφαρμόζοντας μια νέα τεχνική δημιουργίας κειμένου που προσφέρει σημαντικές βελτιώσεις ταχύτητας για εφαρμογές τεχνητής νοημοσύνης.

Η Apple νωρίτερα φέτος δημοσίευσε το Recurrent Drafter (ReDrafter) ανοιχτού κώδικα, μια προσέγγιση που συνδυάζει μεθόδους αναζήτησης δέσμης και δυναμικής προσοχής δέντρων για να επιταχύνει τη δημιουργία κειμένου.

Η αναζήτηση δέσμης εξερευνά πολλές πιθανές ακολουθίες κειμένου ταυτόχρονα για καλύτερα αποτελέσματα, ενώ η προσοχή του δέντρου οργανώνει και αφαιρεί τις περιττές επικαλύψεις μεταξύ αυτών των ακολουθιών για να βελτιώσει την αποτελεσματικότητα.

Η Apple έχει πλέον ενσωματώσει την τεχνολογία στο πλαίσιο TensorRT-LLM της NVIDIA, το οποίο βελτιστοποιεί τα LLM που εκτελούνται σε GPU της NVIDIA, όπου πέτυχε “υψηλή απόδοση”, σύμφωνα με την Apple. Η ενσωμάτωση είδε την τεχνική να διαχειρίζεται μια αύξηση ταχύτητας 2,7x στα διακριτικά που δημιουργούνται ανά δευτερόλεπτο κατά τη διάρκεια της δοκιμής με ένα μοντέλο παραγωγής που περιέχει δεκάδες δισεκατομμύρια παραμέτρους.

Η Apple λέει ότι η βελτιωμένη απόδοση όχι μόνο μειώνει τον λανθάνοντα χρόνο που αντιλαμβάνεται ο χρήστης, αλλά οδηγεί επίσης σε μειωμένη χρήση GPU και κατανάλωση ενέργειας.