Η τεχνολογίες τεχνητής νοημοσύνης εξελίσσεται συνεχώς. Μπορεί πολλοί άνθρωποι χρησιμοποιούν AI για να ολοκληρώνουν τις εργασίες τους πιο εύκολα, αυτή η τεχνολογία μπορεί να προσφέρει πολύ περισσότερα. Η Google προσπαθεί εδώ και χρόνια να φτάσει τα όρια της τεχνητής νοημοσύνης και να ξεκλειδώσει όλο το φάσμα των δυνατοτήτων της. Η τελευταία εξέλιξη αυτής της προσπάθειας είναι το AudioPaLM. Πρόκειται για ένα νέο γλωσσικό μοντέλο που μπορεί να ακούσει, να μιλήσει, και να μεταφράσει με πρωτοφανή ακρίβεια.
Πρόκειται για μια πολυτροπική αρχιτεκτονική που συνδυάζει τα πλεονεκτήματα δύο υφιστάμενων μοντέλων, των PaLM-2 και AudioLM. Το PaLM-2 είναι ένα γλωσσικό μοντέλο βασισμένο σε κείμενο που είναι καλό στην κατανόηση της γλωσσικής γνώσης συγκεκριμένων κειμένων. Από την άλλη, το AudioLM είναι εξαιρετικό στη διατήρηση παραγλωσσικών πληροφοριών όπως η ταυτότητα του ομιλητή και ο τόνος.
Συνδυάζοντας αυτά τα δύο μοντέλα, το AudioPaLM εκμεταλλεύεται τη γλωσσική εμπειρογνωμοσύνη του PaLM-2 και τη διατήρηση των παραγλωσσικών πληροφοριών του AudioLM, οδηγώντας σε μια πιο εμπεριστατωμένη κατανόηση και δημιουργία τόσο κειμένου όσο και ομιλίας.
Αυτό το γλωσσικό μοντέλο κάνει χρήση ενός κοινού λεξιλογίου που μπορεί να αναπαραστήσει τόσο ομιλία όσο και κείμενο, με έναν περιορισμένο αριθμό διακριτών tokens. Αυτό επιτρέπει την ενοποίηση εργασιών όπως η αναγνώριση ομιλίας, η σύνθεση κειμένου από ομιλία, και η μετάφραση ομιλίας σε ομιλία, και τη δημιουργία μιας ενιαίας αρχιτεκτονικής και διαδικασίας εκπαίδευσης.
Το AudioPaLM έχει αποδειχθεί ότι ξεπερνά τα υπάρχοντα συστήματα στη μετάφραση ομιλίας. Επιπλέον, μπορεί να εκτελέσει μετάφραση ομιλίας σε κείμενο για γλωσσικούς συνδυασμούς που δεν έχει συναντήσει ποτέ πριν. Επίσης, μπορεί να μεταφέρει φωνές μεταξύ γλωσσών με βάση σύντομες προφορικές οδηγίες και μπορεί να συλλάβει και να αναπαράγει ξεχωριστές φωνές σε διαφορετικές γλώσσες.
