Η Google έχει αναπτύξει ένα νέο sign language translation μοντέλο, σύμφωνα με ανακοίνωση της Google DeepMind το οποίο μπορεί να μετατρέψει περίπλοκες κινήσεις σώματος σε κείμενο, έχοντας εκπαιδευτεί πάνω σε περισσότερες από 100.000 ώρες δεδομένων και σε 50 διαφορετικά είδη νοηματικής.
Η τεχνολογία αποκαλείται Sign Language to Text (SL2T) έχοντας περάσει και βγει από το στάδιο της έρευνας και αναμένεται σύντομα να φθάσει σε ακόμη περισσότερες consumer συσκευές, (βρίσκεται ήδη στα Pixel 11) αρχής γενομένης με την Αμερικανική νοηματική γλώσσα στα Google Pixel 11 smartphones.
Τι μπορεί να κάνει το Sign Language to Text (SL2T)
Το μοντέλο χρησιμοποιείται για τα νέα sign-to-text features του Gboard και του Live Transcribe. Δηλαδή, αντί να απαιτεί από το χρήστη να πληκτρολογήσει, μπορούν με νοήματα να πραγματοποιήσουν αναζήτηση στο διαδίκτυο, να γράψουν μηνύματα, να αλληλεπιδράσουν με το Gemini της Google ή ακόμη και να γράψουν έγγραφα και να τα επεξεργαστούν.
Σε αντίθεση με περιπτώσεις μεταγραφής της ομιλίας, η μετάφραση της νοηματικής γλώσσας είναι κάτι που δεν μπορεί απλώς να γίνει με αντιστοίχιση μιας ακολουθίας ήχων σε λέξεις. Οι νοηματικές γλώσσες είναι ανεξάρτητες γλώσσες με τη δική τους γραμματική και λεξιλόγιο, με την έννοια ότι μπορεί το νόημα να μεταδοθεί ταυτόχρονα μέσω των κινήσεων των χεριών, των εκφράσεων του προσώπου, της στάσης του κεφαλιού.
Παράλληλα, αντί να αποστέλλει το raw feed της κάμερας για μετάφραση, το σύστημα χρησιμοποιεί ένα άλλο μοντέλο της Google, το MediaPipe Holistic, για να προσδιορίσει τα σημεία αναφοράς της στάσης του ατόμου που χρησιμοποιεί τη νοηματική γλώσσα. Δηλαδή γεωμετρικές συντεταγμένες που αντιπροσωπεύουν τις κινήσεις των χεριών, του προσώπου και του σώματος. Μόνο αυτές οι συντεταγμένες αποστέλλονται στο σύστημα μετάφρασης, ενώ το αρχικό βίντεο διαγράφεται αμέσως.
Πρόκειται για μία προσέγγιση η οποία έχει σχεδιαστεί να μειώσει τον όγκο των ευαίσθητων οπτικών πληροφοριών που φεύγουν από τη συσκευή, παρέχοντας παράλληλα στο μοντέλο τις απαραίτητες πληροφορίες σχετικά με τον τρόπο με τον οποίο ένα άτομο χρησιμοποιεί τη νοηματική γλώσσα.
Το SL2Τ στη συνέχεια, μεταφράζει την ακολουθία αυτή σε κείμενο.
Αξίζει να σημειωθεί ότι αυτή τη στιγμή το συναντούμε στα ολοκαίνουργια τηλέφωνα της Google, τα Google Pixel 11 και για την αμερικανική νοηματική γλώσσα, ενώ στη συνέχεια θα ακολουθήσουν και άλλες γλώσσες και συσκευές.
