Τις τελευταίες δεκαετίες, οι ερευνητές έχουν αναπτύξει τακτικά συσκευές που μεταφράζουν την αμερικανική νοηματική γλώσσα (ASL) στα αγγλικά, με την ελπίδα να διευκολύνουν την επικοινωνία μεταξύ των ανθρώπων που είναι κωφοί και δύσκολοι της ακοής και στον κόσμο της ακοής. Πολλές από αυτές τις τεχνολογίες χρησιμοποιούν γάντια για να συλλάβουν την κίνηση της υπογραφής, η οποία μπορεί να είναι ογκώδης και αμήχανη.
Τώρα, μια ομάδα ερευνητών στο Πανεπιστήμιο Michigan State University (MSU) έχει αναπτύξει μια συσκευή χωρίς γάντια μεγέθους ενός σωλήνα της Chapstick που ελπίζουν ότι θα βελτιώσει την ASL-αγγλική μετάφραση.
Η τεχνολογία, που ονομάζεται DeepASL, χρησιμοποιεί μια συσκευή κάμερας για να καταγράψει τις κινήσεις των χεριών, στη συνέχεια τροφοδοτεί τα δεδομένα μέσω ενός αλγορίθμου βαθιάς μάθησης, ο οποίος ταιριάζει με τα σημάδια της ASL. Σε αντίθεση με πολλές προηγούμενες συσκευές, το DeepASL μπορεί να μεταφράσει ολόκληρες προτάσεις αντί για μεμονωμένες λέξεις και δεν απαιτεί από τους χρήστες να κάνουν παύση μεταξύ σημείων.
"Αυτή είναι μια πραγματικά μη παρεμβατική τεχνολογία", λέει ο Μι Ζανγκ, καθηγητής Ηλεκτρολόγων Μηχανικών και Μηχανικών Ηλεκτρονικών Υπολογιστών που ηγείται της έρευνας.
Ο Ζανγκ και η ομάδα του ελπίζουν ότι το DeepASL μπορεί να βοηθήσει τους ανθρώπους που είναι κωφοί και δύσκολοι να ακούν, εξυπηρετώντας ως μεταφραστή σε πραγματικό χρόνο. Θα μπορούσε να είναι ιδιαίτερα χρήσιμο σε καταστάσεις έκτακτης ανάγκης, λέει ο Zhang, όταν περιμένει έναν μεταφραστή θα μπορούσε να κοστίσει πολύτιμα λεπτά. Η συσκευή, η οποία μπορεί να ενσωματωθεί σε τηλέφωνο, tablet ή υπολογιστή, μπορεί επίσης να βοηθήσει στη διδασκαλία ASL, λέει ο Ζανγκ. Δεδομένου ότι περισσότερο από το 90 τοις εκατό των κωφών παιδιών γεννιέται στους γονείς που ακούν, υπάρχει μια μεγάλη κοινότητα ενηλίκων που πρέπει να μάθουν ASL γρήγορα. Το DeepASL θα μπορούσε να χρησιμεύσει ως ψηφιακός δάσκαλος, δίνοντας ανατροφοδότηση σχετικά με το αν οι μαθητές υπογράφουν σωστά.
Ο Zhang έχει υποβάλει αίτηση για δίπλωμα ευρεσιτεχνίας και ελπίζει να διαθέτει μια συσκευή στην αγορά εντός ενός έτους. Επειδή βασίζεται σε οικονομικά προσιτή τεχνολογία - το σύστημα συλλήψεως κίνησης Leap Motion διατίθεται για $ 78 - θα μπορούσε να είναι ευρύτερα προσβάσιμο από τις προηγούμενες προσπάθειες.
Οι ερευνητές Biyi Fang και Mi Zhang επιδεικνύουν το DeepASL. (Michigan State University) Αλλά ο Christian Vogler, καθηγητής επικοινωνιακών σπουδών στο πανεπιστήμιο Gallaudet, ένα πανεπιστήμιο για ανθρώπους που είναι κωφοί ή ακούγοντες, είναι σκεπτικός για τις συσκευές που έχουν σχεδιαστεί για να μεταφράσουν το ASL και ο σκεπτικισμός του μοιράζεται από πολλούς στην κοινότητα των Κωφών.
Οι συσκευές γενικά δεν μεταφράζουν πραγματικά την ASL, απλώς αναγνωρίζουν τα σημάδια χεριών και τα μετατρέπουν σε αγγλική λέξη ανά σημάδι, λέει ο Vogler. Αυτό σημαίνει ότι έχουν χαθεί σημαντικές γραμματικές πληροφορίες, πληροφορίες σχετικά με το αν μια φράση είναι μια ερώτηση, μια άρνηση, μια σχετική ρήτρα κ.ο.κ. Ενώ το DeepASL μεταφράζει πλήρεις προτάσεις, ορισμένα χαρακτηριστικά της γραμματικής ASL ξεπερνούν τα σημάδια χεριών - οι εκφράσεις του προσώπου χρησιμοποιούνται συχνά ως τροποποιητές, η αύξηση φρυδιών μπορεί να μετατρέψει μια φράση σε μια ερώτηση, η τοποθέτηση του σώματος μπορεί να υποδεικνύει πότε ο χρήστης ASL παραθέτει κάποιον άλλο.
Μέχρι στιγμής, "κανένα από τα συστήματα δεν ήταν ακόμη και πολύ χρήσιμο για τους ανθρώπους που υπογράφουν", λέει ο Vogler, προσθέτοντας ότι οι ερευνητές συχνά έχουν "πολύ λίγη επαφή με την κοινότητα [Κωφών και Ακρόαση] και ελάχιστη ιδέα για την πραγματική τους ανάγκες των."
Η ομάδα του Ζανγκ δεν έλεγξε τη συσκευή σε άτομα που ήταν κωφά και σκληρά, αλλά σε μαθητές σε πρόγραμμα μετάφρασης νοηματικής γλώσσας. Ο Ζανγκ τονίζει ότι το DeepASL έχει σχεδιαστεί για να επιτρέπει μόνο τη βασική επικοινωνία σε αυτό το σημείο και ότι αυτό είναι απλώς ένα σημείο εκκίνησης. Λέει ότι η ομάδα του ελπίζει να επεκτείνει τις δυνατότητες του DeepASL στο μέλλον για να καταγράψει και τις εκφράσεις του προσώπου.
"Αυτό θα είναι το επόμενο σημαντικό ορόσημο για να φτάσουμε", λέει.
Ο Vogler λέει ότι είναι θετικό το γεγονός ότι η τεχνολογία MSU χρησιμοποιεί μεθόδους βαθιάς μάθησης, οι οποίες είχαν επιτυχία με την ομιλούμενη γλώσσα. Αλλά, παρά το γεγονός ότι δεν απαιτεί γάντι, η συσκευή πιθανόν να έχει τις ίδιες παγίδες οποιουδήποτε προηγούμενου συστήματος, καθώς δεν καταγράφει κινήσεις προσώπου και σώματος.
Ο Vogler πιστεύει ότι οι ερευνητές θα πρέπει να απομακρυνθούν από την ιδέα ότι οι συσκευές αναγνώρισης της νοηματικής γλώσσας μπορούν πραγματικά να ανταποκριθούν στις προσωπικές ανάγκες επικοινωνίας.
"Έχουμε πολλές επιλογές για να διευκολύνουμε την προσωπική επικοινωνία και μέχρι να έχουμε κάτι που πραγματικά σέβεται τις γλωσσικές ιδιότητες των υπογεγραμμένων γλωσσών και τις πραγματικές συμπεριφορές επικοινωνίας των υπογραφόντων, αυτές οι προσπάθειες δεν θα πάνε κοντά στην αντικατάστασή τους ή στην αντικατάστασή τους", λέει. "Αντ 'αυτού, οι άνθρωποι πρέπει να συνεργαστούν με τα μέλη της κοινότητας και με ανθρώπους που καταλαβαίνουν την πολυπλοκότητα των υπογεγραμμένων γλωσσών".
Η Vogler λέει ότι θα ήταν χρήσιμο για την τεχνολογία αναγνώρισης της νοηματικής γλώσσας όπως η MSU να δουλεύει με φωνητικές διεπαφές όπως η Alexa. Η ανάπτυξη αυτών των διασυνδέσεων αποτελεί πρόκληση προσβασιμότητας για τους ανθρώπους που είναι κωφοί και βαρείς, λέει, όπως και το Διαδίκτυο - ένα μέσο οπτικής επαφής - παρουσίασε μείζονα πρόκληση για τους τυφλούς με τα χρόνια.
"Σήμερα δεν διαθέτουμε έναν αποτελεσματικό και αποτελεσματικό τρόπο αλληλεπίδρασης με αυτές τις φωνητικές διεπαφές αν δεν μπορούμε ή δεν θέλουμε να χρησιμοποιήσουμε τη φωνή μας", λέει. "Η αναγνώριση της γλώσσας των σημείων είναι μια τέλεια αντιστοιχία για αυτή την κατάσταση, και αυτή που θα μπορούσε να καταλήξει να είναι χρήσιμη και να χρησιμοποιηθεί."
