Με τις προόδους στην ηλεκτρονική και τη νευροεπιστήμη, οι ερευνητές κατάφεραν να επιτύχουν αξιοσημείωτα πράγματα με συσκευές εμφύτευσης του εγκεφάλου, όπως η αποκατάσταση της όρασης των τυφλών. Εκτός από την αποκατάσταση φυσικών αισθήσεων, οι επιστήμονες αναζητούν επίσης καινοτόμους τρόπους για να διευκολύνουν την επικοινωνία για εκείνους που έχουν χάσει την ικανότητα να μιλήσουν. Ένας νέος "αποκωδικοποιητής" που λαμβάνει δεδομένα από ηλεκτρόδια που εμφυτεύονται στο κρανίο, για παράδειγμα, μπορεί να βοηθήσει τους παραλυμένους ασθενείς να μιλούν μόνο με το μυαλό τους.
Οι ερευνητές του Πανεπιστημίου της Καλιφόρνιας του Σαν Φρανσίσκο (UCSF) ανέπτυξαν μια μέθοδο δύο σταδίων για να μετατρέψουν τα σήματα του εγκεφάλου σε ομιλία που συντίθεται από υπολογιστή. Τα αποτελέσματά τους, που δημοσιεύθηκαν αυτή την εβδομάδα στο επιστημονικό περιοδικό Nature, παρέχουν μια πιθανή πορεία προς μια πιο ρευστό επικοινωνία για τους ανθρώπους που έχουν χάσει την ικανότητα να μιλούν.
Για χρόνια, οι επιστήμονες προσπαθούσαν να αξιοποιήσουν τις νευρικές εισόδους για να δώσουν φωνή στους ανθρώπους των οποίων η νευρολογική βλάβη τους εμποδίζει να μιλήσουν - όπως επιζώντες εγκεφαλικού επεισοδίου ή ασθενείς με ALS. Μέχρι στιγμής, πολλές από αυτές τις διασυνδέσεις εγκεφάλου-ηλεκτρονικού υπολογιστή παρουσίαζαν μια προσέγγιση επιστολής με γράμμα, στην οποία οι ασθενείς μετακινούν τα μάτια τους ή τους μυς του προσώπου για να εξηγήσουν τις σκέψεις τους. (Ο Stephen Hawking σκηνοθέτησε το συνθετικό της ομιλίας με μικρές κινήσεις στο μάγουλο του.)
Αλλά αυτοί οι τύποι διασυνδέσεων είναι υποτονικοί - οι περισσότεροι από τους οποίους παράγουν 10 λέξεις ανά λεπτό, ένα κλάσμα της μέσης ταχύτητας ομιλίας των ανθρώπων 150 λέξεων ανά λεπτό. Για ταχύτερη και πιο ρευστό επικοινωνία, οι ερευνητές του UCSF χρησιμοποίησαν αλγόριθμους βαθιάς μάθησης για να μετατρέψουν νευρικά σήματα σε προφορικές προτάσεις.
"Ο εγκέφαλος είναι άθικτος σε αυτούς τους ασθενείς, αλλά οι νευρώνες - οι οδοί που οδηγούν στα χέρια σας, στο στόμα σας ή στα πόδια σας - υποβαθμίζονται. Αυτοί οι άνθρωποι έχουν υψηλή γνωσιακή λειτουργία και ικανότητες, αλλά δεν μπορούν να πετύχουν καθημερινά καθήκοντα, όπως κινούνται ή λένε τίποτα », λέει ο Gopala Anumanchipalli, συγγραφέας της νέας μελέτης και συνεργάτης ερευνητής που ειδικεύεται στη νευρολογική χειρουργική στο UCSF. "Είμαστε ουσιαστικά παρακάμπτοντας το μονοπάτι που έχει καταστραφεί."
Οι ερευνητές ξεκίνησαν με δεδομένα εγκεφάλου υψηλής ανάλυσης που συλλέχθηκαν από πέντε εθελοντές για αρκετά χρόνια. Αυτοί οι συμμετέχοντες - όλοι τους είχαν κανονική λειτουργία ομιλίας - ήδη υποβάλλονταν σε μια διαδικασία παρακολούθησης για θεραπεία επιληψίας που περιελάμβανε την εμφύτευση ηλεκτροδίων απευθείας στο μυαλό τους. Η ομάδα του Chang χρησιμοποίησε αυτά τα ηλεκτρόδια για να παρακολουθήσει τη δραστηριότητα σε περιοχές που σχετίζονται με τον λόγο του εγκεφάλου, καθώς οι ασθενείς διαβάστηκαν εκατοντάδες προτάσεις.
Από εκεί, η ομάδα του UCSF επεξεργάστηκε μια διαδικασία δύο σταδίων για να αναδημιουργήσει τις προφορικές προτάσεις. Πρώτον, δημιούργησαν έναν αποκωδικοποιητή για να ερμηνεύσουν τα καταγεγραμμένα πρότυπα εγκεφαλικής δραστηριότητας ως οδηγίες για κινούμενα μέρη μιας εικονικής φωνητικής οδού (συμπεριλαμβανομένων των χειλιών, της γλώσσας, της γνάθου και του λάρυγγα). Στη συνέχεια ανέπτυξαν ένα συνθεσάιζερ που χρησιμοποίησε τις εικονικές κινήσεις για να παράγει γλώσσα.
Άλλη έρευνα προσπάθησε να αποκωδικοποιήσει λέξεις και ήχους απευθείας από νευρικά σήματα, παρακάμπτοντας το μεσαίο βήμα της κίνησης αποκωδικοποίησης. Ωστόσο, μια μελέτη που δημοσίευσαν οι ερευνητές του UCSF πέρυσι δείχνει ότι το κέντρο ομιλίας του εγκεφάλου σας επικεντρώνεται στον τρόπο με τον οποίο μετακινείται η φωνητική οδός για να παράγει ήχους, αντί για τους προκύπτοντες ήχους.
«Τα πρότυπα της εγκεφαλικής δραστηριότητας στα κέντρα ομιλίας είναι ειδικά προσανατολισμένα προς το συντονισμό των κινήσεων του φωνητικού συστήματος και συνδέονται μόνο έμμεσα με την ομιλία τους», δήλωσε ο Edward Chang, καθηγητής της νευρολογικής χειρουργικής στο UCSF και συνάδελφος του νέου κειμένου, δήλωσε σε συνέντευξη Τύπου αυτή την εβδομάδα. "Προσπαθούμε ρητά να αποκωδικοποιήσουμε τις κινήσεις για να δημιουργήσουμε ήχους, σε αντίθεση με την απευθείας αποκωδικοποίηση των ήχων".
Ένα παράδειγμα σειράς εμφυτευμάτων εγκεφάλου ενδοκρανιακών ηλεκτροδίων του τύπου που χρησιμοποιείται για την καταγραφή της εγκεφαλικής δραστηριότητας. (UCSF) Με τη χρήση αυτής της μεθόδου, οι ερευνητές με επιτυχία αντιστρέφονταν-επεξεργασμένες λέξεις και προτάσεις από την εγκεφαλική δραστηριότητα που αντιστοιχούσαν σε γενικές γραμμές με τις ηχογραφήσεις της ομιλίας των συμμετεχόντων. Όταν ρώτησαν τους εθελοντές σε μια online πλατφόρμα crowdsourcing να προσπαθήσουν να εντοπίσουν τις λέξεις και να μεταγράψουν προτάσεις χρησιμοποιώντας μια λέξη τράπεζα, πολλοί από αυτούς θα μπορούσαν να καταλάβουν την προσομοιωμένη ομιλία, αν και η ακρίβειά τους δεν ήταν τελείως τέλεια. Από τις 101 συνθετικές προτάσεις, περίπου το 80% μεταγράφηκε τέλεια από τουλάχιστον έναν ακροατή χρησιμοποιώντας τράπεζα 25 λέξεων (το ποσοστό αυτό μειώθηκε στο 60% περίπου όταν το μέγεθος της λέξης τράπεζας διπλασιάστηκε).
Είναι δύσκολο να πούμε πώς αυτά τα αποτελέσματα συγκρίνονται με άλλες συνθετικές δοκιμασίες ομιλίας, λέει ο Marc Slutzky, ένας νευρολόγος από τη Βορειοδυτική Αγγλία που δεν συμμετείχε στη νέα μελέτη. Ο Slutzky πρόσφατα εργάστηκε σε μια παρόμοια μελέτη που παρήγαγε συνθετικές λέξεις απευθείας από τα σήματα του εγκεφαλικού φλοιού, χωρίς να αποκωδικοποιεί την κίνηση της φωνητικής οδού, και πιστεύει ότι η προκύπτουσα ποιότητα ομιλίας ήταν παρόμοια - αν και οι διαφορές στις μετρήσεις απόδοσης καθιστούν δύσκολο να συγκριθούν άμεσα.
Μια συναρπαστική πτυχή της μελέτης UCSF, ωστόσο, είναι ότι ο αποκωδικοποιητής μπορεί να γενικεύσει κάποια αποτελέσματα σε όλους τους συμμετέχοντες, λέει ο Slutzky. Μία σημαντική πρόκληση για αυτό το είδος έρευνας είναι ότι η εκπαίδευση των αλγορίθμων αποκωδικοποίησης απαιτεί συνήθως από τους συμμετέχοντες να μιλήσουν, αλλά η τεχνολογία προορίζεται για ασθενείς που δεν μπορούν πλέον να μιλήσουν. Η δυνατότητα γενίκευσης κάποιων από την εκπαίδευση του αλγορίθμου θα μπορούσε να επιτρέψει περαιτέρω εργασία με παραλυμένους ασθενείς.
Για να αντιμετωπιστεί αυτή η πρόκληση, οι ερευνητές εξέτασαν επίσης τη συσκευή με έναν συμμετέχοντα που μιμούνται σιωπηρά τις προτάσεις αντί να τους μιλάει δυνατά. Αν και οι φράσεις που προέκυψαν δεν ήταν τόσο ακριβείς, οι συγγραφείς λένε ότι το γεγονός ότι η σύνθεση ήταν δυνατή ακόμη και χωρίς φωνητική ομιλία έχει συναρπαστικές συνέπειες.
"Ήταν πραγματικά αξιοσημείωτο να βρούμε ότι θα μπορούσαμε ακόμα να δημιουργήσουμε ένα ηχητικό σήμα από μια πράξη που δεν παράγει ήχο καθόλου", δήλωσε ο Josh Chartier, συν-επικεφαλής συγγραφέας της μεταπτυχιακής φοιτήτριας μελέτης και βιοϊατρικής στο UCSF, .
Εικόνα του συγγραφέα της μελέτης Gopala Anumanchipalli, PhD, που κρατά ένα παράδειγμα σειράς ενδοκρανιακών ηλεκτροδίων του τύπου που χρησιμοποιείται για την καταγραφή της εγκεφαλικής δραστηριότητας στην τρέχουσα μελέτη. (UCSF) Ένας άλλος στόχος για μελλοντική έρευνα είναι να επιδιωχθεί η επίδειξη σε πραγματικό χρόνο του αποκωδικοποιητή, λέει ο Anumanchipalli. Η παρούσα μελέτη εννοούσε ως απόδειξη της έννοιας-ο αποκωδικοποιητής αναπτύχθηκε ξεχωριστά από τη διαδικασία συλλογής δεδομένων και η ομάδα δεν εξέτασε την ταχύτητα σε πραγματικό χρόνο της μετάφρασης της δραστηριότητας του εγκεφάλου σε συνθετική ομιλία, αν και αυτός θα ήταν ο τελικός στόχος μια κλινική συσκευή.
Αυτή η σύνθεση σε πραγματικό χρόνο είναι κάτι που χρειάζεται βελτίωση για να είναι χρήσιμη αυτή η συσκευή στο μέλλον, λέει ο Jaimie Henderson, ένας νευροχειρουργός του Stanford που δεν συμμετείχε στη μελέτη. Παρόλα αυτά, λέει ότι η μέθοδος των δύο σταδίων των συγγραφέων είναι μια συναρπαστική νέα προσέγγιση και η χρήση της τεχνολογίας βαθιάς μάθησης μπορεί να προσφέρει νέες ιδέες για το πώς λειτουργεί ο λόγος.
"Για μένα, μόνο η ιδέα να αρχίσει να διερευνά την υποκείμενη βάση για το πώς παράγεται ο λόγος στους ανθρώπους είναι πολύ συναρπαστικό", λέει ο Henderson. "[Η μελέτη αυτή] αρχίζει να διερευνά μία από τις πιο ανθρώπινες δυνατότητές μας σε ένα θεμελιώδες επίπεδο."
