Νέα ερευνητική συσκευή μετέτρεψε σκέψεις και εκφράσεις προσώπου σε λόγο

Ανά τον κόσμο υπάρχουν εκατομμύρια άνθρωποι οι οποίοι, μεταξύ άλλων, λόγω τραυματισμών ή εγκεφαλικών επεισοδίων έχουν χάσει μερικώς ή πλήρως την ικανότητα να μιλήσουν. Η κάθε περίπτωση φυσικά είναι διαφορετική και πολλοί άνθρωποι οι οποίοι έχουν την ικανότητα να κουνήσουν τα χέρια τους επικοινωνούν μέσω γραπτών μηνυμάτων ενώ στις πιο βαριές περιπτώσεις όπως αυτές τετραπληγικών ατόμων υπάρχουν συσκευές που επιτρέπουν την συγγραφή μηνυμάτων με τις κινήσεις των ματιών ή του κεφαλιού. Αυτές οι συσκευές έχουν μεν βελτιώσει την ζωή πολλών χιλιάδων ανθρώπων αλλά η λειτουργικότητα τους είναι περιορισμένη. Ωστόσο υπάρχουν ερευνητές που δουλέυουν εδώ και πολλά χρόνια πάνω σε τεχνολογίες οι οποίες θα μπορούν δυνητικά να βελτιώσουν την ποιότητα ζωής ασθενών που υποφέρουν από αναπηρίες αυτού του τύπου. Πρόσφατα δημοσιεύθηκαν τα αποτελέσματα μιας κλινικής δοκιμής για μια τέτοια συσκευή η οποία μετατρέπει τις σκέψεις του ασθενή σε προφορικό λόγο και εκφράσεις προσώπου.

Η μελέτη και τα αποτελέσματα

Την κλινική δοκιμή που εξέτασε την συσκευή διεξήγαγε ερευνητική ομάδα από το Πανεπιστήμιο του Σαν Φρανσίσκο στην Καλιφόρνια των ΗΠΑ και τα αποτελέσματα δημοσιεύθηκαν στις 23 Αυγούστου 2023 στο περιοδικό Nature. Οι ερευνητές δοκίμασαν την συσκευή στην Ann, μια γυναίκα 47 ετών η οποία είχε διαγνωστεί με τετραπληγία και αναρθρία καθιστώντας την ανήμπορη να μιλήσει, ενώ για να μπορέσει να επικοινωνήσει χρησιμοποιούσε μια συσκευή η οποία αναγνωρίζει κινήσεις των ματιών για να πληκτρολογεί μηνύματα.

Η συσκευή χρησιμοποιεί μια τεχνολογία γνωστή ως “διεπαφή εγκεφάλου-υπολογιστή” (BCI – brain computer interface) μέσω της οποίας μπορούμε να αναλύσουμε εγκεφαλικά σήματα και να τα ερμηνεύσουμε μέσα από εξειδικευμένο λογισμικό.

Η ομάδα του Dr. Edward Chang, επικεφαλή του τομέα νευροχειρουργικής στο Πανεπιστήμιο του Σαν Φρανσίσκο, είχε δείξει σε προηγούμενες δοκιμές ότι μπορούν να χρησιμοποιήσουν αυτή την τεχνολογία για να μεταφράσουν εγκεφαλικά σήματα σε μορφή κειμένου. Με την νέα αυτή μελέτη έδειξαν την εξέλιξη της μεθόδου τους, επιτρέποντας την μετατροπή εγκεφαλικών σημάτων σε προφορικό λόγο και εξομοίωση εκφράσεων προσώπου.

Συγκεκριμένα, οι ερευνητές τοποθέτησαν 253 ηλεκτρόδια στην επιφάνεια του εγκεφάλου της συμμετέχουσας, σε σημεία που κάλυπταν περιοχές που σχετίζονται με την παραγωγή λόγου και την αντίληψη της γλώσσας.

Η συμμετέχουσα εκπαίδευσε το σύστημα για εβδομάδες σε συνεργασία με την ερευνητική ομάδα του Dr. Chang έτσι ώστε η συσκευή να μπορεί να ερμηνεύει γρήγορα και με ακρίβεια τις σκέψεις της και να τις μετατρέπει σε λόγο. Η εκπαίδευση περιλάμβανε την συνεχόμενη επανάληψη φράσεων μέσα από ένα λεξιλόγιο 1,024 λέξεων ώστε το λογισμικό να μάθει να αναγνωρίζει εύκολα οποιαδήποτε πρόταση σκεφτόταν η συμμετέχουσα.

Η χρειά της φωνής δημιουργήθηκε μέσω αλγορίθμου σύνθεσης λόγου και οι ερευνητές την παραμετροποίησαν ώστε να μοιάζει με την πραγματική φωνή της συμμετέχουσας πριν τον τραυματισμό της, χρησιμοποιώντας ως υλικό μια ηχογράφηση από τον γάμο της. Η φωνή και οι εκφράσεις του προσώπου, οι οποίες αναλύονταν με την ίδια συσκευή, παρουσιάζονται μέσω ενός εικονικού avatar. Συγκεκριμένα, οι ερευνητές συνεργάστηκαν με εταιρία που εξειδικεύεται στην δημιουργία animation προσώπου με χρήση λογισμικού AI και μετέφεραν τα σήματα από τον εγκέφαλο της συμμετέχουσας σε αυτό το λογισμικό για να παράγει σε πραγματικό χρόνο τις εκφράσεις προσώπου που θα έκανε η συμμετέχουσα κατά την ομιλία της πριν τον τραυματισμό της.

Σε αυτό το στάδιο φυσικά η εν λόγω συσκευή εμφανίζει ορισμένους περιορισμούς με βασικό την βελτιστοποίηση της τοποθέτησης και της καθημερινής χρήσης. Ένα ακόμα σημαντικό ζήτημα είναι ότι, παρά τα πολύ ελπιδοφόρα αποτελέσματα, η εν λόγω κλινική δοκιμή εξέτασε την συσκευή σε μια μόνο συμμετέχουσα, επομένως είναι αναγκαίο να γίνουν πολύ περισσότερες δοκιμές σε ασθενείς με διαφορετικά προφίλ ώστε να εξεταστούν πιθανά προβλήματα και ευκαιρίες βελτίωσης στην συσκευή πριν κυκλοφορήσει στην αγορά. Παρά τις πιθανές αδυναμίες ωστόσο, είναι προφανές ότι η εν λόγω συσκευή μπορεί να δώσει σε εκατομμύρια ανθρώπους ανά τον κόσμο με προβλήματα επικοινωνίας αυτονομία στην καθημερινότητα τους, από την απλή επαφή με τους οικείους τους μέχρι την διεκπεραίωση εργασιών από το σπίτι χωρίς να χρειάζονται βοήθεια.

Περισσότερες πληροφορίες θα βρείτε στην σχετική μελέτη:

Sean L. Metzger, Kaylo T. Littlejohn, Alexander B. Silva, David A. Moses, Margaret P. Seaton, Ran Wang, Maximilian E. Dougherty, Jessie R. Liu, Peter Wu, Michael A. Berger, Inga Zhuravleva, Adelyn Tu-Chan, Karunesh Ganguly, Gopala K. Anumanchipalli, Edward F. Chang. A high-performance neuroprosthesis for speech decoding and avatar control. Nature, 2023; DOI: 10.1038/s41586-023-06443-4.