Chip Otak Bantu Membaca Bahasa dan Gerakan Isyarat Orang Lumpuh Parah

Penelitian sedang mengembangkan sistem BCI yang menerjemahkan ucapan dan gerakan secara bersamaan, menawarkan kemungkinan komunikasi yang lebih alami bagi orang-orang dengan kelumpuhan parah.

Antarmuka otak-komputer (BCI) telah mampu membaca sinyal saraf untuk menerjemahkan maksud lisan ke dalam teks atau mengontrol perangkat eksternal. Namun, komunikasi manusia tidak terbatas pada ucapan tetapi juga mencakup isyarat.

Sebuah tim peneliti di Universitas California, San Francisco (UCSF) dan rekan-rekannya telah mengembangkan sebuah sistem yang memungkinkan elektroda otak untuk menerjemahkan kedua jenis sinyal tersebut secara bersamaan.

Antarmuka otak-komputer menerjemahkan sinyal otak pengguna. Foto: Kevin FrayerPerangkat ini menggunakan jaringan elektroda ECoG berdensitas tinggi, yang ditempatkan di permukaan otak, di wilayah korteks motorik yang terkait dengan bicara dan gerakan.

Sistem ini mengumpulkan sinyal listrik dari otak dan kemudian mengirimkannya melalui dua dekoder AI yang bekerja secara paralel: satu mengenali ucapan, yang lain mengenali gerakan.

Hasilnya diterjemahkan ke dalam teks dan gerakan yang sesuai dari avatar seluruh tubuh. Poin kuncinya adalah peserta tidak perlu mampu melakukan gerakan sebenarnya. Sistem dapat menerjemahkan sinyal saraf yang dihasilkan ketika mereka mencoba melakukan atau memvisualisasikan suatu gerakan.Para peneliti menguji sistem tersebut dengan dua individu yang mengalami kelumpuhan parah. Mereka dihubungkan ke avatar seluruh tubuh yang dipersonalisasi.

Ketika peserta mencoba mengucapkan sebuah kalimat, sistem tersebut mengubah sinyal menjadi teks. Jika mereka secara bersamaan mencoba melakukan gerakan, avatar tersebut juga akan melakukan tindakan itu.

Jaringan yang terdiri dari 253 elektroda ECoG ditempatkan pada korteks motorik, secara simultan menangkap sinyal yang terkait dengan gerakan tangan/lengan, kepala/mata, dan bicara/mulut.

Dalam tes percakapan, satu orang mencapai akurasi rata-rata 85 dalam penguraian isyarat dan 75 dalam penguraian ucapan. Orang lainnya mencapai akurasi median 100 untuk ucapan dan isyarat dalam 3 sesi percakapan.

Namun, penelitian tersebut hanya melibatkan sejumlah kecil peserta dan menggunakan kosakata serta jumlah gestur yang terbatas. Ini belum merupakan sistem komunikasi yang dapat digunakan secara luas di luar lingkungan laboratorium.Studi ini juga menunjukkan bahwa mendekode dua bentuk komunikasi secara bersamaan tidak sesederhana menjalankan dua model terpisah.Ketika model dilatih hanya menggunakan data ucapan atau gestur individu, kinerjanya akan lebih buruk ketika peserta mencoba berbicara dan melakukan gestur secara bersamaan.

Oleh karena itu, tim peneliti menambahkan sesi pelatihan di mana ucapan dan gerakan terjadi secara bersamaan.

Hal ini membantu model untuk lebih memahami perubahan aktivitas otak ketika beberapa kelompok otot dikendalikan pada saat yang sama, sekaligus mengurangi kemungkinan sistem salah menafsirkan gerakan atau ucapan.

Hal ini juga mencerminkan karakteristik otak manusia: area korteks serebral yang mengontrol bicara dan gerakan tubuh tidak sepenuhnya terpisah. Beberapa area mungkin aktif ketika pengguna melakukan kedua jenis perilaku tersebut.

AI dapat menerjemahkan ucapan dan gerakan ketika keduanya dilakukan secara bersamaan.

Oleh karena itu, aspek terpenting dari karya ini bukanlah bahwa avatar dapat "berbicara mewakili" orang yang lumpuh. Lebih penting lagi, ini menunjukkan bahwa BCI (Brain-Computer Interface) sedang bergerak dari memulihkan satu fungsi tunggal menuju simulasi berbagai komponen komunikasi alami.