Gelombang Otak
Dari Gelombang Otak hingga Perpesanan Teks Real Time.
 |
| Brain |
Bagi orang yang kehilangan kemampuan berbicara karena cacat yang parah, mereka ingin mengeluarkan kata-kata.
Mereka tidak bisa melakukannya secara fisik. Namun di era digital kita, sekarang ada cara menarik untuk mengatasi keterbatasan fisik yang begitu mendalam. Komputer diajari untuk memecahkan kode gelombang otak saat seseorang mencoba berbicara dan kemudian menerjemahkannya secara interaktif ke layar komputer secara real time.
Kemajuan terbaru, yang ditunjukkan dalam video di atas, menetapkan bahwa sangat mungkin bagi komputer yang dilatih dengan bantuan metode kecerdasan buatan (AI) saat ini untuk memulihkan kosakata lebih dari 1.000 kata untuk orang-orang dengan kemampuan mental tetapi bukan fisik untuk berbicara. Itu mencakup lebih dari 85 persen komunikasi sehari-hari dalam bahasa Inggris.
Dengan penyempurnaan lebih lanjut, para peneliti mengatakan kosakata 9.000 kata dapat dijangkau dengan baik.
Temuan yang dipublikasikan di jurnal Nature Communications ini berasal dari tim yang dipimpin oleh Edward Chang, University of California, San Francisco.
Sebelumnya, Chang dan rekannya menetapkan bahwa sistem yang mendukung AI ini dapat langsung memecahkan kode 50 kata lengkap secara real time dari gelombang otak sendirian pada orang lumpuh yang mencoba berbicara.
Studi ini dikenal sebagai BRAVO, kependekan dari Brain computer interface Restoration Of Arm and Voice. Dalam studi BRAVO terbaru, tim ingin mengetahui cara memadatkan bahasa Inggris ke dalam unit-unit yang ringkas agar lebih mudah diurai dan memperluas kosa kata 50 kata tersebut. Mereka melakukannya dengan cara yang sama seperti yang kita semua lakukan: dengan berfokus bukan pada kata-kata lengkap, tetapi pada alfabet 26 huruf.
Studi tersebut melibatkan seorang pria berusia 36 tahun dengan kelumpuhan ekstremitas dan vokal yang parah. Tim merancang pipa ejaan kalimat untuk individu ini, yang memungkinkannya mengeja pesan secara diam-diam menggunakan kata kode yang sesuai dengan masing-masing dari 26 huruf di kepalanya.
Saat dia melakukannya, rangkaian elektroda dengan kepadatan tinggi yang ditanamkan di atas korteks sensorimotor otak, bagian dari korteks serebral, merekam gelombang otaknya. Sistem canggih termasuk pemrosesan sinyal, deteksi ucapan, klasifikasi kata, dan pemodelan bahasa kemudian menerjemahkan pemikiran tersebut menjadi kata-kata yang koheren dan kalimat lengkap di layar komputer. Apa yang disebut sistem neuroprostesis wicara ini memungkinkan mereka yang kehilangan wicara untuk melakukan kira-kira setara dengan pesan teks.
Tim Chang menguji sistem ejaan mereka terlebih dahulu dengan meminta peserta mereproduksi kalimat yang ditampilkan di layar secara diam-diam. Mereka kemudian beralih ke percakapan, di mana peserta diberi pertanyaan dan bisa menjawab dengan bebas.
Misalnya seperti pada video di atas, ketika komputer bertanya, “Bagaimana kabarmu hari ini?” dia menjawab, "Saya sangat baik." Ketika ditanya tentang waktu favoritnya dalam setahun, dia menjawab, "musim panas". Gerakan tangan yang dicoba memberi sinyal pada komputer ketika dia selesai berbicara.
Komputer tidak melakukannya dengan benar setiap saat. Misalnya, dalam uji coba awal dengan kalimat target, "selamat pagi", komputer melakukannya dengan benar dalam satu kasus dan di kasus lain muncul dengan "baik untuk kaki".
Namun, secara keseluruhan, pengujian mereka menunjukkan bahwa perangkat AI mereka dapat memecahkan kode huruf yang diucapkan secara diam-diam dengan tingkat akurasi tinggi untuk menghasilkan kalimat dari kosakata 1.152 kata dengan kecepatan sekitar 29 karakter per menit.
Rata-rata, sistem ejaan salah sebanyak 6 persen. Itu sangat bagus ketika Anda mempertimbangkan seberapa umum kesalahan muncul dengan perangkat lunak dikte atau dalam percakapan pesan teks apa pun.
Tentu saja, lebih banyak pekerjaan yang diperlukan untuk menguji pendekatan ini pada lebih banyak orang. Mereka belum tahu bagaimana perbedaan individu atau kondisi medis tertentu dapat memengaruhi hasil. Mereka menduga bahwa pendekatan umum ini akan bekerja untuk siapa saja selama mereka secara mental mampu berpikir dan berusaha untuk berbicara.
Mereka juga membayangkan perbaikan di masa depan sebagai bagian dari studi BRAVO mereka. Misalnya, dimungkinkan untuk mengembangkan sistem yang mampu mengkode lebih cepat dari banyak kata atau frasa yang umum digunakan. Sistem seperti itu kemudian dapat mencadangkan metode ejaan yang lebih lambat untuk kata-kata lain yang kurang umum.
Namun, seperti yang ditunjukkan dengan jelas oleh hasil ini, kombinasi kecerdasan buatan dan neuroprostesis ucapan yang dikendalikan secara diam-diam untuk memulihkan tidak hanya ucapan tetapi juga komunikasi yang bermakna dan hubungan otentik antara individu yang kehilangan kemampuan berbicara dan orang yang mereka cintai memiliki potensi yang luar biasa.
Referensi: Ejaan yang dapat digeneralisasikan menggunakan neuroprostesis wicara pada individu dengan kelumpuhan ekstremitas dan vokal yang parah . Metzger SL, Liu JR, Moses DA, Dougherty ME, Seaton MP, Littlejohn KT, Chartier J, Anumanchipalli GK, Tu-CHan A, Gangly K, Chang, EF. Komunikasi Alam (2022) 13: 6510. Neuroprosthesis untuk memecahkan kode ucapan pada orang lumpuh dengan anarthria. Moses DA, Metzger SL, Liu JR, Tu-Chan A, Ganguly K, Chang EF, dkk. N Engl J Med. 15 Juli 2021;385(3):217-227.