Мозок-комп'ютерний інтерфейс може перекласти думки в мову

Neuroengineers створили нову систему, яка може перекласти прості думки в пізнавану мову, використовуючи штучний інтелект і синтезатор мовлення, згідно з дослідженням, опублікованим у вівторок.

Команда нью-йоркських дослідників зміг реконструювати слова, використовуючи тільки мозкову діяльність, інновацію, яка могла б прокласти шлях для керованих мозку технологій, таких як, наприклад, смартфон, який може перевести ваші думки в текстові повідомлення.

Доктор Німа Месгарані, доцент Колумбійського університету, очолював дослідження та розповідав Обернено що він бачить великий потенціал, щоб допомогти відновити мовлення людям, які видужують від інсульту або живуть з аміотрофічним бічним склерозом (ALS). Далі, цей тип технологій також може відкрити двері для смартфонів, підключених до мозку, які можуть дозволити користувачам писати текст, використовуючи їхню свідомість, хоча це ще далеко. Його робота була опублікована в журналі Наукові доповіді.

"Однією з мотивів цієї роботи є альтернативні методи взаємодії людини з комп'ютером, такі як можливий інтерфейс між користувачем і смартфоном", - говорить він. - Проте, це все ще далеке від реальності, і на даний момент інформація, яку можна витягти за допомогою неінвазивних методів, не є достатньо гарною для застосування інтерфейсу мови-комп'ютера ».

Прислухайтеся до мови, створеної інтерфейсом мозок-комп'ютер.

Щоб розробити нову техніку, Месгарані та його колега, доктор Ашеш Дінеш Мехта з Інституту неврологів партнерів Northwell Health Partners Partners, почали вивчати діяльність мозку пацієнтів з епілепсією для їх дослідження. Ці пацієнти вже мали електродні імплантати в мозку для моніторингу нападів, які Месгарані та Мехта змогли використати для збору даних для своїх досліджень.

Дует попросив бажаючих учасників послухати дикторів, які читали числа від нуля до дев'яти, а потім записували сигнали мозку з цієї взаємодії. Далі, вони навчили нейронну мережу - програму, що імітує структуру нейронів в людському мозку - розпізнавати закономірності в сигналах і переводити їх у робото-звучаючі слова за допомогою синтезатора мовлення, відомого як вокодер.

Результат був коротким голосовим кліпом про те, що звучить як Microsoft Sam відлічуючи від нуля до дев'яти. Вражаюча частина полягає в тому, наскільки ясна мова порівнюється з іншими методами, які досліджували дослідники. Проте ще має бути зроблено багато роботи.

«Це може зайняти десятиліття, перш ніж ця технологія стане доступною», - каже Месгарані. «Ми потребуємо більшого прогресу як у довгострокових, біо-сумісних імплантованих електродах, так і в проривних технологіях в неінвазивних нейронних методах запису. Ми також потребуємо кращого розуміння того, як мозок являє собою мовлення, так що ми можемо уточнити наші методи декодування ».

Пацієнти, які були частиною цього дослідження, наприклад, всі мали операцію на мозку, щоб імплантувати монітори електрокортикографії. Це надзвичайно інвазивний процес, який вимагає відкритої операції на мозку, те, що більшість людей може не захотіти пройти, навіть якщо існує можливість відновлення деяких своїх мовних можливостей.

На даний момент в цьому дослідженні введено метод розшифрування мовних сигналів у мові. Якщо ми зрозуміємо, як точно визначити активність мозку без хірургічного втручання, ми будемо на один крок ближче до не тільки революції мовленнєвої терапії, але й потенційно на шляху до розумних смартфонів.

Дослідження інтерфейсу мозку-комп'ютерів отримували нові інтереси в останні кілька років. У квітні 2017 року Facebook оголосив про роботу над BCI під час своєї щорічної конференції F8. І Елон Муск оголосив у листопаді 2018 року, що Невралінк, його власний запуск BCI, наймав.

Анотація

Реконструкція слухового стимулу є методикою, яка знаходить найкраще наближення акустичного стимулу від популяції викликаної нейронної активності. Реконструкція мови з кори слуху людини створює можливість нейропростетики мови, щоб встановити прямий зв'язок з мозку і виявилося можливим як в явних, так і в прихованих умовах. Однак низька якість реконструйованого мовлення суттєво обмежила корисність цього методу для додатків інтерфейсу мозку і комп'ютера (BCI). Щоб просунути сучасний стан нейропротезування мови, ми об'єднали останні досягнення глибокого навчання з новітніми нововведеннями в технології синтезу мови для реконструкції закритого набору чутливої ​​мови з кори слуху людини. Досліджено залежність точності реконструкції від лінійних та нелінійних (глибоких нейронних мереж) методів регресії та акустичного подання, що використовується як мета реконструкції, включаючи параметри звукової спектрограми та синтезу мови. Крім того, ми порівнювали точність реконструкції з низьким і високим частотним діапазоном нейронів. Наші результати показують, що модель глибокої нейронної мережі, що безпосередньо оцінює параметри синтезатора мовлення з усіх нейронних частот, досягає найвищих суб'єктивних і об'єктивних оцінок за завданням розпізнавання цифр, покращуючи зрозумілість на 65% у порівнянні з базовим методом, який використовував лінійну регресію. реконструювати слухові спектрограми. Ці результати демонструють ефективність алгоритмів глибокого навчання та синтезу мови для проектування наступних поколінь мовних BCI систем, які не тільки можуть відновити зв'язок для паралізованих пацієнтів, але також мають можливість трансформувати технології взаємодії людини з комп'ютером.

Схожі відео: Brain Wave Sensing Роботи можуть служити розширеннями людського тіла