Обличчям до музики: як "диригент очей" допомагає паралітикам розгойдуватися

Андреас Рефсгаард, дизайнер взаємодії та творчий кодер, що живе в Амстердамі, розробив музичний інтерфейс, що дозволяє людям з фізичними вадами робити музику. Eye Conductor використовує програмне забезпечення для відстеження очей та веб-камеру комп'ютера для перекладу рухів обличчя в різні компоненти музичної композиції. Користувачі можуть навчати себе грати річчю своїм обличчям, а це означає, що паралізовані люди - люди, які більше не можуть грати на інструментах - можуть мати другий шанс зробити красиві (або просто гучні) звуки. Правий погляд буквально вражає хордом з винаходом Refsgaard. Правильний вираз висловлюється вголос.

Refsgaard розмовляв Обернено про мотивацію свого проекту, боротьбу, з якою він зіткнувся на шляху, і те, що він дізнався, що він дав людям, які втратили здатність робити музику іншим шансом.

Який ваш фон з музикою?

Я б не назвав себе музикантом, тому що граю тільки для задоволення, але граю на гітарі та басі. Ableton - це музична програма, цифрове робоче місце, схоже на запис програмного забезпечення, як Logic або Protools або Garage Band. Я пройшов курс на це, і я не був таким прекрасним у створенні музики з ним, але я був захоплений можливостями, які я бачив. Потім ми почали співпрацювати і робити кілька більш хитромудрий матеріал типу установки, де він розробляв звуки, і я б підключив датчики, наприклад камеру глибини, так що коли люди проходили повз, вони б контролювали деякі аспекти проекту.

Таким чином, ви є дизайнером взаємодії та творчим кодером. Не могли б ви пояснити, що означають ці титули?

Всі речі, які я розробляю, є інтерактивними. Так що якщо б я зробив якусь меблі, то він мав би деяку функціональність, яка б змусила його реагувати на щось. Я також є творчим кодером. У порівнянні з багатьма іншими людьми - наприклад, я навчався в Копенгагені в Копенгагенському Інституті Дизайну Взаємодії, де люди походять з багатьох різних фонів - я трохи більше до кодирующей сторони. Я також називаю себе «творчим кодером», тому що я не є правильним кодером. Я не дуже добре в цьому, але я можу зробити дуже багато речей, і я можу з'єднати речі, і я добре розумію нові ідеї.

Що ж вас надихнуло на те, щоб допомогти людям з фізичними вадами зробити музику?

Після закінчення середньої школи протягом двох-трьох місяців я був охоронцем для людини з м'язовою дистрофією. Будучи з ним весь час, я зрозумів деякі речі, з якими я не міг йому допомогти. Один з них виражався творчо. Це не те, що я думав: «Добре, тут проблема, яку я повинен вирішити», тому що в той час я був молодий і не мав ніяких професійних навичок. Але вона застрягла зі мною.

А як щодо технічного натхнення?

Проект під назвою Eyewriter, який я бачив близько року тому, є живописною програмою, розробленою для хлопця, який колись був графітістом, але потім був паралізований. Деякі з його друзів були кодерами і зробили для нього інструмент з відстеженням очей, який зробив його здатним малювати. І тоді, з тих пір, як я грався з датчиками та матеріалами в музичному програмному забезпеченні, я зробив зв'язок. Я зробив це як мій остаточний проект у школі.

Як музика закінчилася творчим полем, яке ви хотіли дослідити?

Я думаю, можливо, тому, що я дуже люблю музику і в термінах часу, який я мав для проекту. Просто стало зрозуміло, що я хочу працювати з музикою. Тоді мене дуже надихнув «Очерк» з точки зору створення графіки.

Музика виглядає великим вибором, оскільки вона універсальна. Я не можу думати про тих, хто не любить музику.

Спочатку я хотів перевірити, наскільки важливою була музика для групи, для якої я розробляв. Перші кроки просто спостерігали, як люди з різними фізичними вадами взаємодіють з музикою. Один будинок, який я відвідав, мав музичні четверги. Деякі з них можуть трохи відзначити або трохи пограти на клавіатурі, а деякі не можуть нічого зробити, але факт полягає в тому, що вони з'являються на музику в четвер.

Між спостереженням, а потім створенням пристрою, скільки часу тривало?

Часто в процесі проектування це були б дві окремі речі, але мені не подобається цей підхід. Мені подобається будувати з самого початку, а потім, коли я розмовляю про те, що я будував. А потім я її змінюю або уточнюю.

Як це було, коли люди вперше користувалися нею?

Це було дуже приємно, так. Оскільки деякі люди не можуть говорити, зв'язок може бути важким. Але тоді, коли вони використовували мій диригент, ми дійсно з'єдналися. Вони дивилися на мене і посміхалися, або дійсно щасливі, або коли я просто демонстрував це, вони дійсно були зосереджені. Це був прекрасний приклад того, як музика може допомогти людям взаємодіяти і висловити емоції.

Без надмірної техніки, яка була найбільша проблема, з якою ви зіткнулися під час проектування диригента?

Щоб система працювала, ви повинні сидіти в тій же позі, як ми сидимо прямо зараз перед нашими ноутбуками, тому що зображення, яке ви бачите зараз, прямо і добре для відстеження мого обличчя і очей. Але якщо ви з когось в інвалідному візку, який, наприклад, не має контролю над їхньою позою або спиною або шиєю, то іноді вони будуть сидіти боком і система не може відстежувати їхні рухи обличчя. І тоді іноді мені буде трохи незручно спробувати сказати: «Добре, щоб це працювало, треба сидіти прямо». І тоді, коли вони не є словесними, як ми повідомляємо про це?

Якщо хтось нахилив голову таким чином, чи не могли б ви теоретично утримати ноутбук таким чином, щоб зафіксувати їхні жести на обличчі?

Так. Так що я дійсно не пішов у вирішенні цього питання, але багато людей мають комп'ютери, встановлені на їх інвалідних колясках, і комп'ютер знаходиться на полюсі, а потім на цьому полюсі є пристрій для монтажу, і вони нахиляють його в правильному напрямку, щоб вказати на обличчя людини. Немає жодної позиції, яка б була правильною або неправильною, це просто те, що сенсори - це веб-камера і трекер очей - будуть прямо на голову. Це було трохи складним завданням. Це була скоріше апаратна річ, тому що в іншому випадку я б спробував побудувати структуру, і це було б нерозумно. У цьому я не дуже добре.

Чи зробили ви все це самостійно або ви зіткнулися з технічними проблемами, які тільки інші люди вміли вирішувати?

Я зробив це сам, але з боку звукового дизайну я отримав допомогу від того професора, про який я розповідав. В основному просто звук дизайну речі. У мене також був радник, який дав мені деякі вказівки з точки зору мови програмування під назвою Макс, на яку він дійсно був великий. Він просто допоміг мені бути більш комфортним з певними деталями програмування. Звичайно, багато цього було новим, але основи цього я вже знав з попереднього досвіду. Я зробила диригент очей протягом восьми тижнів, і люди сказали: «О, це божевільно, як ви можете зробити це за вісім тижнів?» Але я зробив деякі інші речі, які також просунулися з точки зору роботи з датчиками і музичним програмним забезпеченням, і це тривало довше, оскільки Я не знав, як це зробити. Тепер, коли я знаю, що це не так складно, хоча цей проект був більш складним. Мені також важливо зазначити, що це повністю робочий прототип, але це не продукт. Таким чином, люди не можуть вийти, купити та встановити його на моєму комп'ютері.

Я збирався запитати, чи є у вас плани продати?

Я фактично не хочу продавати його, я хочу віддати її. Я хочу зробити це з відкритим кодом, але тепер я нічого не можу обіцяти. Я ще не маю жодного фінансування, і я маю працювати та інші справи. Я отримав повідомлення від хлопця в Мічигані, який колись був продюсером, а потім отримав ALS. Я повинен зробити це якось доступним для всіх цих людей. Це дуже важливо для мене в якийсь момент, і я не можу обіцяти, коли, але, сподіваюся, досить скоро, упакувати його таким чином, щоб люди могли або завантажити все це як одне, і це буде працювати на більшості комп'ютерів або насправді спробувати його. у браузері. Ідея створення браузера вимагатиме лише, щоб люди мали комп'ютер з онлайновим доступом, а потім мали будь-яку заміну миші, яку вони могли б мати на своєму комп'ютері. Якщо я зроблю це з відкритим вихідним кодом, я можу надати основну демо-версію, а потім люди можуть додати свої власні повороти, щоб зробити їх своїми.

Приємно чути, що ви робите це, тому що ви хочете допомогти людям, а не тому, що ви хочете розбагатіти або щось подібне.

Інструменти, які я побудував з нею - принаймні робочий прототип - є відкритими. Чому я тоді отримаю кредит? Наприклад, система відстеження обличчя, яку я використовую для свого прототипу, що дозволяє людям створювати звук, піднімаючи брови або відкриваючи рот, це те, що називається FaceOSC, зроблений хлопцем на ім'я Кайл Макдональд і це система з відкритим вихідним кодом. Я не думаю, що я б отримав так далеко, як і без цього програмного забезпечення.