Розумні динаміки можуть бути зламані звуком, сказати дослідникам, щоб зупинити його

Що робити, якщо ми вам скажемо, що хакер міг би надати вашій Amazon Echo команду без того, щоб ви навіть не помітили - або навіть змушені робити будь-які злом, як ми зазвичай думаємо про це?

Мустафа Альзанто, кандидат технічних наук, кандидат технічних наук. кандидат в Університеті Каліфорнії, Лос-Анджелес, каже, що зловмисний актор теоретично може надіслати певний звук або сигнал, який, як правило, залишається непоміченим для людей, але викликає глибокі алгоритми навчання А.І.

"Одним із прикладів атаки буде контроль вашого домашнього пристрою, без того, щоб ви знали, що відбувається", - розповідає Альзант. Обернено. “Якщо ви граєте музику на радіо, а у вашому номері є Ехо. Якщо зловмисний актор здатний транслювати створений аудіо- або музичний сигнал таким чином, що Ехо буде інтерпретувати його як команду, це дозволить зловмиснику сказати, розблокувати двері або придбати щось ».

Це атака, відома як приклад змагальності, і саме Альзантот і його команда прагнуть зупинитися, як описано в їхньому документі, нещодавно представленому на семінарі NIPS 2017 Machine Deception.

A.I. не відрізняється від людського інтелекту, який створив його в першу чергу: він має свої недоліки. Дослідники з інформатики з'ясували, як повністю обдурити ці системи, трохи змінюючи пікселі на фотографії або додаючи слабкі шуми до аудіофайлів. Ці хвилинні налаштування абсолютно не виявляються людиною, але повністю змінює те, що є A.I. чує або бачить.

«Ці алгоритми розроблені для того, щоб спробувати класифікувати те, що було сказано, щоб вони могли діяти на ньому», - говорить Мані Шрівастава, науковий співробітник UCLA. Обернено. "Ми намагаємося знищити процес, маніпулюючи входом таким чином, що людина, що знаходиться поблизу, чує" ні ", але машина чує" так ". Таким чином, ви можете змусити алгоритм інтерпретувати команду інакше, ніж сказано.

Найбільш поширеними прикладами змагань є ті, що стосуються алгоритмів класифікації зображень, або налаштування фотографії собаки, яка злегка підбурює фотографію. думаю, що це щось зовсім інше. Дослідження Альзантота і Шрівастави вказують на те, що алгоритми розпізнавання мови також сприйнятливі до цих типів атак.

У роботі група використовувала стандартну систему класифікації мови, що міститься в бібліотеці Google з відкритим вихідним кодом, TensorFlow. Їхній системі було доручено класифікувати команди з одним словом, щоб він слухав аудіофайл і намагався позначити його словом, що було сказано у файлі.

Потім вони закодували інший алгоритм, щоб спробувати обдурити систему TensorFlow, використовуючи приклади змагань. Ця система змогла обдурити класифікацію мови А.І. 87 відсотків часу використовують так званий "чорний ящик", в якому алгоритм навіть не повинен знати нічого про дизайн того, що він атакує.

"Є два способи підняти подібні напади", - пояснює Шрівастава. «Один з них, коли я, як противник, знаю все про систему прийому, тому тепер я можу скласти стратегію для використання цього знання, це біла коробка атаки. Наш алгоритм не вимагає знання архітектури моделі жертви, що робить її чорною скринькою.

Очевидно, що атаки в чорному ящику є менш ефективними, але вони теж є те, що найімовірніше буде використано в реальній атаці. Група UCLA змогла домогтися такого високого рівня успішності 87 відсотків, навіть якщо вони не пристосували свою атаку до використання слабких місць у своїх моделях. Атака білої коробки була б ще більш ефективною, коли б це не було. Проте віртуальні помічники, такі як Alexa Амазонки, не є єдиним, що може бути використано за допомогою змагальних прикладів.

"Машини, які покладаються на те, щоб зробити якийсь висновок від звуку, можна обдурити", - сказав Шрівастава. - Очевидно, що Amazon Echo і такий приклад, але є багато інших речей, де звук використовується для висновків про світ. У вас є датчики, пов'язані з системами сигналізації, які приймають звук."

Усвідомлення того, що системи штучного інтелекту, які беруть аудіосигнали, також сприйнятливі до прикладів змагальності, - це крок у подальшому розумінні того, наскільки сильними є ці атаки. Хоча група не змогла вивести трансляційну атаку, подібну до того, що описав Альзанто, їхня майбутня робота буде обертатися навколо того, як це можливо.

Хоча це дослідження лише перевіряло обмежені голосові команди та форми атак, воно підкреслювало можливу пошану в більшій частині споживчих технологій. Це виступає як етап для подальших досліджень у захисті від прикладів змагальності та викладання А.І. як розрізняти їх.