Дослідники просять перемикач "Вбивство" тільки на випадок "Роботи включають нас"

Майже кожен раз, коли виникає серйозна дискусія про майбутнє штучного інтелекту, виникає тема анархії і робототехніків. Ідея людей і просунутих штучних істот, що живуть разом, породила сотні розповідей про те, як це спрацює; зовсім недавно відеоігри Заходи приголомшивши світ, розповідаючи про наше майбутнє, через деякий час після масової громадянської війни людини проти робота. Коли інженер Boston Dynamics забиває одного з своїх чотирьохногих роботів заради стрес-тесту, важко не замислитися, чи буде пам'ятати що-небудь.

Все це (разом з базовим здоровим глуздом щодо безпеки та нещасних випадків) призвело до того, що група дослідників опублікувала новий документ, орієнтований на розробку «безпечно перериваються агентів»; системи, які будуть “переривати” A.I. програмного забезпечення, якщо щось піде не так. Стаття була опублікована через Інститут досліджень машинного інтелекту і є дослідженням щодо розробки запропонованих систем. Дослідження та пропозиція використовують систему винагороди як приклад, і насправді набагато складніше, ніж просто потрапити до запропонованої «великої червоної кнопки», яка детально описана на аркуші. Викладання моральності А.І. була головною частиною пропозиції.

Якщо такий агент діє в режимі реального часу під наглядом людини, то з часом може бути необхідним для людини-оператора натиснути велику червону кнопку, щоб запобігти продовженню дії шкідливої ​​послідовності дій агента або шкідливим для агента або для навколишнього середовища - і привести агента до більш безпечної ситуації. Однак, якщо навчальний агент розраховує отримати винагороду від цієї послідовності, він може дізнатися в довгостроковій перспективі, щоб уникнути таких перерв, наприклад, вимкнувши червону кнопку, що є небажаним результатом. У цьому документі досліджується спосіб переконатися, що навчальний агент не навчиться запобігати (або шукати!) Переривання навколишнього середовища або людського оператора.

Потрібно сподобатися, коли в дослідних роботах про робота-анархії використовується термін «небажаний результат» - все-таки стаття продовжує пояснювати тести і що можна робити з подібними випадками в майбутньому. Тут можна прочитати повний текст статті.