Чи скажуть автономні зброї «не» незаконним замовленням?

Байназар Мохаммад Назар був без свідомості на операційному столі, коли на нього почав руйнуватися стеля. Батько чотирьох чоловік відправився в лікарню попереднього дня після того, як був розстріляний в ногу, і пройшов другу операцію через два дні, щоб виправити травму. Коли американці почали руйнувати будівлю, лікарі, які працювали над ним, не мали іншого вибору, крім як втекти самостійно так швидко, як могли.

Андрій Кілті в Зовнішня політика розповідає історію про життя і смерть Байназара в статті, що включає фотографію його тіла, покритого сміттям на операційному столі. Байназар був одним з 31 людей, яких загинули Сполучені Штати, коли він вразив лікарню, яку очолюють лікарі без кордонів (також званий MSF) в Кундузі, Афганістан, 2 жовтня.

Після гучних ударів з постраждалих від цивільних, політиків і експертів запитують, як це може статися, і що можна зробити, щоб вона не повторилася. Серед прихильників автономних систем озброєння, які іноді називаються «роботами-вбивцями», одним з популярних аргументів є те, що людська помилка (або злість) є причиною великого ступеня злочинів, скоєних у воєнний час. Теоретично можна сказати, що роботи можуть бути більш точними у своїх цілях, і менш схильними до помилок, ніж люди.

"Насправді, людське судження може виявитися менш надійним, ніж технічні показники в розпалі бою", - пише Майкл Н. Шмітт, професор військово-морського військового коледжу США. "Ті, хто інакше вірить, не відчули туману війни".

Американський авіаудар по госпіталі MSF в Афганістані "викликаний головним чином людською помилкою" http://t.co/X9TGIA81aD pic.twitter.com/TUwit97206

- Телеграфні новини (@TelegraphNews) 25 листопада 2015 року

Тож питання: чи можете ви запрограмувати інструменти війни, щоб обмежити людську поведінку, щоб страйки, подібні до клініки Кундуз, не могли стати бомбардувальниками, або, принаймні, менш вірогідними?

Напевно, ні - хоча б на найближче майбутнє. Але деякі програмісти зі штучного інтелекту розробили робота, який може сказати не людям. Дизайн експерименту простий: людина говорить роботові йти вперед від столу, який робот спочатку відмовляється робити. Коли людина розповість роботові, що він спіймає його, робот приймає замовлення.

Це довгий шлях від напів-автономного вертольота атаки, який повідомляє його людській команді, що він не може здійснити авіаудар по лікарні, тому що це буде військовий злочин, але основна передумова в основному однакова. Як зазначали інші, занепокоєння людини щодо такого роду розвитку в роботах є загальноприйнятою в науковій фантастиці - думаю, що HAL-9000 говорить: "Я не можу цього зробити, Дейв", коли він блокує людину за межами космічної станції в 2001: Космічна Одіссея.

Що стосується специфіки страйку Кундузу, багато фактів навколо нападу залишаються спірними. MSF вимагає незалежного розслідування, проти якого уряд Сполучених Штатів виступає, замість того, щоб обіцяти провести власні огляди.

Деякі частини одного американського розслідування були оприлюднені раніше цього місяця і знайшли людські та механічні помилки, які були причиною страйку. Але на початку цього тижня дві члени служби виступили, щоб суперечити висновкам доповіді. Вони кажуть, що страйк не був помилкою. У їх обліку спочатку повідомляли AP Сили спеціальних операцій США викликали страйк, тому що вони, хоча лікарня використовувалася як центр командування і управління талібів.

За офіційною версією, механічна невдача привела до того, що екіпаж бойовика AC-130 спочатку отримував координати для порожнього поля. Потім екіпаж шукав будівлю в районі, що відповідає фізичному опису, який вони отримали, і відкрив вогонь. Коли їхні інструменти перекалібровані, вони дали команду правильні координати для своєї мети, але екіпаж продовжував стріляти по лікарні.

Якщо цей випадок вірний - що комп'ютер був в кінцевому підсумку точним і люди ігнорували його - це дає деяку довіру до прихильників більшої автономії в системах зброї. Тим не менш, війна США з тероризмом завалена прикладами військових чи ЦРУ, які потрапляють у «правильну» мету і досі вбивають величезну кількість цивільних осіб. Автоматизація не буде вирішувати поганий інтелект, і спроби запрограмувати наближення моральності не припинять воєнні злочини.

У Сполучених Штатах існує сильна спокуса стерилізувати війну і автоматизацію, усуваючи американців з шляху шкоди, що судилося змінити саме визначення війни. Перевага Обами щодо вбивства безпілотних літаків і супровідних запевнень, що безпілотні літаки є найточнішим зброєю, яке коли-небудь створювалося, є яскравим проявом цих цілей. "Вони були чіткими, точними ударами по" Аль-Каїді "та їхнім філіям", - сказав Обама в тусовці Google 2012 року.

Урядове дослідження 2013 року, однак, протиставляє ці претензії. Було встановлено, що безпілотні літаки в Афганістані викликали в 10 разів більше загиблих цивільних осіб, як безпілотні автомобілі. "Дронів не магічно краще уникати цивільних осіб, ніж винищувачі", Сара Холевінський, співавтор дослідження, розповіла Опікун. "Коли пілотам, що літають, реалізовувалися чіткі директиви та тренінги з цивільного захисту, вони змогли знизити кількість жертв серед цивільного населення".

Військові витрачають мільйони на розвиток систем командування персоналом-роботом, що ще більше розмиває лінії між місіями, що здійснюються пілотованою або безпілотною зброєю. "Те, що ми хочемо зробити на боротьбі з людиною-машиною, полягає в тому, щоб взяти його на наступний рівень, поглянути на такі речі, як рояти тактика", - заявив заступник міністра оборони Боб Роуд. "Чи може F-35 піти в бій з чотирма безпілотними крилатками?"

Чи скажуть ці крилани, якщо пілот дасть їм наказ, аналогічний ходіння зі столу? Як щодо наказу знищити лікарню або школу? Туман війни буде застосовуватися в обох випадках. І якщо ми вирішимо перекрити машини, фраза "людська помилка" буде одним з найбільш страшних термінів у конфліктах майбутнього.