Управление эскалацией будущего: человечество vs новые технологии

Что мы знаем об «управлении эскалацией» на поле битвы будущего, где будут присутствовать преимущественно роботы-убийцы? Какие действия являются настолько значимыми, что их можно рассматривать как «эскалацию», если с ними не связаны человеческие страдания, по крайней мере изначально? О том, как обеспечить мир и безопасность в XXI веке, пишет Ульрих Кюн, заместитель руководителя Департамента по контролю над вооружениями и новейшим технологиям Института исследований проблем мира и политики безопасности при Гамбургском университете.

Мир был потрясён, когда в 1997 году суперкомпьютер IBM Deep Blue выиграл у чемпиона мира по шахматам Гарри Каспарова. Двадцать лет спустя чемпион мира по шахматам программа Stockfish 8 потерпела поражение в матче из 100 игр от AlphaZero, игрового программного обеспечения искусственного интеллекта, разработанного компанией Google. Разница в том, что программа AlphaZero сама научилась играть в шахматы, причём сделала это менее чем за четыре часа! Показательно, что она выиграла или свела вничью все 100 игр! Ещё одним примером значительного скачка вперёд в технологиях XXI века является робот Atlas компании Boston Dynamic, который преодолевает паркуром горы коробок (см. здесь это невероятное и несколько пугающее видео).

Не нужно обладать большим воображением, чтобы увидеть потенциал военного применения в обоих случаях. Возникает вопрос: не слишком ли поздно регулировать новые технологии?

До настоящего времени международное сообщество регулировало новые технологии и соответствующие системы вооружений с учётом трёх общих целей: (1) ограничение или предотвращение ненужных или масштабных человеческих страданий, (2) предотвращение доступа определённых субъектов к определённым технологиям и (3) предотвращение тотальной, то есть ядерной, войны. Исторически сложилось так, что предотвращение ядерной войны – это самая недавняя по времени широкомасштабная работа по регулированию военных технологий. (Кстати, самые далёкие из известных усилий такого рода относятся ко времени Средневековья, когда Папа Римский Иннокентий II запретил в 1139 году использование арбалетов против христиан и католиков.)

С появлением в XX веке оружия массового уничтожения и международного гуманитарного права работа по регулированию технического прогресса стала нормой, которая проявлялась в десятках двусторонних и многосторонних международных соглашений по ограничению или определённому контролю над ядерными, биологическими, химическими, ракетными и другими видами оружия и соответствующими технологиями. Контроль за экспортом, инструменты нераспространения, а также соглашения о контроле над вооружениями и разоружении стали неотъемлемой частью средств международного сообщества по регулированию военной техники и технологий двойного назначения.

Последняя волна технологических прорывов в области искусственного интеллекта, беспилотных летательных аппаратов или генной инженерии (CRISPR/Cas) вновь вызвала интерес к способности человечества обеспечить своё собственное выживание путём разработки общих правил. Но для того, чтобы успешно регулировать новые современные технологии, мы должны сначала избавиться от ряда предположений, которые вводят нас в заблуждение. Я разберу три из них ниже, не претендуя на полноту этого списка.

Одно из предположений, часто высказываемых на таких многосторонних форумах, как Организация Объединённых Наций, заключается в том, что современные технологии сильно отличаются от предыдущих, поскольку они появляются гораздо быстрее. Подразумевается озабоченность тем, что международная политика регулирования не успевает за ними. Первое предположение по меньшей мере сомнительно, но последнее, вероятно, верно. Вопрос в том, было ли раньше по-другому? Международному сообществу потребовалось почти четверть века, чтобы разработать глобальные правила контроля за распространением ядерного оружия. Режим контроля за ракетными технологиями появился почти через 50 лет после запуска первых ракет большой дальности. В связи с кубинским ракетным кризисом сверхдержавам времён холодной войны пришлось подойти к грани войны, прежде чем они смогли договориться о ряде правил.

С этой точки зрения, нынешние усилия ООН по регулированию так называемых автономных систем летального оружия (иногда называемых «роботами-убийцами») до того, как они станут представлять опасность в мировой политике, или усилия Группы ядерных поставщиков в упреждающем порядке решать вопрос о последствиях потенциального распространения печати 3D, безусловно, являются положительным моментом. В период явно возросшего спроса на регулирование уход одной страны, которая была флагманом международного регулирования со времени окончания Второй мировой войны, а именно – уход Америки от многосторонней дипломатии в целом, не может не вызывать тревоги.

США и Россия выходят из ДРСМД. Предполагаемое развёртывание ракетных систем и модернизированных видов вооружений
Вслед за США президент России Владимир Путин заявил о приостановке участия РФ в Договоре о ликвидации ракет средней и меньшей дальности (ДРСМД). Россия после приостановки участия в договоре будет создавать новые вооружения, однако без увеличения бюджета министерства обороны. Особое внимание уделяется внедрению новых комплексов «Сармат», «Авангард», «Кинжал» и «Пересвет».
Инфографика

Ещё одно предположение заключается в том, что новые технологии бросают вызов существующим соглашениям о контроле над вооружениями и разоружении. Опять же, скрытая обеспокоенность, похоже, заключается в том, что новые технологические изобретения могут обесценить договоры, заключённые десятилетия назад. В качестве примера часто приводятся острые споры о гиперзвуковых планирующих летательных аппаратах и их потенциальном влиянии на будущее нового американо-российского соглашения о СНВ или российские заявления в отношении беспилотников в связи с прекращением действия Договора о ликвидации ракет средней и меньшей дальности (ДРСМД).

Проблема заключается скорее в политической, чем в технологической сфере. Разногласия по поводу новых систем вооружений или новых технологических стимулов не являются чем-то новым. В прошлом страны, занимавшиеся контролем над вооружениями, обычно пользовались техническими рабочими группами для решения таких проблем с целью корректировки или модернизации соответствующих правил. К сожалению, из-за ослабления интереса к контролю над вооружениями и – в более широком плане – к сдержанности в военных вопросах в ряде стран также исчез интерес к совместному решению общих проблем. В связи с этим мы не должны превращать технологии в козла отпущения, поскольку изменения произошли именно в сфере политических интересов.

Наконец, мы, похоже, считаем, что наши стратегические концепции и терминология по-прежнему пригодны для решения вопроса о влиянии новых технологий. Типичным примером является включение всех понятий, связанных со словом «кибер», в дихотомию «сдерживание»/«контроль над вооружениями». Начнём с того, что большая часть кибероружия разрабатывается, хранится и используется в условиях строгой секретности. В отличие от классического военного оборудования, которое может быть вполне видимо развернуто и использовано, например, для «сигнальных» или «гарантийных» миссий, кибероружие не может использоваться таким образом, по крайней мере не создав при этом огромного потенциала для «непреднамеренной эскалации». Классические законы «эскалации» и «управления эскалацией» не работают в среде, которая не может быть определена в терминах «горизонтальной эскалации» или атрибуции, и в этой связи появляется «важность» «наступательных действий».

То же самое можно сказать и об «управлении эскалацией» на поле битвы будущего, где будут присутствовать преимущественно роботы-убийцы. Какие действия являются настолько значимыми, что их можно рассматривать как «эскалацию», если с ними не связаны человеческие страдания, по крайней мере изначально? Попробуйте прочитать классические труды Томаса К. Шеллинга или Германа Кана в приложении к киберпространству, роботам-убийцам или целому рою беспилотников, и вы сразу же столкнётесь с серьёзными концептуальными проблемами. Однако это не означает, что мы должны вообще отбросить эти концепции. Уж точно не сейчас, пока мы ещё полагаемся на старомодное ядерное сдерживание.

В целом регулирование новых технологий всё ещё возможно, и значительное число государств участвуют в этой работе ежедневно и на различных форумах. Тем не менее, если мы примем вызов всерьёз, то нам придётся проявить совершенно новое и, конечно, более творческое мышление. Возможно, нам следует начать с того, чтобы поставить под сомнение наши собственные фундаментальные предположения о природе современных технологий и наше понимание того, как обеспечить мир и безопасность в XXI веке.

Век роботизации: сможет ли кофеварка управлять государством?
12 марта на площадке Клуба «Валдай» состоялась необычная экспертная дискуссия, посвящённая вопросам роботизации. Вопреки известным опасениям, что машины могут бросить вывод главенству человека в мире, переменить все основания международной политики и стать главным орудием войн, ожидать этого не стоит: центром принятия решений остаётся человек, а война давно уже перестала быть двигателем прогресса. Если роботы чем-то человеку и угрожают – так это подменить нас на скучной, грязной и опасной работе.
События клуба
Данный текст отражает личное мнение автора, которое может не совпадать с позицией Клуба, если явно не указано иное.