Конфликт и лидерство
Искусственный интеллект, автоматизация и ядерная стабильность: на пути к более сложному ядерному будущему

Искусственный интеллект и автоматизация не обязательно должны подрывать стратегическую стабильность и ядерную безопасность, и в некоторых случаях они могут её даже усилить. Но, безусловно, если развитие в ядерной сфере не будет контролироваться, пагубные последствия в будущем вполне вероятны, пишет Эндрю Фаттер, доцент Департамента политики и международных отношений Университета Лестера.

Опасения по поводу возможного негативного влияния искусственного интеллекта (ИИ) и автоматизации – часть растущего беспокойства, связанного с воздействием «деструктивных новых технологий» на ядерную политику и стабильность.

ИИ-технологии восходят ещё к 1950-м годам, но в последнее время шумиха вокруг «роботов-убийц» с ядерным оружием или автономных систем ядерного оружия распространилась и стала играть большую роль в военном планировании. Хотя многие популярные сейчас идеи годятся скорее для научно-фантастических фильмов, на деле влияние ИИ и автоматизации (включая системы в диапазоне от автоматизированных до автономных ), вероятно, будет весьма разнообразным и не столь однозначным, как зачастую принято думать. ИИ и автоматизация уже применяются в ядерной сфере, особенно в системах обеспечения, и их использование почти наверняка будет расширяться в ближайшие годы. Ключ к пониманию происходящего состоит в том, чтобы определить его составные части, посмотреть, где в настоящее время применяются ИИ и автоматизация, где они могут быть применены и где это возможно, но маловероятно или, по крайней мере, нежелательно. ИИ и автоматизация не обязательно должны подрывать стратегическую стабильность и ядерную безопасность, и в некоторых случаях они могут её даже усилить. Но, безусловно, если развитие в ядерной сфере не будет контролироваться, пагубные последствия в будущем вполне вероятны.

Корпорации и экономика
Искусственный интеллект в международных отношениях: эпоха «цифровой дипломатии»
Ярослав Лисоволик
Международные отношения на современном этапе находятся в плачевном состоянии, в связи с чем слышатся призывы усовершенствовать функционирование международной дипломатии. Один из способов сделать это мог бы заключаться в использовании некоторых достижений научно-технического прогресса для налаживания межгосударственного взаимодействия. В число областей, где такой подход уже применяется, вошла международная дипломатия, для развития которой применяется искусственный интеллект (ИИ). В частности, решения в области ИИ уже активно используются в Китае для проработки дипломатами сценариев развития событий на международной арене. ИИ также всё больше используется в рамках экономической дипломатии применительно к торговым переговорам. В будущем важно сделать так, чтобы развивающиеся страны имели возможность пользоваться ИИ при заключении международных договоров и развитии международного сотрудничества.
Мнения участников


Что такое искусственный интеллект и автоматизация?

Кажется, возникает некоторая путаница при использовании терминов «искусственный интеллект» и «автоматизация», особенно в связи с международной политикой. Дело в том, что они могут относиться к совершенно разным видам деятельности и применениям, которые, в свою очередь, имеют совершенно разные последствия для ядерной стабильности и безопасности.

Искусственный интеллект – это, по сути, компьютерные системы и программное обеспечение, способные выполнять задачи, которые обычно требуют интеллекта, если их выполняют люди. Таким образом, на самом деле это не одна дискретная система, а нечто, что может применяться различными способами в зависимости от конкретной задачи. Тем не менее полезно различать ИИ узкого назначения и общий ИИ. ИИ узкого назначения имеет определённые цели и ограничен рамками своей программы и конкретной «проблемой», которую необходимо решить. Общий ИИ или «машинное обучение» включает в себя программное обеспечение, которое позволяет системам «учиться» посредством анализа огромных наборов данных, а затем принимать самостоятельные решения .

Подавляющее большинство того, что мы называем ИИ, и особенно системы, которые используются на ядерных объектах, являются примерами ИИ узкого назначения, основанного на принципе «условие – действие» (главным образом потому, что такой ИИ предсказуем). Но революция компьютерных и информационных технологий, так называемая «четвёртая индустриальная эра», создаёт более широкие возможности для создания и применения интеллектуальных машин.

Автономность/автоматизация – это применение ИИ к определённым задачам, в том числе включающим робототехнику и, следовательно, автоматизированные или автономные системы вооружения. Как и у ИИ, существуют разные варианты автономности, когда дело касается оружия и систем боевой поддержки. Автоматизация может значительно различаться с точки зрения уровней автономности, функций и сложности . Мы можем думать об этих различиях как о существующих в рамках континуума от дискретных автоматизированных систем до более ориентированных на достижение целей автономных систем. Автоматизация также варьируется от автономности в состоянии покоя (компьютерное программное обеспечение) до автономности в движении (программное обеспечение, которое может использоваться в робототехнике и машинах) . Кроме того, как и ИИ, автоматизация десятилетиями использовалась в сферах с высоким уровнем риска, таких как авиалинии и атомные электростанции, а также в системах раннего предупреждения, наведения и доставки на ядерных объектах (хотя большинство из них связано с контролем со стороны человека). ИИ, по сути, позволяет роботизированным системам работать без вмешательства человека на основе взаимодействия с окружающей средой, хотя и в разной степени.

Возможности искусственного интеллекта, робототехники и нейронного машинного обучения теоретически безграничны, и они вполне могут использоваться ядерными силами. Однако на данный момент применение этих технологий ограничено наборами (и безопасностью) данных, необходимых для обучения (особенно для систем, выполняющих функции, где не так много данных, которые можно использовать ), проблемой контроля и непредсказуемости, вычислительными мощностями и желанием сохранить людей «у руля» (хотя, как обсуждается ниже, это может быть палкой о двух концах).

Видеоинфографика: Искусственный интеллект
Несмотря на непрекращающиеся разговоры о возможном «восстании» машин, настоящую угрозу для людей искусственный интеллект может представлять в части конкуренции на рабочих местах. При этом применение искусственного интеллекта может привлечь дополнительные 15,7 триллионов USD в мировую экономику к 2030 году. Это больше, чем общий вклад Китая и Индии. «Развитие искусственного интеллекта может стать как лучшим, так и худшим сценарием, возможным для человечества», – говорил Стивен Хокинг. Какой сценарий ждёт нас в будущем?
Инфографика


Как эти технологии могут быть применены в ядерных и стратегических системах?

США, Россия, Китай и другие страны уже используют ИИ узкого назначения и различные уровни автономии для выполнения определённых функций в рамках своего ядерного потенциала. Но, похоже, в будущем появятся планы по развёртыванию ИИ в сфере автономного оружия и вспомогательных систем для выполнения большего количества задач в различных областях боевого применения .

Одна из областей, где искусственный интеллект и автономные системы, вероятно, будут играть важную роль, – это программное обеспечение, компьютеры и связанные с ними системы, которые поддерживают принятие решений в области ядерного командования, контроля и связи. Здесь есть прецедент: и США, и Россия создали системы раннего ядерного предупреждения во время холодной войны, которые содержали определённую степень автоматизации. Самым ярким примером является полуавтоматическая система ядерного реагирования «Мёртвая рука». Но вполне вероятно, что ИИ и автоматизация будут играть всё более важную роль в деле сбора и очистки данных и, возможно, в комплексном анализе данных для систем предупреждения, в выборе целей и в поддержке ситуационной осведомлённости командования и лидеров.

Вторая область ядерных операций, которая, вероятно, получит огромную выгоду от ИИ и автономности, – это способность обнаруживать и отслеживать скрытые и мобильные ядерные системы противника, а также осуществлять нацеливание на них. Комбинация расширенных возможностей датчиков во всех средах (потенциально развёрнутых на полуавтономных и автономных платформах или в «роях»), возможность быстро передавать огромные массивы данных и анализировать их в режиме реального времени, а также развёртывание беспилотных систем для атак на цели существенно меняют правила игры в «ядерные прятки». Особо выделяются два применения: во-первых, потенциальная способность делать мишенью мобильные ракеты наземного базирования (особенно важно для России), а во-вторых, возможность обнаружения и отслеживания тихих подводных лодок с баллистическими ракетами под поверхностью океана . Возможно, это будет иметь серьёзные последствия для стратегической стабильности, основанной на «гарантированных ответных ударах» (см. ниже).

В-третьих, ИИ и автоматизация будут оказывать влияние на наведение и точность систем ядерного и обычного оружия. Этого можно достичь, сделав ракеты и бомбы «умнее» и потенциально способными реагировать на обстановку до и после запуска. Базовая версия этого типа ИИ включена в современные крылатые ракеты и почти наверняка станет ключом к будущим гиперзвуковым ракетам. Если оружие будет более точным, то возрастёт и возможность нанесения контрсиловых ударов дальнего действия с использованием обычного, а не ядерного оружия.

В-четвёртых, в связи с вышеизложенным ИИ и автоматизация могут способствовать разработке и развёртыванию всё более автономных ядерных и неядерных платформ доставки. Лучшим примером здесь является российская торпеда с ядерной боеголовкой «Статус-6», но не исключено, что другие платформы доставки ядерного оружия – например, американский бомбардировщик B-21 – в будущем получат определённую степень автономности (или, по крайней мере, станут беспилотными). Средства доставки ядерного оружия, возможно, смогут «незаметно барражировать» возле целей в ожидании удара, как автономный израильский БПЛА Harpy. Хотя это может создать серьёзные проблемы для командования и управления.

Другие варианты могут включать в себя более эффективные и мощные кибероперации (как для защиты ядерных сетей и основных компьютерных систем, так и наступательные, такие как «допусковые» атаки на ядерные, ракетные и командные системы противника). Также возможно, что ИИ может использоваться для создания так называемых «глубоких фейков», которые могут использоваться в кампаниях дезинформации, ускоряющих или усугубляющих ядерный кризис.

Война и безопасность в XXI веке
Ядерное оружие в век информационных технологий: новые вызовы с точки зрения безопасности, стратегии и стабильности
Эндрю Фаттер
С появлением кибертехнологий и связанных с ними угроз, в том числе со стороны хакеров, обеспечение безопасности в управлении системами и арсеналами ядерного оружия стало ещё более сложным.
Валдайские записки


Вероятное влияние на контроль над вооружениями и ядерную стабильность

Судя по всему, каждый из рассмотренных выше вариантов применения имеет потенциально разрушительные последствия для ядерной и стратегической стабильности. В частности, развёртывание систем вооружений, которые могут сорвать ответный удар или создать новое давление и непредвиденные эскалации, нуждается в переосмыслении того, как поддерживать мирный глобальный ядерный порядок. Кстати, в этом аспекте восприятие технических траекторий, вероятно, будет иметь такое же, если не большее значение, чем сами технические реалии. 

По крайней мере, можно предположить, что средства сбора и обработки данных, развёрнутые на автономных платформах, в сочетании с новым и более точным кинетическим и цифровым оружием будут рассматриваться как серьёзная угроза стабильному сдерживанию и стимулировать гонку вооружений, которая затронет целый ряд технологий. Военным планировщикам, возможно, придётся рассматривать худшие варианты сценариев и рисков, не в последнюю очередь из-за эфемерности ключевых новых технологий (в отличие от гораздо более осязаемому оружия прошлого). Также возможно, что угрозы – как реальные, так и мнимые – приведут к новым проблемам, кризисам и эскалации напряжённости. В самом худшем случае военные будут настолько обеспокоены уязвимостью своих ядерных сил, что перестанут полагаться на стратегию ответного удара.

Конечно, развёртывание систем вооружений с ИИ вряд ли произойдёт без сопротивления, а программное обеспечение и программы, которые делают это оружие таким мощным и привлекательным, также могут оказаться их ахиллесовой пятой. ИИ будет уязвим для взлома, перехвата и фальсификации данных, и этот риск предположительно будет возрастать по мере приближения к общему ИИ с машинным обучением. Точно так же автоматизированные/автономные платформы, используемые для зондирования, связи и доставки оружия, будут уязвимы для противостоящих сил, будь то противовоздушная оборона от беспилотных летательных аппаратов, «глушилки», кибератаки или аналогичные средства, которые могут быть развёрнуты под водой. Важные объекты вряд ли останутся незащищёнными.

Не очень понятно, что всё это означает для контроля над вооружениями, но в будущих соглашениях необходимо будет учитывать сложную и запутанную картину целиком. Непосредственный контроль над искусственным интеллектом в военной сфере будет трудным, если не невозможным делом, учитывая его повсеместное применение и нематериальный характер. Разумнее было бы сосредоточить внимание на типах систем доставки или на запрете полностью развёртывать автономное ядерное оружие без контроля со стороны человека . С другой стороны, как отмечает аналитик Майкл Хоровиц и другие, ИИ и автономность могут «повысить надёжность, снизить риск несчастных случаев и дать дополнительное время на принятие решений в условиях кризиса» .

Заключение: к более автоматизированному ядерному будущему

Искусственный интеллект и автоматизация никуда не денутся, и вряд ли можно утверждать, что они не будут играть всё большую роль во многих аспектах ядерных операций и глобальной ядерной политики в будущем. Однако пока государства, обладающие ядерным оружием, по-видимому, полны решимости «держать человека у руля» и неохотно делегируют наиболее важные для безопасности ядерные операции машинам. Тем не менее по мере того, как технические возможности будут возрастать, мы, если стратегические ядерные отношения продолжат ухудшаться, увидим в ядерной сфере переход от конкретных приложений ИИ узкого назначения по принципу «условие – действие» ко всё более автономному оружию и вспомогательным системам, опирающимся на общий ИИ и машинное обучение.

Часто цитируемое «решение» для рисков, связанных с ИИ и автоматизацией на ядерном объекте, – это «держать людей у руля» и не допускать появления автономных ядерных систем в стиле «Терминатора».

Однако человеческий контроль не всегда является панацеей: есть риск, что люди станут слишком доверять машинам (предвзятость автоматизации) или что данным с машин нельзя будет доверять из-за сложности понимания того, как было принято решение (разрыв доверия). Существует также проблема того, в каком объёме военные операторы должны обладать знаниями о контексте, на котором можно основывать любую оценку правильности выбора, сделанного машинами.

Конечно, внедрение комплексов ядерного оружия с искусственным интеллектом и автоматизацией не будет дешёвым, и, возможно, некоторые из наиболее опасных разработок будут свёрнуты как из-за бюджетного давления, так и из-за стратегических соображений. Но учитывая, что большая часть движущих сил для ИИ и автоматизации будет исходить из коммерческого, а в некоторых случаях и частного сектора, контроль может оказаться непростым делом, как уже было с различными прорывными технологиями в прошлом.

Простых ответов на потенциальные риски, связанные с корреляцией между ИИ, автоматизацией, ядерными системами, нет, но отправными точками должны быть более глубокое понимание ключевых концепций и оценка того, как может происходить внедрение таких технологий. В ядерной сфере, и особенно в цифровой глобальной ядерной сфере, восприятие и возможность недопонимания будут столь же важны, как и реальность.

Эндрю Фаттер: Новые вызовы ядерному оружию в киберконтексте
30.09.2016
Данный текст отражает личное мнение автора, которое может не совпадать с позицией Клуба, если явно не указано иное.