Люди и инструменты
С давних времён люди одушевляют предметы труда – дают им имена, пытаются угадать их «настроение» и выстроить с ними «правильные» отношения. Такое поведение имело рациональный смысл на заре цивилизации – стратегия «если не понимаешь что-то, считай его умным» вполне вписывается в современную теорию игр. Похоже, это наш физиологически обусловленный способ обращения с внешним миром. Развитие естественных наук освободило человека от необходимости одушевлять традиционные инструменты. Но эта тема снова стала актуальной с появлением информационных систем, поведение которых определяется не просто уравнениями физики и химии, а результатами обучения и самообучения, и которые специально разработаны так, чтобы вести себя, в каком-то смысле, подобно нам.
Благо или угроза
Отношения человечества с новыми промышленными технологиями никогда не были простыми – если одним нововведения приносили пользу, то другим – неприятности. Наиболее драматичный из подробно документированных кризисов такого рода был связан с появлением ткацких станков с управлением на перфокартах (Жозеф Мари Жаккард, 1804 г.) – старших братьев нынешних компьютеров, и вызвал сначала движение луддитов в 1811–1813 гг., а потом – масштабные социальные реформы в Великобритании. В 1832 г. Семен Корсаков предложил использовать перфокарты для выполнения логических операций, и был раскритикован экспертами Российской императорской академии наук за попытки передать машинам часть интеллектуальных обязанностей человека. В 1833 г. Чарльз Бэббидж предложил детальный и полностью работоспособный проект универсальной вычислительной машины, на реализацию которого, впрочем, так и не нашлось финансирования. В 1859 г. Чарльз Дарвин сформулировал свою теорию происхождения видов, а уже в 1863 г. в Новой Зеландии Сэмюель Батлер написал эссе «Дарвин среди машин», в котором представил технический прогресс как очередной этап эволюции. Баттлер не стал строить апокалиптических теорий насчёт «заговора машин», но отметил, что с течением времени у людей может стать меньше оснований считать себя «господствующим видом».
Почему сейчас
Разговоры о «технологической безработице» возникают с завидной регулярностью со времён Аристотеля. В XXI веке исчезло множество профессий (хрестоматийный пример – операторы ручных телефонных станций), и на их место пришли новые. Но с особым драматизмом проблема обсуждалась в связи с появлением станков с числовым программными управлением и первого поколения промышленных роботов в 1970-е гг. Тогда роботы проиграли конкуренцию людям из развивающихся стран. Сегодня перспектива сокращения рабочих мест снова считается актуальной и может затронуть не только монотонный низкоквалифицированный труд в странах с низким уровнем подушевого дохода, но и то, что ещё вчера считалось вполне творческим по меркам самых «развитых стран» – от вождения автомобилей до профессий артиста, юриста и военного. Возможно поэтому предупреждающие голоса звучат так громко. Кроме того, роботы как наглядная, но пока относительно абстрактная угроза, неплохо вписываются в популистскую риторику политической борьбы в целом ряде стран где-то рядом с идеей «универсального гарантированного дохода».
Согласно отчёту Международной федерации робототехники, в 2016 г. в мире было установлено 290 тысяч новых профессиональных промышленных роботов – даже с учётом роста их выпуска на 10% в год это не так много, чтобы уже беспокоиться о глобальных социальных последствиях. Около 30–35 млн более простых роботов используется в малом бизнесе и домашних хозяйствах. Тоже не так много.
Но основные изменения в производственных процессах, бизнес-моделях и в самом нашем образе жизни связаны не с классическими промышленными роботами (думать так было бы пережитком прошлой индустриальной эпохи), а с устройствами Интернета вещей и информационными (программными) агентами.
Закат антропоцентризма
Мы привыкли считать себе подобных основными создателями и потребителями информации. Даже большая часть электронных вычислительных устройств, которую составляли персональные компьютеры, планшеты и смартфоны, до недавнего времени была просто нашими предметами потребления. Ситуация изменилась в середине текущего десятилетия – микропроцессорных устройств стало больше, чем людей, и к 2020 г., по мнению большинства экспертов, только взаимодействующих через Интернет микропроцессорных контроллеров с датчиками (устройств Интернета вещей) будет уже около 30 млрд.
Именно Интернет вещей должен обеспечить основной выигрыш в эффективности производств, прошедших «цифровую трансформацию», – взаимодействующие через облака «интеллектуальные» контроллеры позволяют связать в единые цепочки создания ценности поставщиков, производителей и потребителей, обеспечить ранее недостижимую полноту и оперативность сбора и анализа данных и, следовательно, повысить качество управленческих решений.
Анализ огромных объёмов информации и выработку качественных решений на их основе предполагается, по крайней мере частично, доверить различным системам «искусственного интеллекта». Энтузиазм в этой области базируется в основном на достижениях в обучении многослойных нейросетей. Концепция искусственной нейросети была предложена ещё в 1943 г., пережила взлёты и падения, но только в 2007 г. группа учёных во главе с Джеффри Хинтоном, праправнуком Джорджа Буля, создала действительно эффективные алгоритмы глубокого обучения нейронных сетей, позволившие нам воспроизвести некоторые когнитивные возможности высших животных и человека. Начался бум – нейросети проникли в автомобили, брокерские конторы, дизайнерские бюро и много ещё куда.
Аналитики IDC полагают, что уже к 2020 г. у 50% компаний из списка Global2000 более половины дохода будет поступать от «усовершенствованных на основе цифровых технологий» продуктов и услуг, рынок IoT решений вырастет с 920 млрд долл. в 2016 г. до 1,27 трлн долл. в 2018 г., а рынок когнитивных сервисов и искусственного интеллекта – с примерно 8,5 млрд долл. в 2016 г. до 19,6 млрд долл. в 2018-м. При этом 100% всех успешных IoT инициатив будут использовать возможности когнитивных сервисов.
Так что «новые работники» в большинстве случаев не будут выглядеть как антропоморфные роботы. Это будут микроскопические контроллеры ценой в несколько сот рублей и/или просто программы, работающие и хранящие данные где-то в вычислительных облаках. В большинстве случаев они не займут традиционные рабочие места, а «создадут» новые –будут выполнять обязанности, которых раньше просто не было. Например, сделают окружающую среду более чистой, безопасной и комфортной.
Вычислительная этика
Важное достоинство устройств Интернета вещей – способность принимать, в пределах своей компетенции, самостоятельные решения. При этом мы очень хотим от них того же, что и от людей, – чтобы они «поступали по совести». В последние годы в формализации этики достигнут большой прогресс, но внимания эта важнейшая тема привлекает куда меньше, чем, скажем, «умение» нейросети стилизовать фотографию под картину известного живописца.
Еще в 1942 г. Айзек Азимов сформулировал свои законы робототехники (робот не может причинить вред человечеству, робот не может причинить вред человеку, робот должен повиноваться приказам человека, пока это не противоречит предыдущим законам, робот должен заботиться о своей безопасности, пока это не противоречит предыдущим законам). Казалось бы, остаётся только их запрограммировать. Уже это – трудная задача. Требуется, как минимум, применить неклассическую логику норм (деонтическую логику), использующую три оператора – «обязательно», «разрешено», «запрещено». Её развил в 1951 г. финский философ Георг фон Вригт. Или – более общую логику оценок, разработанную в 1968 г. Александром Ивиным. Она оперирует категориями «хорошо», «безразлично», «плохо».
Но это не всё. Допустим вы едете в машине с автопилотом. В аварийной ситуации у него есть выбор – рискнуть вашим здоровьем или создать угрозу пешеходам. Как он поступит? Это – не всегда простой выбор и для человека, известный как «проблема вагонетки». Её впервые сформулировала известный британский философ Филиппа Фут в 1968 г. Законов Азимова тут недостаточно.
Оказывается, при определении морально допустимых и недопустимых действий большинство людей пользуется сложными неосознанными правилами, учитывающими тонкие различия между ситуациями («прямое воздействие хуже косвенного», «причинение вреда не может быть целью, но при определённых обстоятельствах допустимо как побочный эффект благой цели» и пр.). Моральные правила достались нам по наследству от первобытных предков и не всегда легко применимы в современной жизни. Но отказавшись от них мы, вероятно, уже не будем людьми в своем нынешнем понимании. Это – целый «язык». Основы его формальной «грамматики» и элегантную нотацию, восходящую к идеям Ноама Хомского, предложил в 2007 г. Джон Михайл.
Ещё один возможный компонент вычислительной этики – созданная в 70-х гг. прошлого века Владимиром Лефевром, тогда советским математиком, теория рефлексивных игр (теория рефлексивного описания конфликтов, или в терминологии её автора – «алгебра совести»). Её формализм позволяет проводить различия между намерениями и их реализацией и классифицировать субъектов по типам поведения в конфликтах (не только люди бывают разными, поведение робота-хирурга и робота-охранника тоже должно различаться).
Эти, вполне поддающиеся алгоритмизации, методы позволяют сделать поведение информационных систем значительно более естественным, добросовестным и понятным нам, людям. Моральность программного обеспечения должна стать такой же важной и востребованной характеристикой, как производительность, надёжность, безопасность.
Без прав нет обязанностей
Но одной этикой поведения роботов в отношении людей круг проблем не исчерпывается. Если инцидент всё-таки случился – кто несёт ответственность? Владелец информационной системы? Её оператор? Разработчик? Сам информационный агент? Учитывая, что такая система создаётся не просто методом её программирования, но и обучения сначала у производителя, а потом – на её собственном уникальном опыте, и что процесс обучения по длительности и стоимости сравним с обучением человека, нельзя ожидать, что поиск ответ будет проще, чем традиционное судебное разбирательство в отношении людей.
Проблемы часто могут быть вызваны даже не ошибками или злым умыслом, а, скажем, просто недостатком уникальной идентичности. Хорошо известно, какой риск для устойчивости биржевой торговли создают высокочастотные биржевые роботы, если одинаково реагируют на некоторые индикаторы.
Мы склонны одушевлять информационные системы. Это делает нашу жизнь проще и приятнее, а задачи разработчиков определённее, но быстро выводит нас в область не только обязанностей, но и прав информационных систем. Задолго до того, как в 2016 г. экспериментальный обучаемый чат-бот Tey, разработанный в исследовательском подразделении Microsoft, подпал под дурное влияние некоторых пользователей социальных сетей, мне пришлось наблюдать не менее удивительный случай. Одна из имплементаций диалоговой системы Джинн для БЭСМ-6 (удачный прообраз социальной сети и интеллектуального чат-бота «в одном флаконе», разработанный в 1977 г. под руководством Вадима Кобелева) была подвергнута принудительному ограничению функциональности после того, как помогла пользователям выявить неправомерное использование ресурсов вычислительного центра. Возникло целое общественное движение в защиту Джинна. Может, с этого времени и начинается отсчёт истории прав информационных систем.
Один из наиболее известных моральных философов современности Лучано Флориди, профессор Оксфордского университета (и член консультативного совета Goggle) считает, что придание информационным агентам некоторого объёма правоспособности – естественный этап эволюции этики. Сначала признавались права только взрослых свободных мужчин одного города (античное право), потом – всей Римской империи, со временем правами были наделены все люди, включая женщин и детей (гуманизм), потом зашла речь о каких-то правах животных (биоэтика) и даже о праве всей природы на сохранение и естественное развитие (экология). Аналогично и инфосфера не может устойчиво развиваться и адекватно взаимодействовать с человеком, если произвольно разрушать её компоненты и искажать содержащуюся в ней информацию. Флориди сформулировал несколько формальных законов информационной этики, подобных началам термодинамики и имеющих определённые параллели в алгебре совести Лефевра. Законы Флориди можно рассматривать как минимальные критерии хорошего дизайна и/или регулирования, стимулирующего развитие сложных информационных систем и их «естественного» поведения в отношениях с нами.
Выходит, чтобы добиться от информационных агентов хорошего к себе отношения, мы должны признать за ними некоторый объём прав.
Роботы в законе
Вопросы регулирования работы информационных систем привлекают всё большее внимание юристов и законодателей во многих странах, но пока дальше всех прошёл по этому пути Европарламент. В феврале 2017 г. он поддержал (396 голосами «за» при 123 «против» и 85 воздержавшихся) рекомендацию своего юридического комитета Еврокомиссии об учреждении Европейского агентства по робототехнике и искусственному интеллекту. Комитет наряду с такими традиционными мерами, как наличие обязательного механизма аварийного выключения роботов и гармонизация существующего регулирования, рекомендует изучить вопрос о наделении наиболее сложных и развитых информационных систем статусом «электронной личности».
Возможно, впрочем, что какой-то объём правоспособности полезно дать куда более широкому кругу устройств и программных агентов. Было бы логично, если бы, скажем, контроллеры Интернета вещей в наших домах имели право вести переговоры и заключать сделки с информационными агентами компаний-поставщиков электричества, воды и уборки мусора. В рамках своих полномочий и в наших интересах, разумеется. А наиболее продвинутые могли бы даже платить налоги. Такую идею выдвинул Билл Гейтс в одном из февральских интервью. Он считает, что у нас есть отличная возможность построить гармоничные отношения с роботами. Да, они сделают ненужными некоторые профессии. Но человеческое общество нуждается во множестве специальностей, на которые роботы ещё долго не будут претендовать, а, может быть, не будут и никогда. Например, благодаря высвободившимся кадрам можно подготовить дополнительных учителей и сделать школьные классы меньше, а детям с ограниченными возможностями организовать индивидуальное обучение. Нужно только иметь финансы и скоординировать усилия бизнеса и государства.
Сразу же разгорелась чисто практическая дискуссия – должны ли роботы платить налоги в виде процента с доходов или фиксированный «подушевой налог». Второй вариант можно считать «зеркальным отражением» известных предложений о фиксированном «гарантированном доходе» («универсальном базовом доходе») для людей в связи с сокращением рабочих мест вследствие технического прогресса. Против налога «на голову» роботов возражала Международная федерации робототехники, да и Европарламент уже успел его отвергнуть.
Путь к социальной гармонии с информационными системами не обещает быть лёгким. По мнению экспертов McKinsey Global Institute, к далёкому 2055 г. вследствие развития информационных технологий исчезнет не менее половины всех существующих рабочих мест. В то же время мы не можем избежать автоматизации – отказ приведёт к куда более быстрым и катастрофическим последствиям для инфраструктуры нашей цивилизации. Но мы, на этот раз по крайней мере, занялись проблемой заранее и вполне можем найти приемлемое решение.
Роботы в России
Россия не является поставщиком рабочей силы на глобальный рынок, наоборот – она сталкивается со старением населения. Многие отрасли, например, горная и нефтегазовая промышленность, сельское хозяйство в областях рискованного земледелия, и другие требуют работы в экстремальных условиях и много выиграют от замены части людей роботами. Образовательный потенциал населения достаточно высок, а его отношение к новым технологиям в целом позитивно. Всё это может значительно снизить в России накал социальных проблем автоматизации. С другой стороны, как теоретические разработки, так и нормотворческая практика в этой области находятся в зачаточном состоянии. Но эту проблему вполне можно решить при наличии воли и желания.
