1. Мы – это они

Фрэнсис Крик назвал «удивительной гипотезой» то, что сознание, также известное как мышление, является эмерджентным свойством материи. По мере развития нейронаук, не встречающего каких‑либо преград, и воспроизведения компьютерами все большего числа действий, которые мы называем разумом у людей, эта гипотеза выглядит все более непреложной. Если так, то любой интеллект – искусственный. Естественный интеллект от искусственного отличается не тем, что́ он есть на самом деле, а только тем, как он создан.

Безусловно, что короткое слово «только» несет здесь довольно большую нагрузку. Мозг используют высокопараллельную архитектуру и задействует множество «шумных» аналоговых блоков (то eсть нейронов), активизируемых одновременно, в то время как большинство компьютеров использует фоннеймановскую архитектуру с последовательной работой намного более быстрых цифровых блоков. Эти различия, однако, размываются, причем с обеих сторон. Архитектура нейронных сетей основана на кремнии, а мозг взаимодействует с внешними цифровыми органами все более эффективно. Я уже чувствую, что мой ноутбук – это часть меня самого, например, он является хранилищем и визуальной, и повествовательной памяти, сенсорным порталом во внешний мир и значительной частью моей математико‑пищеварительной системы.

2. Они – это мы

Искусственный интеллект появился не в результате вторжения пришельцев. Это артефакт конкретной человеческой культуры, и он отражает ее ценности.

3. Разум – раб страстей

Яркое утверждение Дэвида Юма: «Разум есть и должен быть только рабом страстей» – записано в 1738 году, задолго до того, как что‑то похожее на современный искусственный интеллект появилось на горизонте. Имелись в виду, конечно, человеческий разум и человеческие страсти (причем Юм использовал слово «страсти» в очень широком смысле, в значении, близком к «нерациональным мотивациям»). Но логический/философский вывод Юма остается в силе и для искусственного интеллекта. Проще говоря, стимулы, а не абстрактная логика, определяют поведение.

Вот почему искусственный интеллект, который меня больше всего тревожит, воплощен в автономных сущностях военного назначения: искусственных солдатах, разнообразных беспилотных аппаратах и тому подобных системах. Ценности, которые мы можем пожелать привить таким сущностям, – боеготовность и эффективное уничтожение живой силы противника. Но эти положительные ценности, если что‑то пойдет немного не так, способны превратиться в одержимость и агрессивность. Не проявив надлежащей сдержанности и здравомыслия, исследователи могут вдруг обнаружить, что помогли создать армию сильных, умных, злобных параноиков.

В отличие от ситуации с ядерным оружием, тут нет никаких ясных и понятных «красных линий». Со стимулами, которые движут сильным искусственным интеллектом, может произойти множество разных неправильных вещей, и такая угроза кажется мне наиболее реальной не в последнюю очередь потому, что военные обладают огромными ресурсами, много вкладывают в исследования в области ИИ и считают, что обязаны состязаться друг с другом (иначе говоря, они оценивают потенциальные угрозы и повышают боеготовность).

Как избежать этой опасности, не отказываясь от всех благ, которые сулит нам искусственный интеллект? Я думаю, что важнее всего – прозрачность и открытое обсуждение. «Википедия» и сообщества программистов, работающие над приложениями с открытым исходным кодом, – это впечатляющие примеры открытости в совместной работе для достижения общей цели. Их успех демонстрирует, что очень сложные проекты могут прекрасно работать в открытой среде, где множество людей внимательно следят за тем, что именно происходит с проектом, и поддерживают единые стандарты. Если бы специалисты в области искусственного интеллекта приняли на себя коллективное обязательство воздерживаться от секретных исследований, это стало бы важным шагом для развития отрасли.