Сингулярность – тот роковой момент, когда искусственный интеллект превзойдет своих создателей в разумности и захватит мир, – это мем, заслуживающий того, чтобы над ним поразмыслить. У него есть характерные признаки городской легенды: некоторое научное правдоподобие («Ну, в принципе, я полагаю, такое возможно!») и замечательная, вызывающая дрожь кульминационная фраза («Нами будут править роботы!»). «А ты знаешь, что если ты одновременно чихнешь, рыгнешь и пукнешь, то умрешь?» – «Да ладно, правда?» После десятилетий шумихи по поводу искусственного интеллекта можно было бы думать, что люди станут считать сингулярность шуткой, но, как оказалось, обеспокоенность общества этой идеей только растет. Добавьте несколько известных новообращенных – Илона Маска, Стивена Хокинга и Дэвида Чалмерса – к ряду других громких имен, и вы уже не можете не принимать ее всерьез. Когда случится это выдающееся событие – через десять, сто или тысячу лет? Может, благоразумнее будет уже сейчас начинать планировать, строить баррикады и повышать бдительность, высматривая предвестников катастрофы?

Я, напротив, думаю, что эти тревожные сигналы отвлекают нас от более насущной проблемы – от нависшего над нами бедствия, которое гораздо ближе и которому не нужна никакая помощь со стороны закона Мура или грядущих прорывов в теоретической науке. Мы в течение нескольких веков с огромным трудом постигали природу, сегодня накопленные знания позволяют нам впервые в истории контролировать многие аспекты наших судеб – и вот мы готовы отречься от этого контроля в пользу бездумных искусственных агентов и преждевременно поставить цивилизацию на автопилот. Соблазн поступить так коварен, потому что каждый следующий шаг сам по себе – предложение, от которого невозможно отказаться. Вы бы выглядели сегодня полным дураком, если б делали сложные арифметические вычисления с помощью карандаша и бумаги, тогда как карманный калькулятор намного быстрее и почти стопроцентно надежен (не забываем об ошибке округления). Зачем запоминать расписание поездов, когда его в любой момент можно посмотреть на смартфоне? Оставьте чтение карты вашему GPS‑навигатору; да, он вовсе не умный, но он куда лучше вас справляется с задачей – не дает вам сбиться с маршрута.

Поднимемся выше по технологической лестнице: врачи все больше зависят от диагностических систем, которые объективно надежнее, чем любой специалист‑человек. Вы бы хотели, чтобы ваш доктор отверг подготовленное машиной заключение, когда речь идет о выборе лечения для спасения вашей жизни? Это может оказаться лучшим – объективно наиболее успешным, непосредственно полезным – применением технологии, используемой в IBM Watson[1], и вопрос о том, можно ли считать этот компьютер разумным (или сознательным), к делу не относится. Если окажется, что Watson лучше, чем эксперты‑люди, справляется с постановкой диагнозов на основе доступных данных, то нашей нравственной обязанностью будет пользоваться результатами его работы. Врач, который решает пренебречь рекомендациями такой машины, сам напрашивается на судебный иск о злоупотреблении служебным положением. По‑моему, ни одна область человеческой деятельности не застрахована от использования таких протезов‑оптимизаторов, и везде, где бы они ни появились, мы вынуждены делать выбор в пользу надежных результатов, а не человеческих отношений, как это было прежде. Рукотворные законы и даже рукотворная наука могут занять место рядом с кустарной керамикой и свитерами ручной вязки.

В самые первые дни существования искусственного интеллекта была предпринята попытка провести четкое различие между ИИ и когнитивным моделированием. Предполагалось, что первый станет отраслью инженерного дела и будет работать как угодно, не пытаясь подражать человеческим мыслительным процессам, кроме тех случаев, когда это окажется эффективным. Когнитивное моделирование, напротив, представляло собой дополнение к психологии и нейробиологии. Модель когнитивного моделирования, которая убедительно продемонстрировала бы характерные человеческие ошибки или затруднения, стала бы триумфом, а не провалом. Такое различие в стремлениях продолжает существовать, но почти стерлось из общественного сознания. Для дилетантов искусственный интеллект – это штука, способная пройти тест Тьюринга. Недавние достижения в области ИИ стали в основном результатом того, что мы отказались от моделирования человеческих мыслительных процессов (которые, как мы думали, мы понимаем) и перешли к использованию удивительных возможностей суперкомпьютеров для майнинга данных, чтобы извлечь оттуда важные связи и паттерны. При этом мы уже не пытаемся сделать так, чтобы компьютеры понимали, что делают. По иронии судьбы, такие впечатляющие результаты побуждают многих когнитивистов пересмотреть свою позицию; оказывается, что надо еще многое узнать о том, как мозг осуществляет свою блестящую работу по «продуцированию будущего», и в этом нам помогут методы машинного обучения и майнинга данных.

Но общественность будет упорно предполагать, что любой черный ящик, который способен проделывать такие штуки (безотносительно последних успехов в области разработки искусственного интеллекта), – это разумный агент, во многом похожий на человека, тогда как на самом деле то, что находится в ящике, – это причудливо нарезанная двумерная ткань, сила которой как раз в том и заключается, что у нее нет надстройки в виде человеческого разума со всеми его особенностями: склонностью отвлекаться, волноваться, испытывать эмоции, переживать воспоминания и строить личные привязанности. Это вообще не гуманоидный робот, а бездумный раб, последняя модель автопилота.

В чем проблема с тем, чтобы передать нудную мыслительную работу таким высокотехнологичным штуковинам? Да ни в чем, при условии, что (1) мы не будем сами себя вводить в заблуждение, и (2) нам как‑то удастся не допустить атрофии собственных познавательных навыков.

1. Очень‑очень трудно принять свойственные нашим помощникам ограничения и не забывать о них, равно как и не забывать о склонности человека всегда приписывать компьютерам разумность, как мы знаем еще со времен печально известной программы «Элиза», написанной Йозефом Вайценбаумом в 1960‑х годах. Это очень опасно, ведь мы всегда будем испытывать желание требовать от них большего, чем то, для чего мы их создали, а также доверять полученным ими результатам, когда этого лучше не делать.

2. Используй или потеряешь. Поскольку мы все сильнее зависим от когнитивных протезов, то рискуем стать беспомощными, если они когда‑нибудь перестанут работать. интернет – не разумный агент (ну, в каком‑то смысле, может, и разумный), но мы тем не менее стали настолько от него зависеть, что, если бы он вдруг сломался, началась бы такая паника, что общество оказалось бы уничтожено за несколько дней. Кстати, к предупреждению этого события нам надо сейчас приложить все усилия, потому что оно может произойти в любой момент.

Реальная опасность – это не те машины, которые станут умнее нас и узурпируют роль хозяев наших судеб. Реальная опасность – это машины, по сути безмозглые, но наделенные нами полномочиями, значительно превосходящими уровень их компетентности.

[1] Суперкомпьютер, способный понимать вопросы на естественном английском языке и искать ответы в базе данных. – Прим. ред.