Что я думаю о машинах, которые думают? Ну, это зависит от того, о чем и насколько хорошо они думают. В течение многих десятилетий я был помощником Дага Энгельбарта, который считал, что компьютеры – это машины, призванные дополнить человеческий интеллект. Электроусилитель разума, если угодно. Он посвятил всю свою жизнь осуществлению этой мечты, но она постоянно ускользала от него, потому что технологии всегда были слишком несовершенными, слишком неразвитыми, слишком негибкими.

Они до сих пор остаются такими, несмотря на закон Мура и все прочее. Улучшения есть, но происходят они очень медленно. Поисковые системы, например, в определенных ситуациях стали вполне годным средством протезирования памяти для некоторых из нас. Но они все еще довольно глупые. Так что я очень жду того момента, когда я смогу сказать своему компьютеру: «Эй, как ты думаешь: не является ли идея Роберта Нозика о развитии государства крайним случаем действия сетевых эффектов?» – и получить ответ, который будет хотя бы приблизительно так же хорош, как ответ обычного аспиранта.

Но до этого, увы, еще далеко. Прямо сейчас мне довольно сложно убедить программу, преобразующую то, что я диктую, в текст, и когда я говорю «Бруно Латур», то имею в виду вовсе не «баран ли тур?». Но, по крайней мере, приложение «Персональный помощник» в моем смартфоне знает, что когда я прошу показать прогноз погоды, то мне нужен прогноз для британского Кембриджа, а не для одноименного города в Массачусетсе.

Но приложение «Персональный помощник» на самом деле довольно убого. Вот что мне и вправду хотелось бы получить, так это машину, которая будет функционировать подобно настоящему личному помощнику, что‑то, что позволит мне работать эффективнее. Иначе говоря, машину, которая может думать самостоятельно. Как узнать, когда технологии будут достаточно развитыми для этого? Очень просто: когда мой личный помощник, обладающий искусственным разумом, сможет придумать нормальную отговорку, позволяющую не делать того, чего мне делать не хочется.

Стоит ли мне беспокоиться по поводу возможного появления мыслящих машин? Вероятно, стоит. Ник Бостром определенно считает, что стоит. Он утверждает, что наша зацикленность на желании сделать компьютер, который продемонстрировал бы интеллект человеческого уровня, – результат заблуждения. Мы рассматриваем машины, которые могут пройти тест Тьюринга, как конечную цель научных поисков Дага Энгельбарта. Но Бостром считает, что прохождение теста – лишь полустанок на пути к чему‑то намного более тревожному. «Этот поезд, – говорит он, – может проскочить станцию „Человеково“, не останавливаясь и даже не снижая ход. Скорее всего, он со свистом пронесется мимо»{4}. И Бостром прав. Так что мне стоит быть осторожнее с желаниями.

4

Nick Bostrom, Superintelligence: Paths, Dangers, Strategies (New York: Oxford University Press, 2014). [Ник Бостром. Сверхинтеллект: Пути, угрозы, стратегии]