Я не думаю о них – разве что как о доказательстве того, что мышлению не требуется мистическое «нечто», о котором все еще продолжают с удовольствием рассуждать сторонники идеи дуализма разума и тела.

Я всегда недоумевал, почему некоторые боятся, что машины могут захватить мир; эти опасения основаны на фундаментальной (хотя и естественной) ошибке. Когда мы представляем сверхмощную мыслящую машину, то опираемся на ближайшую доступную нам аналогию – на себя. Поэтому мы склонны думать, что системы ИИ очень похожи на нас, только значительно умнее и быстрее.

Однако это плохая аналогия. Лучше представить себе очень мощную универсальную отвертку. Никто ведь не боится, что супернавороченные отвертки восстанут и ниспровергнут своих хозяев. Системы искусственного интеллекта – это инструменты, а не организмы. Неважно, насколько хорошо они справляются с диагностированием болезней или уборкой в гостиной, они в действительности не хотят ни того, ни другого. Мы этого от них хотим и потому встраиваем в них свои желания.

Спрашивать, над чем могли бы думать мыслящие машины, также было бы категориальной ошибкой. Они не думают над чем‑то, поскольку «направленность» мышления происходит из интенциональных целей, являющихся для него стимулом. Системы ИИ сами по себе совершенно лишены интенций или целей. У них нет эмоций, они не испытывают ни сочувствия, ни обиды. Хотя такие устройства могут когда‑нибудь воспроизвести наш разум – а каких‑либо априорных доводов, свидетельствующих о том, что это невозможно, по‑видимому, не существует, – их мышление будет лишено направленности, и ее придется задавать извне.

Мотивационная направленность – это результат естественного отбора, происходящего в биологических организмах. Естественный отбор выработал сложную комбинацию инстинктов, эмоций и стимулов, максимизирующих возможность передачи наших генов следующему поколению – процесс, который взвалил на нас разнообразные цели, включая желание побеждать, властвовать и управлять. И хотя у нас для желания побеждать могут быть вполне обоснованные эволюционные причины, машинам до этого вообще нет дела. Они просто манипулируют нулями и единицами в соответствии с программой, составленной людьми, которые хотят побеждать. На кой черт системе искусственного интеллекта захватывать мир? Что ей с ним делать?

А вот что действительно страшно, так это идея о сущности, обладающей сверхчеловеческим интеллектом и скоростью, а также нашей мотивацией, другими словами, о людях, у которых есть доступ к мощным системам искусственного интеллекта. Впрочем, умные приматы с ядерным оружием не менее страшны, а мы пока как‑то сумели выжить в таком мире. Искусственный интеллект сам по себе не страшнее атомной бомбы – это инструмент, и бояться надо не его, а его создателей или владельцев.