Предположим, что нам удалось обзавестись машиной, обладающей разумом человеческого уровня, – иначе говоря, способной сравниться с человеком в любой (или почти любой) сфере интеллектуальной деятельности, а впоследствии и превзойти его. Обязательно ли такая машина будет обладать сознанием? Это важный вопрос, поскольку утвердительный ответ означает, что нам надо остановиться и подумать. Как нам вести себя с такой вещью, если мы ее создадим? Способна ли она испытывать горе или радость? Достойна ли она обладать теми же правами, что и человек? Надо ли нам вообще приводить в этот мир сознающие себя машины?

Будет ли искуственный интеллект, сравнимый по уровню с человеческим, неизбежно обладать самосознанием? Это сложный вопрос. Одна из причин – тот факт, что сознание человека и других животных обладает множеством особенностей. Все мыслящие существа демонстрируют целеустремленность. Все они в большей или меньшей степени сознают мир, в котором живут, и содержащиеся в нем предметы. Все животные в известной мере проявляют когнитивную интеграцию, то есть могут концентрировать свои психические ресурсы – восприятие, воспоминания и навыки – на том, чтобы воздействовать на происходящее в нужный момент, стремясь реализовать собственные намерения. В этом смысле любое животное демонстрирует целостность, индивидуальность. Некоторые из них, в том числе и люди, также сознают сами себя: свое тело и течение мыслей. Наконец, большинство животных, а возможно, и все испытывают страдания, а некоторые способны сопереживать страданиям других.

У здоровых людей все эти свойства образуют единый комплекс. Но у искусственного интеллекта они в принципе могут существовать по отдельности. Следовательно, нам нужно уточнить вопрос. Какие особенности, которые мы ассоциируем с сознанием у людей (если таковые вообще существуют), станут необходимым дополнением к интеллекту человеческого уровня? Каждый из вышеперечисленных признаков (а перечень этот, конечно, не исчерпывающий) заслуживает отдельного пространного описания. Так что позвольте остановиться всего на двух из них, а именно: на осознании мира и на способности испытывать страдание. Я уверен, что способность сознавать окружающий мир – это действительно необходимое свойство интеллекта человеческого уровня.

Определенно, ничто не может обладать мышлением, сравнимым с нашим, если у него нет языка, – а главное назначение человеческого языка состоит в том, чтобы говорить о мире. В этом смысле интеллект тесно связан с тем, что философы называют интенциональностью. Кроме того, язык – социальный феномен, и основное его назначение в группе людей состоит в том, чтобы говорить о вещах, которые все они могут воспринимать сейчас (например: этот инструмент или тот кусок дерева), или воспринимали ранее (виденный вчера кусок дерева), или в принципе способны воспринять (кусок дерева, который мы, возможно, увидим завтра). Короче, язык основан на осознании мира. Для обладающего телом существа или робота оно будет проявляться через взаимодействия с окружением (обход препятствий, подбор предметов и т. д.). Но мы могли бы расширить понятие, включив в него распределенный, лишенный физического тела искусственный интеллект, оснащенный сенсорами.

Чтобы с уверенностью называться одним из вариантов самосознания, такой вид осознания мира, вероятно, также должен сопровождаться очевидной целеустремленностью и некоторой когнитивной интеграцией. Потому, скорее всего, три перечисленных свойства окажутся единым целым даже у ИИ. Но давайте на мгновение отвлечемся от этого вопроса и вернемся к способности испытывать страдание или радость. В отличие от осознания мира, нет очевидных причин полагать, что искусственный интеллект человеческого уровня должен обладать этим качеством, даже при том, что у людей он тесно связан с самосознанием. Легко представить машину, которая, не испытывая чувств или эмоций, выполняет любые интеллектуальные задачи. У нее не будет самосознания, которое имеет решающее значение, когда речь идет о предоставлении прав. Как отмечал Иеремия Бентам, если мы размышляем над проблемой норм обращения с животными, вопрос состоит не в том, могут ли они мыслить, а в том, могут ли они страдать.

Нет такого предположения, что «простая» машина никогда не сможет испытывать страдания или радость, – но в данном вопросе кое‑что связано с биологией. Идея, скорее, заключается в том, что способность страдать или радоваться может быть отделена от психологических особенностей, взаимосвязанных в человеческом сознании. Давайте внимательнее рассмотрим это условное разделение. Я уже говорил, что осознание мира может идти рука об руку с явной целеустремленностью. У животных осознание мира, того, что он способен дать во благо или во вред (в терминах Джеймса Джерома Гибсона), служит удовлетворению их потребностей. Животное демонстрирует понимание того, что хищник удаляется от него или же что потенциальная жертва приближается. В контексте целей и потребностей поведение животного целесообразно. Если ему что‑то помешает, если цели его окажутся недостигнутыми, а потребности – неудовлетворенными, это будет основанием для того, чтобы испытывать страдания.

А что насчет искусственного интеллекта, сравнимого с человеческим? Не возникнет ли у такого ИИ комплексного набора целей? Не получится ли при некотором стечении обстоятельств, что попытки достичь этих целей каждый раз будут оказываться неудачными? Уместно ли в таком случае сказать, что ИИ испытывает страдания, даже если учесть, что особенности строения делают его невосприимчивым к боли или неприятным физическим ощущениям, известным людям?

И вот тут наше воображение и интуиция отказываются идти дальше. Подозреваю, что ответа на этот вопрос мы не найдем, пока не окажемся лицом к лицу с реальным явлением. Только тогда, когда сложный искусственный интеллект станет привычной частью жизни, наша языковая игра окажется приспособленной к подобным чужеродным для нас сущностям. И не исключено, что тогда уже окажется слишком поздно решать, стоило ли вообще производить эти сущности на свет. К добру или к худу, они уже будут здесь.