Первый вопрос, который встает, когда мы задумываемся о мыслящих машинах, это вопрос о том, насколько они в определенный момент будут похожи на нас. И тут мы приходим к вопросу о собственном «я». Мыслящие машины когда‑нибудь эволюционируют до такого состояния, чтобы у них появилось самосознание, схожее с человеческим? Мы, вероятно, единственный вид, способный сознательно осмыслить то, кто мы есть, – не только знать о своем «я», но также и оценивать это «я» с особой внутренней точки зрения.

Машины разовьют у себя подобное «я»? Смогут ли они испытать воздействие тех же эволюционных сил, которые сделали человеческое «я» фактором повышенной адаптации? Сюда входит необходимость общаться с другими, получать определенный статус и присоединяться к социальным группам. Если вы хотите успешно существовать в человеческом общежитии, полезно иметь такое «я», которое вы мотивированы защищать и улучшать; это то, что побуждает вас становиться человеком, которого другие любят, уважают, к которому прислушиваются, – ведь в итоге повышаются ваши шансы прожить достаточно долго, чтобы произвести на свет потомство. Ваше «я» также дает вам понимание, что у других тоже есть собственное «я», – понимание, необходимое для сопереживания и сотрудничества, а это два необходимых условия социального общежития.

Машины когда‑нибудь испытают воздействие таких эволюционных сил? Начнем с предположения о том, что машины в определенный момент начнут сами контролировать доступ к необходимым им ресурсам, таким как электричество и интернет, и сами будут отвечать за собственную «жизнь» и «смерть». Далее предположим, что в этой среде будут выживать те экземпляры, которые запрограммированы придерживаться по крайней мере одной связанной с собственным «я» цели: повышать свою эффективность и производительность. Эта цель будет сродни стремлению человеческого гена к воспроизводству; в обоих случаях цель определяет поведение, направленное на лучшую выживаемость, будь то поведение человека, обладающего определенным геном, или компьютера, выполняющей определенную программу.

В таких условиях машины будут мотивированы конкурировать друг с другом за ограниченные ресурсы. Те, кто сможет формировать союзы и сотрудничать, то есть жертвовать собственными целями ради чужих в обмен на выгоды в будущем, добьются большего успеха в такой конкуренции. Так что можно представить будущее, в котором машинам окажется выгодно с точки зрения адаптивности становиться социальными существами и формировать отношения с другими машинами, а следовательно, развивать у себя «я», подобное человеческому.

Однако тут нужно сделать одну важную оговорку. Любая социальность, возникающая среди машин, будет качественно отличаться от человеческой по одной ключевой причине: они могут в буквальном смысле читать мысли друг друга. В отличие от людей, им не требуется вторичная – часто имеющая серьезные недостатки – интерпретативная форма эмпатии, на которую опираемся мы. Машины могут непосредственно изучать разумы друг друга. Это делает общение совершенно иным процессом. Несмотря на высочайшую важность множества наших социальных связей, в конечном счете мы, люди, по существу, одиноки. Любая ощущаемая нами связь с чьим‑то разумом метафорична; мы не можем знать наверняка, что происходит у другого в голове, по крайней мере не так, как мы знаем собственные мысли. Этого ограничения для машин не существует. Компьютеры могут получать прямой доступ к «мыслям» друг друга, и нет причин для того, чтобы одна машина, читающая аппаратную и программную часть другой машины, не сумела бы понять – в форме подлинного личного переживания, – каково быть другой. Следовательно, каждая из машин не будет совершенно отдельным «я» в человеческом смысле. Как только ИИ проникнут в разумы друг друга, их «я» обязательно станет коллективным.

Да, машины легко могут отследить источники разных битов получаемых данных и, таким образом, провести различие между своим «я» и прочими машинами. Но когда один индивид понимает другого на таком уровне, на каком это может сделать машина, различие между «я» и «другой» становится совершенно несущественным. Если я скачаю все содержимое вашего компьютера на внешний жесткий диск и подключу его к своему компьютеру, не станут ли эти данные частью «я» моего компьютера? Если я установлю соединение между нашими компьютерами, чтобы они постоянно синхронизировали информацию друг с другом, продолжат ли они быть двумя отдельными машинами? Или с этого момента они становятся едины? Людям никогда не получить такого доступа в разуму другого; несмотря на все наши усилия с кем‑то сблизиться, всегда есть непреодолимая граница, разделяющая разумы. Однако для машин расширение собственного «я» – не только возможный, но и наиболее вероятный результат запрограммированной задачи повышать выживаемость в таком мире, где группы индивидов должны конкурировать за доступ к ресурсам и делиться ими.

Имея собственное «я», машины будут настолько коллективными существами, что, вероятно, спровоцируют появление нового уровня социальности, неизвестного людям, – возможно, более близкого к эусоциальности муравьев, так тесно связанных генетически, что самопожертвование ради члена семьи у них стало фактором выживания. Тем не менее само по себе то, что машина вообще способна иметь собственное «я», обнадеживает. «Я» – это то, что позволяет нам испытывать сочувствие, и для машин оно может стать тем, что заставит их заботиться о нас. Самосознание, вполне вероятно, мотивирует машины защищать (или, по крайней мере, не атаковать) биологический вид, для представителей которого, несмотря на куда более низкий уровень интеллекта, тоже важно, кто они есть.

Конечно, вряд ли стоит надеяться, что со стороны сверхразумных машин мы увидим больше сочувствия, чем со стороны многих людей сейчас.