Мы, люди, приговорены к тому, чтобы проводить свою жизнь в ловушке внутри собственной головы. Как бы мы ни старались, нам никогда не узнать, каково это – быть кем‑то другим. Даже наиболее чуткие из нас неизбежно столкнутся с непреодолимым разрывом между собственным «я» и «другим». Мы можем страдать, увидев, как кто‑то ударился пальцем о ножку стула, или узнав о чьем‑то горе. Но это будет просто симуляция; переживания других людей не могут ощущаться непосредственно, а потому их нельзя прямо сравнить с нашими переживаниями. Эмпатический разрыв отвечает за большую часть межличностных конфликтов, от прозаичных споров по поводу того, кому мыть посуду, до ожесточенных войн за владение священной землей.

Эта проблема ощущается наиболее остро для моральных дилемм. Этика утилитаризма подразумевает, что базовый критерий этичности – максимизация наибольшего блага для наибольшего числа людей, а для такого расчета необходима возможность сравнивать благо или «полезность» для разных индивидов. Но эмпатический разрыв делает межличностное сравнение делом сложным, а то и вовсе невыполнимым. Вы и я можем оба утверждать, что любим шампанское, но нам никогда не узнать, кто любит его больше, потому что у нас нет общей шкалы для оценки этих субъективных ценностей. В результате у нас нет никакой эмпирической основы, чтобы определить, кому из нас нужнее последний бокал. Иеремия Бентам, основоположник утилитаризма, обратил внимание на эту проблему: «Счастье одного человека никогда не станет счастьем другого; выгода для одного человека не является выгодой для другого. Точно так же можно пытаться сложить двадцать яблок и двадцать груш».

Человеческие мозги не могут решить задачу межличностного сравнения полезности. Нобелевский лауреат Джон Харсаньи работал над ней около двух десятков лет в середине XX века. Его теория считается одной из лучших на сегодняшний день, но ей недостает учета эмпатического разрыва. Теория Харсаньи предполагает наличие идеальной эмпатии, при которой мое представление о вашей функции полезности идентично вашей функции полезности. Но ошибочность человеческой эмпатии неоспорима – об этом говорят данные психологических исследований и наш личный опыт.

Могут ли мыслящие машины справиться с задачей межличностного сравнения полезности? Чтобы преодолеть эмпатический разрыв, требуется способ измерения предпочтений и выражения их в некой единой валюте – это позволило бы проводить сравнение между различными индивидами. Такой алгоритм дал бы нам непротиворечивый набор стандартов, который можно использовать для создания более качественного общественного договора. Представьте себе машину, способную вычислить оптимальное решение для перераспределения материальных благ, учитывая предпочтения каждого субъекта налогообложения, обеспечивая равный вес каждого субъекта и проводя их точное сравнение. Хотя каким конкретно будет решение, пока не ясно, его потенциальная полезность самоочевидна.

Машины, способные преодолеть эмпатический разрыв, также могли бы нам помочь с самоконтролем. Помимо эмпатического разрыва между «я» и «другими», существует схожий разрыв между нашим нынешним и будущим «я». Проблемы самоконтроля основываются на беспрестанном «перетягивании каната» между нынешними и будущими желаниями. Возможно, когда‑нибудь искусственный интеллект положит конец этой патовой ситуации, выяснит предпочтения наших нынешних и будущих «я», сравнит и интегрирует их, а также даст рекомендации, как нам себя вести. Представьте себе диету, достаточно сбалансированную, чтобы способствовать похудению, и достаточно приятную, чтобы у вас не возникало соблазна схитрить и отступить от нее, или план тренировок, который достаточно сложен, чтобы улучшать вашу физическую форму, но достаточно прост, чтобы вы его придерживались.

Нейрофизиологи выясняют, как человеческий мозг осуществляет репрезентацию предпочтений. Нам следует иметь в виду, что предпочтения искусственного интеллекта не обязательно будут похожи на человеческие и могут вообще требовать иной кодировки, если ему придется решать проблемы, с которыми не справляется человеческий мозг. В конечном счете, однако, создавать эту кодировку предстоит нам, и то, какой она будет, – вопрос не только научный, но и этический. Мы уже построили компьютеры, которые видят, слышат и вычисляют лучше, чем это делаем мы. Создать машины, которые лучше сопереживают, – задача посложнее, но ее выполнение может быть необходимым условием нашего выживания.