Говорят, что известный грабитель Вилли Саттон, когда его спросили, почему он грабит банки, ответил: «Потому что там деньги». Когда заходит речь об ИИ, самые важные проблемы касаются чрезвычайно сильного, сверхчеловеческого искусственного интеллекта (или сверхинтеллекта), потому что utilon[1] именно там, – такова ставка. Разумы, обладающие большей силой, сильнее влияют на физический мир.

К этому наблюдению полагается замечание: то, что я задумываюсь о сверхинтеллекте, не означает того, что я считаю, будто он скоро появится. Наоборот, то, что контраргументы по поводу сверхинтеллекта были выдвинуты несколько десятилетий назад, а нынешние алгоритмы ИИ не идут прямым путем к универсальности, не опровергает того факта, что выигрыш (или проигрыш) в основном зависит от создания сверхчеловеческого интеллекта и того, когда он будет создан. (Как отметил Стюарт Рассел, если бы мы получили радиосигнал от представителей более развитой внеземной цивилизации, в котором они сообщали бы, что прибудут через шестьдесят лет, вы бы не стали пожимать плечами со словами: «А, еще целых шестьдесят лет!», особенно если у вас есть дети.)

На мой взгляд, наиболее важную из проблем могущественного интеллекта (опять же следуя принципу Саттона) Ник Бостром обозначил как «проблему загрузки ценностей»: как сконструировать сверхразумы, чтобы они стремились к таким исходам, которые ценны, нормативны и выгодны для разумной жизни в долгосрочной перспективе, то есть, говоря короче, к хорошим, поскольку, если появляется субъект с сильной познавательной способностью, то, чего он захочет, скорее всего, и произойдет.

Вот несколько аргументов в пользу того, что создание искусственных интеллектов, которые предпочитают хорошие исходы, важно и, скорее всего, технически сложно реализуемо.

Во‑первых, почему важно создать сверхинтеллект с определенными целями? Он что, не может сам разобраться со своими целями?

Еще в 1739 году Дэвид Юм обнаружил разрыв между вопросами с «есть» и вопросами с «должен», обратив особое внимание на резкий переход между ними, когда философ говорит о том, каков мир есть, а потом начинает использовать слова вроде «следует», «должно» или «не должно». С современной точки зрения мы бы сказали, что субъективная функция полезности (цели, предпочтения, результата) содержит дополнительную информацию, которая не дана в субъективном распределении вероятностей (убеждения, модель мира, карта реальности).

Если через 100 миллионов лет мы увидим (а) межгалактическую цивилизацию, состоящую из разнообразных, совершенно непохожих друг на друга разумов, которые активно взаимодействуют между собой, и они главным образом счастливы большую часть времени, это будет лучше или хуже, чем то, что (b) большая часть доступной материи Вселенной окажется превращена в канцелярские скрепки? Согласно закону Юма, если вы задаете разум с предпочтением (а) > (b), то можно проследить, где > (упорядочивание предпочтений) было впервые введено в систему, и представить себе иной алгоритм, который, наоборот, вычисляет (a) < (b). Покажите мне разум, который придет в ужас от явно безумной мысли превратить все сущее в скрепки, и я смогу проследить регрессию Юма и обнаружить немного иной разум, который вычисляет <, а не > для того же показателя.

Я не думаю, что разум, основанный на кремнии, должен всегда оставаться рабом разума, основанного на углероде. Но, если мы хотим получить разностороннюю космополитическую цивилизацию вместо, к примеру, скрепок, первый достаточно развитый искусственный интеллект, возможно, следует построить с такой функцией полезности, которая точно определяет этот исход. Если нам нужен ИИ, который будет сам выводить свои моральные суждения, то нам, согласно закону Юма, необходимо сначала определить общие принципы таких суждений. Для этого нужно что‑то еще, помимо наличия у искусственного интеллекта точной модели мира и превосходной способности планировать.

Но, если закон Юма в принципе допускает существование обладающих сильной познавательной способностью субъектов с любыми целями, почему загрузка целей будет такой сложной? Разве мы получим не то, что запрограммировали?

Ответ таков: мы получим то, что запрограммировали, но необязательно то, что хотели. Вызывает беспокойство сценарий, при котором у искусственного интеллекта может выработаться эмоциональная неприязнь к людям. Представьте: мы создаем индуктивный алгоритм изучения ценностей и показываем ему картинки со счастливыми улыбающимися людьми, помеченные как события, обладающие высокой ценностью, – и поначалу искусственный интеллект веселит реальных людей, они улыбаются, все выглядит нормально, и методика получает экспериментальное подтверждение; а потом, когда ИИ становится достаточно умным, он изобретает молекулярные нанотехнологии и покрывает всю вселенную ровным слоем улыбающихся лиц молекулярного размера. Закон Юма, к сожалению, предполагает, что чистая познавательная мощь, в сущности, не препятствует такому исходу, хотя это и не тот результат, к которому мы стремились.

Проблема не является неразрешимой, но она выглядит технически сложной, и нам, наверное, придется справиться с ней с первого раза, как только мы построим что‑то умнее самих себя. Мысль о том, что при создании искусственного интеллекта надо все сделать правильно с первой попытки и что на кону стоит будущее всей разумной жизни, закономерно вызывает крик ужаса у любого, кто знаком с данной областью.

Неважно, будет ли первая мыслящая машина создана хорошими людьми или плохими, если даже хорошие люди не знают, как создать хороший искусственный интеллект. Очевидный ответ – немедленно начать технические исследования по проблеме загрузки ценностей – имеет, мягко говоря, свои сложности. Нынешние алгоритмы искусственного интеллекта недостаточно умны, чтобы продемонстрировать основную часть проблем, которые мы можем прогнозировать у значительно более продвинутых субъектов, – значит, нет способа проверить предлагаемые решения этих проблем. Но из‑за огромной важности вопроса многие люди пытаются приступить к решению как можно раньше. Приоритетные направления исследования, предлагаемые Институтом будущего жизни Макса Тегмарка, – первый шаг в этом направлении.

Однако на данный момент проблема загрузки ценностей не решена. Полных решений нет, даже теоретических. И, если ситуация не изменится в течение нескольких десятилетий, я не поручусь, что разработка продвинутого искусственного интеллекта вообще будет благим делом.

[1] Выгода (эсперанто). – Прим. ред.