Искусственный интеллект нужен нам, как и раньше, в первую очередь для того, чтобы строить машины, которые лучше принимают решения. Считается, что сегодня это означает увеличение ожидаемой полезности, насколько возможно. Однако на самом деле смысл состоит немного в другом, а именно: дана функция полезности (или функция вознаграждения, или цель), нужно максимизировать ее ожидаемое значение. Исследователи искусственного интеллекта усердно работают над алгоритмами такой максимизации – над игрой «поиск по дереву», над обучением с подкреплением и т. д. – и над методами (включая восприятие) получения, репрезентации и обработки информации, необходимыми для вычисления ожиданий. Во всех областях был достигнут значительный прогресс, и он, похоже, только ускоряется.

Среди всей этой активности незамеченным остается один важный момент: уметь хорошо принимать решения и принимать хорошие решения – не одно и то же. Неважно, насколько безупречно машина максимизирует ожидания, неважно, насколько точна ее модель мира, – решения, принятые с помощью алгоритма, могут быть несказанно глупы в глазах обычного человека, если функция полезности плохо соотносится с человеческими ценностями. Известный пример со скрепками – хорошая иллюстрация: если единственная цель машины – увеличивать число канцелярских скрепок, она может изобрести потрясающие технологии, чтобы преобразовать всю материю в досягаемой области Вселенной в канцелярские скрепки, но ее решения все равно будут совершенно тупыми.

Искусственный интеллект вслед за исследованием операций, статистикой и даже экономикой рассматривает функцию полезности как нечто, заданное экзогенно. Мы говорим: «Решения отличные, проблема с функцией полезности, но это не вина системы ИИ». Почему это не вина системы ИИ? Если бы я вел себя как машина, вы бы сказали, что это моя вина. Когда мы оцениваем людей, то ожидаем от них и способности осваивать прогностические модели мира, и способности выяснять, что является целесообразным, то есть общей системы человеческих ценностей.

Как объясняют Стив Омохундро, Ник Бостром и другие ученые, несовпадение ценностей и все более эффективные системы принятия решений в сочетании способны вызвать ряд проблем, возможно даже таких, которые приведут к исчезновению целого вида, если машины окажутся более эффективны, чем люди. Некоторые утверждают, будто человечеству ничто не угрожает в ближайшие несколько веков, забывая при этом, что временной интервал между уверенным заявлением Эрнеста Резерфорда о том, что энергию атома высвободить невозможно, и открытием Лео Силардом цепной реакции, инициируемой воздействием нейтронов, составил менее 24 часов.

По этой причине, а также по более насущным соображениям – ведь бытовым роботам и беспилотным автомобилям нужно будет разделять значительную часть человеческой системы ценностей – исследования в области согласования ценностей стоит продолжать. Один из вариантов – обратное обучение с подкреплением: машина определяет функцию вознаграждения, наблюдая за неким субъектом, в отношении которого предполагается, что он действует в соответствии с такой функцией. Бытовой робот, наблюдая, как его владелец утром варит кофе, узнает об уместности кофе в определенных обстоятельствах, тогда как робот, принадлежащий англичанину, узнает, что при любых обстоятельствах уместен чай. Робот не учится хотеть кофе или чаю; он учится играть определенную роль в мультисубъектной задаче принятия решений, в которой максимальное значение имеют человеческие ценности.

На практике эта задача будет непростой. Люди непоследовательны, иррациональны и слабовольны, а человеческие ценности демонстрируют, скажем так, региональную изменчивость. Кроме того, мы пока не вполне понимаем, не сделают ли усовершенствованные механизмы принятия решений более опасными маленькие сбои в согласовании ценностей человека и машины. Тем не менее есть основания для оптимизма.

Во‑первых, у нас полно данных о действиях человека – большая часть из того, что было написано, снято или наблюдается непосредственно, – и, что важнее всего, у нас полно данных об отношении к этим действиям. (На той же идее базируется понятие обычного международного права: оно основано на том, что традиционно делают государства, когда руководствуются чувством долга.) Во‑вторых, разделяя человеческие ценности, машины могут и даже должны делиться друг с другом тем, что о них узнаю́т. В‑третьих, есть веские экономические стимулы для решения этих задач, поскольку машины все больше входят в окружение человека. В‑четвертых, проблема не выглядит принципиально более сложной, чем выяснение того, как устроен весь остальной мир. В‑пятых, если определить очень широкие априорные суждения о том, какими бывают человеческие ценности, и сделать системы искусственного интеллекта не склонными к риску, то можно вызвать как раз такое поведение, которого мы хотим: прежде чем предпринять какое‑либо серьезное действие, влияющее на мир, машина вступает в разговор с нами и подробно исследует нашу литературу и историю, с тем чтобы выяснить, чего мы хотим – чего мы на самом деле хотим.

Полагаю, это равносильно смене целей: вместо чистого разума нам надо построить разум, в отношении которого доказано, что он соотнесен с человеческими ценностями. Это делает философию морали главной отраслью промышленности. Результаты могут оказаться весьма поучительны для человечества, да и для роботов тоже.