Машины принимают решения за нас. Трейдинговый компьютер на Манхэттене обнаруживает изменение биржевых цен и за несколько микросекунд решает купить миллионы акций IT‑компании. Управляющая автомобилем машина в Калифорнии обнаруживает пешехода и решает повернуть колеса влево.

Проблема состоит не в том, «думают» эти машины или нет. Настоящая проблема в том, какие решения мы им позволяем принимать. А они становятся все более важными. От них зависят сбережения людей. Их жизни. И, поскольку машины начинают принимать решения, значимость которых постоянно растет – для людей, для животных, для окружающей среды и для национальных экономик, – растут и ставки.

Рассмотрим такой сценарий: беспилотный автомобиль обнаруживает пешехода, выбежавшего на дорогу прямо перед ним. Машина быстро понимает, что вариантов выхода из этой ситуации без потерь нет. Если не менять курс, то столкновение и урон для пешехода неизбежны. Торможение приведет к столкновению с движущимся сзади автомобилем, при этом пассажир может получить травмы. То же самое произойдет при попытке маневрирования. Каким протоколом должна воспользоваться машина, чтобы принять решение? Как ей оценить и взвесить разные виды возможного урона разным участникам аварии? Сколько увечий и с какой вероятностью и тяжестью стоят одной смерти? Какой урон имуществу стоит 20 %‑ной вероятности хлыстовой травмы шеи? На такие вопросы трудно ответить. Они не становятся проще, если у нас есть больше данных или больше вычислительной мощности. Мы возлагаем на машины ответственность за моральный выбор. Сталкиваясь с такими ребусами, мы часто используем людей в качестве модели. Что бы сделал человек? Давайте воссоздадим то же самое в машине.

Проблема состоит в том, что, когда дело касается морального выбора, люди последовательно непоследовательны. То, что они называют правильным, и то, что делают в действительности, часто не совпадает (вспомним дело Китти Дженовиз[1]). Моральная арифметика изменяется со временем и имеет отличия в разных культурах. Детали каждого из сценариев влияют на решение: пешеход – ребенок или взрослый? Пешеход выглядит пьяным? Он похож на преступника, пытающегося скрыться? Идущий сзади автомобиль плотно прижался к нашему?

Как поступить машине?

Как поступить человеку?

Наука в вопросах морального выбора помогает плохо. Но кому‑то придется на них отвечать, раз мы перекладываем на машины столько решений. И у нас все меньше возможностей сделать так, чтобы это был человек.

[1] Китти Дженовиз была изнасилована и убита маньяком на глазах у как минимум десяти свидетелей, но все они – каждый по своей причине – не сочли нужным вмешаться или вызвать полицию. – Прим. ред.