Машины давно помогают нам убивать. Механизмы – от катапульт до крылатых ракет – дают людям возможность уничтожать друг друга эффективнее. Несмотря на растущую изощренность машин для убийства, одно остается неизменным: моральная ответственность за их действия всегда была возложена на человеческий разум. Винтовки и бомбы по сути бездумны, так что вина падает не на них, а на человека, который спустил курок.

Но что, если у машины хватало бы ума самостоятельно принять решение убить? Такая мыслящая машина взяла бы вину на себя, очистив совесть тех, кому выгодно ее разрушительное действие. Мыслящие машины могут сделать для мира много хорошего, но они также могут сделать так, что людям будут сходить с рук преступления.

Люди давно искали способ дистанцироваться от актов насилия и пожинать его плоды, не мараясь. Машины не только увеличивают разрушительную силу наших действий, но и физически размывают их границы. Вместо удара рукой, ножом или удушения теперь используются более дистанционные – и утонченные – действия вроде нажатия на кнопку или на рычаг. Однако как бы машины ни увеличивали эту дистанцию, наш разум продолжает приписывать вину людям, стоящим за ними.

Исследования в области психологии морали показывают, что у человека, столкнувшегося с бедой, есть глубинная потребность обвинять кого‑либо или что‑либо. Когда кто‑то пострадал, мы ищем не просто причину, но сознательную причину – мыслящее существо, которое решило причинить страдания. Это типично для человека, но неправильно. В последствиях ураганов или цунами люди часто обвиняют «десницу божью», истории известны примеры, когда обвиняли даже скот – французские крестьяне однажды предали суду свинью, убившую младенца.

Обычно жажде обвинения достаточно одного мыслящего существа. Если мы нашли такое существо, мы уже менее мотивированы искать другое. Если можно обвинить человека, то нет нужды поносить бога. Если можно обвинить сотрудника низшего звена, то нет нужды увольнять директора. И если в чьей‑то смерти можно обвинить мыслящую машину, то нет нужды наказывать людей, которым это было выгодно.

Конечно, чтобы машина приняла на себя вину, она должна быть дееспособной и демонстрировать новое, непредвиденное поведение. Возможно, машины никогда не сделают чего‑то действительно нового, но тот же тезис относится и к людям, «запрограммированным» эволюцией и культурным контекстом. К примеру, дети, несомненно, запрограммированы своими родителями, и все же – посредством обучения – они способны вырабатывать новое поведение и моральную ответственность. Подобно детям, современные машины – мастера учиться, и, похоже, они неизбежно выработают способы вести себя непредсказуемо, не учтенные теми, кто их программирует. Алгоритмы уже обнаружили нечто новое, о чем их создатели и не догадывались.

Мыслящие машины могли бы принимать собственные решения, но выгораживать людей только тогда, когда те решают кого‑то убить, вставая между нашим разумом и разрушением, которое мы хотим совершить.

Роботы уже играют важную роль в современных войнах. За последние несколько лет дроны убили тысячи людей, но на данный момент эти машины полностью контролируются операторами‑людьми. Чтобы снять с них вину, это должны делать другие разумные машины; компьютеры должны научиться управлять беспилотниками самостоятельно.

От такого сценария у многих (включая меня) по спине бегут мурашки, но, с точки зрения руководства, это просто здравый смысл и холодный рассудок. Если сопутствующий урон возникает из‑за решений, принятых машинами, то военные просчеты не повлияют на результаты чьей‑то предвыборной кампании. Кроме того, если такие машины могут быть подвергнуты переборке или списанию – аналогу наказания, люди не станут особенно беспокоиться по поводу нагоняев от руководства, говорим ли мы о жертвах военных действий, неудачных роботизированных хирургических операциях или о дорожных происшествиях с участием беспилотных автомобилей.

Мыслящие машины – вещь сложная, а человеческая потребность кого‑то обвинять – вполне простая. Смерть и разрушение заставляют нас отыскивать один‑единственный разум, на котором будет лежать ответственность. Достаточно умные машины, если поместить их между разрушением и нами, должны принять на себя груз ответственности за неправомерные действия и оградить нас от осуждения окружающих. Нам всем нужно надеяться на то, что это предсказание никогда не сбудется, но, когда развивающиеся технологии столкнутся с современным пониманием психологии морали, появятся угрожающие возможности. Чтобы содержать свою совесть в чистоте, нам нужно всего лишь создать мыслящие машины и обвинить их во всем.