То, что компьютеры выполняют действия, которые нам совершенно понятны, только быстрее и точнее, чем люди, – великое благо, а вот то, что мы их используем в ситуациях, которые понимаем не до конца, – отнюдь не благо. Мы не можем ожидать от программы эстетических суждений, сострадания или воображения, поскольку эти способности все еще остаются для нас загадкой даже тогда, когда их демонстрируют люди.

Мыслящим машинам, вероятно, предоставят самим принимать решения на основании того, что они якобы умеют. Например, мы теперь нередко видим письма, статьи или (чаще всего) курсовые работы, в которых предложенные программой исправления были приняты без надлежащей проверки: автор имел в виду «mod», а программа решила, что он подразумевал «mad»[1]. Как соблазнительно переложить принятие решений на машину! В переписке по электронной почте я как‑то упомянула о встрече с одним человеком в Санта‑Фе по пути в Техас, использовав слово «rendezvous», а компьютер решил выдать меня замуж и сообщил, что целью поездки являлось не что иное, как «render vows»[2]. Можно ли запрограммировать компьютер так, чтобы он поддерживал «семейные ценности»? Да вообще хоть какие‑нибудь ценности? У нас уже есть дроны, которым можно задать определенное направление, и они сами будут выбирать цели, причем у них есть печальная склонность атаковать свадебные торжества, поскольку веселье, похоже, кажется им угрожающим. Мы наверняка можем запрограммировать электронный разум выписывать лекарства и медицинские процедуры, но маловероятно, что машины будут следовать правилу «Не навреди» лучше, чем люди.

Попытки создать мыслящие машины наверняка помогут нам разобраться в тех аспектах мышления, которые мы пока не до конца понимаем. Например, создание компьютеров на новом уровне показало нам, как важна точность в коммуникации. Возможно, мы лучше поймем, как на наши суждения влияют этнические предрассудки, и полнее разберемся в том, насколько следует полагаться на вероятности. Сколько решений будет основано на логике «Все так делают, значит, это нормально» или «Я обычный человек, мои действия ни на что не влияют»?

Будут ли те аспекты мышления, которые сложно запрограммировать, цениться больше или меньше? Будут ли юмор и благоговение, доброта и милосердие маргинализированы или по‑новому переосмыслены? Будет ли нам лучше или хуже, когда мы перестанем выдавать желаемое за действительное и вместе с тем, возможно, разучимся надеяться на лучшее?

[1] Mod – молодежная субкультура в Великобритании, чей расцвет пришелся на 1960‑е годы; mad – «дурной, сумасшедший» (англ.) – Прим. пер.

[2] Написать брачные обеты (англ.) – Прим. пер.