Я знаю думающие мыслящие машины. Это люди. Они – биологические машины (кстати, будьте осторожнее со словосочетанием «биологические машины» – удобное название для того, что мы не до конца понимаем, но о чем думаем, что понимаем). И наоборот, я еще не встречал электронно‑цифровой, электромеханической машины, которая вела бы себя так, чтобы заслужить определение «думающей»; я не вижу оснований предполагать, что таковое вообще возможно. Устройства типа ЭАЛ[1], которые когда‑нибудь станут управлять нами, я полагаю, так и останутся в области научной фантастики. Если нечто ходит как утка и крякает как утка, это еще не делает его уткой. И если машина демонстрирует некоторые черты мышления (например, способность принимать решения), это еще не делает ее мыслящей.

Мы, люди, легко впадаем в такие заблуждения: «Если оно ходит как утка и крякает как утка, то это утка», – и не потому, что мы глупы, а скорее потому, что мы люди. Именно те черты, которые дают нам возможность большую часть времени действовать в своих интересах, когда мы сталкиваемся с потенциальной информационной перегрузкой в сложных ситуациях, делают нас очень уязвимыми для такого рода соблазнов.

Много лет назад я посетил лабораторию гуманоидной робототехники в Японии. Она выглядела как типичный инженерный отдел Skunk Works[2]. В одном углу стояла металлическая скелетообразная конструкция, увешанная проводами и напоминающая очертаниями верхнюю часть туловища человека.

Круто выглядевшие руки и ладони были, как я полагаю, предметом основной части технических изысканий, но они не работали во время моего посещения, и я их действительно заметил много позже. Все мое внимание с момента, когда я вошел в лабораторию, оказалось приковано к голове робота. На самом деле это вообще была не голова – просто металлический каркас с камерой вместо носа. Над камерой располагались два белых шарика размером с мяч для пинг‑понга (возможно, это и были мячи) с нарисованными зрачками. Над глазами помещались две большие скрепки – брови.

Робот был запрограммирован обнаруживать движение людей и источники звука (когда кто‑то говорил). Он шевелил головой и глазными яблоками, следуя взглядом за объектом, и поднимал и опускал брови‑скрепки, когда человек говорил.

Поразительно, насколько живым и разумным казался этот механизм! Конечно, и я, и все присутствующие точно знали, что именно здесь происходит и насколько прост механизм, управляющий роботизированным «взглядом» и бровями‑скрепками. Это был просто трюк, но трюк, основанный на глубоком понимании сотен тысяч лет человеческого социального и когнитивного развития, так что наша естественная реакция на действия робота оказалась такой же, как у любого другого человека.

Дело было даже не в том, что я не знал, в чем тут хитрость. Мой друг и тогдашний коллега по Стэнфорду, ныне покойный Клиффорд Насс, провел сотни часов, исследуя то, как мы, люди, генетически запрограммированы приписывать чему‑либо разумную субъектность, основываясь на нескольких простых признаках, связанных с взаимодействием. Реакции эти настолько глубокие и укоренившиеся, что мы не можем от них избавиться. Вероятно, там был некий сложный искусственный интеллект, контролировавший руки робота, но глазами и бровями управляла очень простая программа. Тем не менее описанного поведения оказалось достаточно, чтобы у меня возникало ясное ощущение, что робот – любознательный, разумный слушатель, который в состоянии следить за тем, что я говорю. В действительности же он всего лишь использовал мою человеческую природу и мою разумность. Сам он не думал.

Использование человеческой разумности – это хорошо и даже замечательно, если робот должен убраться у вас дома, забронировать вам билет на самолет или сесть за руль вашей машины. Но вы согласились бы, чтобы такая машина приняла на себя обязанности присяжного, стала принимать важные решения о работе больницы или взялась контролировать вашу свободу? Я бы точно на такое не согласился.

Так что, когда меня спрашивают, что я думаю о мыслящих машинах, я отвечаю: по большей части они мне нравятся, потому что они – люди (и, возможно, некоторые животные). А вот что меня беспокоит, так это то, что мы передаем все больше аспектов нашей жизни машинам, которые решают, и часто куда эффективнее и обстоятельнее, чем люди, но определенно не думают. Вот где опасность: машины, которые могут принимать решения, но не думают.

Принятие решений и мышление – не одно и то же, нам не следует путать эти два понятия. Когда мы развертываем системы принятия решений по вопросам национальной безопасности, здравоохранения и финансов – а мы это делаем, – чрезвычайно высока оказывается опасность такой путаницы. Чтобы защититься от нее, нужно сознавать, что мы генетически запрограммированы действовать в режиме доверия и приписывания разумной субъектности при определенных видах взаимодействий как с людьми, так и с машинами. Но иногда механизм, который ходит вразвалку и крякает, – это просто механизм, а никакая не утка.

[1] HAL, Heuristically programmed ALgorithmic computer (англ. «Эвристически программируемый алгоритмический компьютер») – вымышленное устройство из цикла произведений Артура Кларка «Космическая Одиссея». – Прим. пер.

[2] Неофициальное название одного из подразделений Lockheed Martin. – Прим. пер.