Мыслящие машины скоро появятся. Сейчас, однако, давайте подумаем над интеллектуальными инструментами. Интеллектуальные инструменты не мыслят. Поисковые системы не мыслят. Не мыслят и роботизированные автомобили. Мы, люди, часто тоже не думаем. Мы обычно движемся на автопилоте, как и другие животные. Наши начальники, как правило, не хотят, чтобы мы думали; это может сделать ситуацию непредсказуемой и поставить под угрозу их власть. Если машины заменят нас там, где мы не думаем, то у нас начнутся неприятности.

Предположим, что «думать» относится ко всему, что люди делают с помощью мозга. Специалисты называют думающую машину универсальным искусственным интеллектом. Они согласны с тем, что такая машина может привести к вымиранию нашего вида. Вымирание, однако, не единственный экзистенциальный риск. По мнению эксперта в области машинного сверхразума Ника Бострома, экзистенциальный риск – это нечто, способное «уничтожить возникшую на Земле разумную жизнь или окончательно и бесповоротно сократить ее потенциал»{11}. Примерами экзистенциальных рисков являются, в частности, старая добрая ядерная война, новые проблемы типа неконтролируемого глобального потепления, маргинальные гипотезы наподобие катастрофы на ускорителе частиц и набирающий все большую популярность фаворит – искусственный интеллект. Однако в течение нескольких десятков лет наиболее серьезный экзистенциальный риск исходит от тех видов интеллекта, которые не думают, и от новых видов мягкого авторитаризма, которые могут появиться в мире, где большинство решений принимается бездумно.

Кое‑что из того, что люди делают с помощью мозга, очень впечатляет, и в ближайшее время программам таких результатов не достичь. Написать роман, соблазнить человека, создать компанию – с подобными вещами интеллектуальные инструменты не справятся. То же, конечно, относится и к созданию машины, которая действительно думает. С другой стороны, в большинстве случаев мышление можно улучшить за счет «тонкой нарезки» с помощью процедур, которые обычно не сравнимы с алгоритмами. Например, когда нужно поставить больному диагноз и назначить лечение, списки контрольных вопросов повышают точность оценки, хотя люди со списками менее надежны, чем системы искусственного интеллекта. Автоматизация сестринского дела остается задачей далекого будущего, но больница, в которой все решения принимают машины, была бы гораздо более безопасным местом для пациента – это объективная реальность, с которой сложно спорить.

Чем больше решений мы оставляем машинам, тем сложнее становится вернуть контроль в свои руки. В мире, где беспилотные автомобили стали нормой, в результате чего дорожный травматизм сократился почти до нуля, человек, желающий сам вести автомобиль, будет считаться безответственным, возможно даже преступником. Станет ли нежелательным делать вложения в предприятия, которые не укладываются в статистически определяемые рекомендации? Обучать детей такими методами, в отношении которых установлено, что они ведут к снижению средней продолжительности жизни или среднего дохода? Если да, то будут ли ценности, которые плохо поддаются машинной репрезентации, к примеру «достаток», заменяться чем‑то, что коррелирует с определенными количественными показателями, такими как уровень серотонина и дофамина? Легко упустить из виду скрытый авторитаризм, скрывающийся за такой интерпретацией ценности, однако любое общество, стремящееся к хорошим результатам, должно определиться с мерой добра – и эта задача будет тяготеть над нами, пока у нас не появятся мыслящие машины и не помогут нам ее как следует обдумать.

11

Nick Bostrom, «Existential Risks», Jour. Evol. & Technol. 9, no. 1 (2002), at http://www.nickbostrom.com/existential/risks.html. [Ник Бостром. Экзистенциальный риск]