Мыслящие машины думают, как машины. Этот факт может расстроить тех, кто со страхом или тоской ожидает восстания роботов, но для большинства из нас является обнадеживающим. Наши мыслящие машины не превзойдут нас в плане интеллекта и уж тем более не превратят нас в своих слуг или домашних животных. Они продолжат выполнять указания людей‑программистов.

Мощь искусственного интеллекта обусловлена главным образом именно его бездумностью. Не склонные отвлекаться и поддаваться заблуждениям, в отличие от сознательно мыслящих людей, компьютеры способны молниеносно выполнять вычисления без усталости, эмоций и сомнений. Холодность их интеллекта дополняет горячность нашего.

Неприятности начинаются тогда, когда мы смотрим на компьютер не как на помощника, а как на замену человека. Именно это сейчас происходит, и происходит быстро. Благодаря достижениям в области применения искусственного интеллекта нынешние мыслящие машины могут ощущать свое окружение, учиться на собственном опыте и самостоятельно принимать решения – зачастую с недостижимой и непостижимой для нас скоростью и точностью. Действуя самостоятельно в сложном мире, бездумные машины не только проявляют отменную эффективность, но и представляют серьезную опасность, причем неважно, воплощены они в виде роботов или это просто компьютеры, выдающие некие алгоритмически полученные заключения. Они неспособны усомниться в своих действиях или оценить их последствия, неспособны понять контекст, в котором работают, и потому могут повести себя непредсказуемо либо в результате несовершенства алгоритмов, либо из‑за преднамеренных действий программистов.

Нам уже довелось увидеть, насколько опасно может быть автономное программное обеспечение, когда утром 1 августа 2012 года крупнейшая торговая площадка Уолл‑стрит, Knight Capital, включила новую автоматизированную программу для покупки и продажи акций. Код содержал ошибку, и программа немедленно наводнила рынок иррациональными операциями. Прошло 45 минут, прежде чем программисты Knight Capital сумели выявить и устранить проблему. Для человека это недолгий срок, но для компьютера это вечность. Не замечая собственных ошибок, программа заключила более 4 миллионов сделок, совершив операций на сумму в 7 миллиардов долларов, что чуть было не привело к банкротству компании. Да, мы знаем, как создавать мыслящие машины. А вот чего мы не знаем, так это того, как сделать их вдумчивыми.

Knight Capital ничего не потеряла, кроме денег. По мере того как программы принимают на себя управление большим числом экономических, социальных, военных и личных процессов, затраты, связанные с ошибками, авариями и непредвиденными эффектами, будут расти. Риски усиливаются из‑за невидимости программного кода. И как отдельные личности, и как общество мы все больше зависим от алгоритмов искусственного интеллекта, которых мы не понимаем. Их действия, а также мотивация и намерения, которые формируют эти действия, скрыты от нас. Создается дисбаланс сил, и он оставляет нас открытыми для тайного наблюдения и манипуляций. В прошлом году нам были даны кое‑какие намеки по поводу способов, с помощью которых социальные сети тайно проводят психологические тесты на своих участниках посредством манипуляций с новостной летной. Поскольку компьютеры учатся все искуснее наблюдать за нами, формировать наши взгляды и действия, растут возможности для злоупотреблений.

В XIX веке общество столкнулось с тем, что недавно почивший историк Джеймс Бениджер охарактеризовал как кризис контроля{3}: технологии обработки материи опередили технологии обработки информации, а способность людей контролировать и регулировать производственные и другие связанные с ними процессы, в свою очередь, ослабела. Кризис контроля, который проявлялся во всем, от железнодорожных катастроф до дисбаланса спроса и предложения, а также недоступности государственных услуг, был в конечном счете разрешен благодаря изобретению систем автоматической обработки данных, таких как перфокарточный табулятор, который Герман Холлерит сконструировал для Бюро переписи населения США. Информационные технологии догнали производственные, позволив людям снова четко видеть мир, который начал было расплываться.

Сегодня мы сталкиваемся с еще одним кризисом контроля, хотя он – зеркальное отражение первого. Мы теперь изо всех сил стараемся совладать именно с тем, что помогло нам восстановить контроль в начале XX века, – с информационными технологиями. Наша способность собирать и обрабатывать данные во всех формах и управлять ими опередила нашу способность контролировать и регулировать этот процесс таким образом, который удовлетворяет нашим социальным и личным интересам. Разрешение нового кризиса контроля скоро станет одной из величайших проблем человечества. Чтобы справиться с нею, нужно прежде всего признать, что опасности, связанные с искусственным интеллектом, относятся не к какому‑то отдаленному антиутопическому будущему. Они уже здесь.

3

James R. Beniger, The Control Revolution: Technological and Economic Origins of the Information Society (Cambridge, MA: Harvard University Press, 1986). [Джеймс Р. Бениджер. Революция контроля: технологические и экономические истоки информационного общества]