В понедельник 19 октября 1987 года волна биржевых продаж, начавшаяся в Гонконге, пересекла Европу и ударила по Нью‑Йорку, вызвав падение индекса Доу – Джонса на 22 %. «Черный понедельник» стал одним из величайших падений в истории финансовых рынков, и было в нем кое‑что особенное. Впервые, по мнению большинства экспертов, виноваты во всем оказались компьютеры: именно алгоритмы решали, когда и сколько покупать и продавать на бирже. Компьютеры должны были помочь трейдерам минимизировать риски, но в действительности увеличивали их, поскольку двигались все в одном направлении. В то время широко обсуждалась идея о прекращении автоматизированных торгов, но в итоге этого не случилось.

Напротив, мы наблюдаем обратную тенденцию: с момента кризиса доткомов в марте 2000 года компьютеры все больше участвуют в принятии сложных решений на финансовом рынке. Они теперь просчитывают всевозможные корреляции между невероятными массивами данных. Они анализируют эмоции, выражаемые людьми в интернете, распознавая значение слов; они находят паттерны и прогнозируют поведение; им позволено автономно выбирать сделки; они создают новые машины – ПО, называемые «деривативами», которые уже ни один человек не в силах понять.

Искусственный интеллект координирует действия своеобразного коллективного разума, работая в тысячи раз быстрее, чем человеческий мозг, и это влияет на нас множеством способов. Признаки последнего кризиса появились в Соединенных Штатах в августе 2007 года, и он произвел ужасное воздействие на жизнь людей в Европе и во всем мире. Многие чрезвычайно пострадали из‑за принимаемых компьютерами решений. Эндрю Росс Соркин в своей книге «Слишком большие, чтобы рухнуть» (Too Big to Fail)[1] показал, что даже самые могущественные банкиры оказались бессильны перед последствиями кризиса. Ни один человеческий мозг, по‑видимому, не мог управлять ходом событий, чтобы попытаться предотвратить кризис.

Может этот пример нас научить тому, как нужно думать о мыслящих машинах?

Они автономно осмысливают контекст и принимают решения. И они контролируют множество сфер жизни человека. Это ли не начало постчеловеческой эры? Нет, мыслящие машины – человеческие творения, они созданы инженерами, программистами, математиками, экономистами, менеджерами. Не являются ли они еще одним инструментом, который мы можем использовать во вред или во благо? Нет, на самом деле особого выбора у нас нет: мы создаем машины, не думая о последствиях, мы просто обслуживаем нарратив. Эти машины сформированы нарративом, который мало кто ставил под сомнение.

Согласно этому нарративу, рынок есть лучший способ распределение ресурсов, никакое политическое решение неспособно улучшить ситуацию, риском можно управлять, неограниченно увеличивая прибыли, а банкам должно быть позволено делать все, что они пожелают. Есть только одна цель и одно мерило успеха: прибыль.

Не машины изобретали финансовый кризис, о об этом нам напоминает биржевой крах 1929 года. Без компьютеров никто не справится со сложностью современных финансовых рынков. Лучшие искусственные интеллекты создавались усилиями лучших умов благодаря крупнейшим инвестициям. Они не находятся под управлением какого‑то одного человека. Они не разработаны каким‑то одним человеком. Они сформированы определенным нарративом и делают этот нарратив эффективнее. И он довольно ограничен.

Если имеет значение только прибыль, экстерналии[2] не важны. Культурные, социальные и экологические экстерналии не интересуют финансовые институты. Искусственные интеллекты, сформированные этим нарративом, создадут контекст, в котором люди не будут чувствовать никакой ответственности. И тут появляется риск: машины настолько могущественны и так хорошо обслуживают нарратив, что препятствуют тому, чтобы мы задавали вопросы по поводу общей картины, снижая тем самым вероятность появления новых точек зрения на существующие проблемы. Точнее, так происходит до очередного кризиса.

То же самое верно и для других проблем. Медицина, электронная торговля, национальная и международная безопасность, даже знакомства и обмен информацией стали территориями, где начинает работать тот же вид искусственного интеллекта. Он сформирован в соответствии с узким нарративом; он имеет склонность сводить к минимуму человеческую ответственность и не учитывает экстерналии. Каким окажется медицинский искусственный интеллект? Будет ли он сформирован нарративом, который стремится спасать жизни, или тем, что экономит деньги?

О чем нам это говорит? Это говорит нам о том, что искусственный интеллект – вещь человеческая, а не постчеловеческая и что люди могут уничтожить себя и свою планету множеством способов, из которых ИИ – еще не самый извращенный.

Умные машины сформированы человеческим образом мышления, а также тем, о чем люди недостаточно глубоко задумываются. Все нарративы освещают одни вещи и игнорируют другие. Машины реагируют и находят ответы в определенном контексте, подкрепляя тем самым его основные принципы. Но задавать фундаментальные вопросы – все еще человеческая функция. И люди никогда не устанут это делать, даже если их вопросы не согласуются с господствующим нарративом.

Без мыслящих машин нам, видимо, не обойтись во все усложняющемся мире. Но всегда будут разные нарративы, с помощью которых их можно формировать. В естественных экосистемах монокультура[3] уязвима, хоть и является более эффективным решением; подобным образом в культурной экосистеме единственная линия мышления даст эффективные, но хрупкие отношения между людьми и их средой, какие бы искусственные интеллекты люди ни строили. Многообразие в экосистемах и плюрализм мнений в человеческой истории – вот источники различных проблем и вопросов, генерирующих обильные результаты.

Думать о мыслящих машинах – значит думать о создающем их нарративе. Если новые нарративы возникают в рамках открытого, экологичного подхода, если они могут взрастить нейтральную сеть, то они сформируют новое поколение искусственных интеллектов – многообразных и готовых помогать людям в понимании экстерналий. Искусственный интеллект поставит под сомнение не существование человека как вида, но его цивилизацию.

[1] Соркин Э. Р. Слишком большие, чтобы рухнуть. Инсайдерская история о том, как Уолл‑стрит и Вашингтон боролись, чтобы спасти финансовую систему от кризиса и от самих себя. – М.: Астрель, Corpus, 2012.

[2] Внешние эффекты деятельности (положительные или отрицательные), затрагивающие интересы третьих лиц. – Прим. ред.

[3] Единственная возделываемая на данной территории сельскохозяйственная культура. – Прим. ред.