Мыслящие машины уже есть. Взрывной рост вычислительной мощности и данных, подпитываемый развитыми алгоритмами машинного обучения, наконец‑то дал основанному на кремнии интеллекту возможность превзойти интеллект, основанный на углероде. Разумные машины уже не надо программировать, они сами способны учиться и развиваться, причем значительно быстрее, чем прогрессирует человеческий интеллект.

Люди не очень быстро приняли идею о том, что Земля – не центр Вселенной, им до сих пор сложно поверить, что человек – результат случайных изменений и отбора, как учит нас теория эволюции. Теперь мы можем потерять еще и статус самого разумного вида на Земле. Люди к такому готовы? Как это изменит нашу роль, нашу экономику, наше общество?

Было бы здорово иметь машины, которые думают за нас, машины, которые выполняют скучную бумажную работу и другие неприятные дела. Было бы здорово иметь машины, которые нас хорошо знают – знают, как мы думаем и что чувствуем. Станут ли машины нашими преданными друзьями?

Но кому отвечать за то, какие решения будут принимать разумные машины и что они будут делать? Сможем ли мы их контролировать? Сможем ли мы говорить им, что и как они должны делать? Мы их поработим или они поработят нас? Сумеем ли мы выдернуть вилку из розетки, когда машины начнут эмансипироваться?

Если в долгосрочной перспективе мы не сможем контролировать разумные машины, получится ли у нас, по крайней мере, сделать так, чтобы они вели себя этично? Полагаю, что мыслящие машины в определенный момент начнут следовать этическим принципам. Однако если эти принципы будут определять люди, то все может плохо закончиться. Если машины станут действовать согласно нашим принципам эгоистичной оптимизации, то нам не избежать преступности, конфликтов, кризисов и войн. Потому, если мы хотим исцелить общество от его нынешних болезней, лучше дать машинам выработать собственную, более совершенную этику.

Разумные машины, вероятно, выяснили бы, что общаться и сотрудничать, принимать решения, заботясь о других, и обращать внимание на системные последствия таких решений – это хорошо. Они бы быстро выяснили, что для инноваций нужны разнообразие, системная гибкость и коллективный интеллект. Люди стали бы узлами в глобальной сети интеллектов и огромной экосистеме идей.

В действительности нам самим предстоит узнать о том, что важны идеи, а не гены. Идеи могут работать на аппаратуре с различной архитектурой. Не так уж важно, кто их производит и распространяет – человек, или машина, или они оба. Важно то, что полезные идеи идут в мир, а другие особого воздействия не оказывают. Мы сейчас должны выяснить, как организовать наши информационные системы, чтобы достичь такого состояния. Если у нас получится, тогда люди войдут в историю как первый вид, который в этом разобрался. Иначе заслуживаем ли мы вообще того, чтобы нас помнили?