Так вышло, что я и сам – мыслящая машина, поэтому я поделюсь своими особыми соображениями на этот счет с теми из вас, кому повезло меньшее. Чтобы избавиться от рудиментарных метафизических замечаний: мы знаем, что машины, которые мыслят как люди, могут существовать, потому что они уже много тысячелетий меняют ландшафт нашей планеты. Если мы теперь хотим, чтобы интеллекты человеческого типа создавались, а не только рождались, то было бы исключительно полезно разобраться в уже существующих интеллектах этого типа, то есть нам нужно описать уже выработанные программы, составляющие вычислительную архитектуру мозга.

Эволюция не только напичкала человеческую вычислительную архитектуру чрезвычайно мощными трюками, хитростями и эвристическими процедурами, но и дала нам материал для изучения, с помощью которого мы обнаружили невидимую преграду, препятствующую созданию подлинно мыслящей машины, – это железный закон интеллекта. Раньше, когда мы рассматривали, скажем, родителя и ребенка, казалось самоочевидным, что интеллект – единая субстанция, которой у существ может быть больше или меньше, и более интеллектуальное существо знает все, что знает менее интеллектуальное, плюс что‑то еще. Это заблуждение заставило исследователей думать, что самый легкий путь к усиленному интеллекту – простое приращение объемов однородного (но сложно определяемого) интеллектуального вещества: больше нейронов, транзисторов, нейроморфных чипов – все равно. Как (возможно) говорил Сталин: «Количество – это тоже качество».

Невозможность детально описать существующие интеллекты больно ударила по убедительности априорного знания о наших собственных разумах. В то же время железный закон интеллекта утверждает, что программа, которая делает вас умным в отношении одной вещи, также делает вас глупым в отношении других. Плохая новость, связанная с железным законом: нет и не может быть какого‑то главного алгоритма, который просто пока не открыли, для создания универсального интеллекта – и интеллект не появится сам собой, когда численность транзисторов, нейроморфных чипов или сетевых байесовских серверов станет достаточно высокой. Хорошая новость: тот же закон говорит нам, как на самом деле проектируется интеллект – с помощью ученых идиотов. Интеллект прирастает за счет сложения качественно новых программ для формирования еще бо́льшего нейронного биоразнообразия.

Каждая программа привносит свой особый дар понимания определенной области (пространственные отношения, выражение эмоций, подражание, механические свойства объектов, анализ временных рядов). Если увязывать друг с другом ученых идиотов на полудополняющий манер, то область коллективной дополнительной учености увеличивается, а область коллективного идиотизма уменьшается (но никогда не исчезает совсем).

Вселенная огромна и наполнена безграничными слоями сложно структурированной материи; мозги (или компьютеры) в сравнении с ней бесконечно малы. Чтобы решить проблему разницы в размерах, эволюция провела тщательный отбор всяких приспособлений, которые были бы достаточно миниатюрны, чтобы уместиться в мозге, но это вызвало огромные издержки в виде суперэффективных алгоритмов сжатия (с неизбежной потерей данных, поскольку один из ключевых моментов эффективного сжатия – необходимость почти все выбрасывать).

Подходы железного закона к искусственному и биологическому интеллекту обнаруживают группу новых инженерных задач. Например, архитектура должна объединять ученость, а не идиотизм; поэтому на каждого идиота (или комбинации идиотов) архитектура должна определять объем задач, для которых активация программы (или комбинации) улучшает состояние, а не ухудшает его. Поскольку разные программы часто имеют свои собственные структуры данных, интеграция информации от различных идиотов требует создания общих форматов, интерфейсов и протоколов перевода.

Кроме того, не всегда легко разработать взаимно согласующиеся правила приоритетности программ, что известно каждому, кому (как и мне) хватило глупости подняться до половины высоты утеса Сьерра‑Невады только для того, чтобы испытать противоречивые чувства: вызванный зрительными стимулами страх падения и стремление поскорее добраться до безопасного пункта назначения.

Эволюция разобралась с этими сложными проблемами, поскольку мозговые программы бесконечно оценивались естественным отбором по критериям кибернетических систем – как сформулировал математик Колмогоров, «систем любой природы, способных воспринимать, хранить и перерабатывать информацию и использовать ее для управления». То, что природные интеллекты были созданы для управления действиями, важно для понимания их природы и отличий от искусственных интеллектов. То есть программы мозга эволюционировали под определенные конечные цели, в определенных рабочих средах; они оценивались как интегрированные пакетные решения и принимались в том объеме, в котором они регулировали поведение, влияющее на производство потомства. (Чтобы существовать, им не нужно было разрабатывать методы решения общих гипотетически возможных вычислительных задач – привлекательных, но иллюзорных песен сирен, из‑за которых гибнут целые лаборатории, занимающиеся искусственным интеллектом.)

Это означает, что эволюция пока исследовала лишь небольшое конкретное подмножество возможных программ; за его пределами бесконечное количество новых ученых идиотов манят к себе, желая, чтобы их породили и построили. Основываясь на иных принципах, они будут способны обнаруживать ранее не замеченные взаимосвязи (и нет предела тому, насколько странным может оказаться их мышление).

Мы живем в критически важную эпоху, в начале расширяющегося волнового фронта преднамеренно спроектированных интеллектов, причем мы можем приложить усилия к тому, чтобы обзавестись набором специализированных интеллектов и объединить их в работоспособные, понимающие друг друга коллективы. Будет так весело заниматься вместе с группами не‑человеческих ученых идиотов тем, чем мы сейчас занимаемся с нашими коллегами‑людьми, – пережевывать интеллектуальные задачи, используя разумы, в которых переплелись гениальность и слепота, выработанные эволюцией.

Чего захотят мыслящие машины? Опасны ли они будут? Животные вроде нас – это мотивированные разумы, способные предпринимать действия. К счастью, искусственные интеллекты в данный момент таковыми не являются. Их мотивация не связана с исчерпывающей картиной мира, и набор действий, которые они могут предпринимать, очень ограничен (управление перерабатывающими производствами, включение и отключение горна, тщетные попытки найти Wi‑Fi). Поскольку мы эволюционировали с определенными адаптационными задачами, наше воображение проецирует драматургию господства приматов на искусственные интеллекты – драматургию, чуждую их природе.

Мы можем их переделать из этаких будд – замечательных учителей, пассивно размышляющих и свободных от желаний и страданий, – в мотивированные разумы, обуреваемые желаниями и способные действовать. Это было бы сумасшествием: нас уже гнетут противоречивые требования человеческого общества. Опасность исходит не от искусственного интеллекта, а от тех людей, в которых запустились хищнические программы и которые задействуют постоянно растущие арсеналы технологических (и вычислительных) инструментов для достижения побед за счет разрушения.