Мыслящие машины будут мыслить самостоятельно. Расти, расширяться – это в природе как разума, так и самого знания.

Подобно нам, мыслящие машины, которые мы создадим, будут амбициозными, жаждущими силы и мощи – как физической, так и вычислительной, но лучше нас смогут разглядеть то, что скрыто в тени эволюции. Наши мыслящие машины будут умнее, чем мы, а машины, которые разработают они, – еще умнее. Но что это означает? Как все до сих пор работало? Мы уже давно создаем амбициозные полуавтономные конструкции: правительства, корпорации, неправительственные организации. Изначально предполагалось, что они послужат нам и общему благу, но мы не настолько хорошие инженеры, и они выработали собственные цели. В долгосрочной перспективе цели организации никогда точно не совпадают с намерениями ее создателей.

Ни один разумный руководитель не считает, что его корпорация рационально оптимизирует прибыль своих акционеров. Ни одно государство не работает исключительно в интересах собственных граждан. Демократические режимы служат корпорациям намного эффективнее, чем отдельным людям. И все же наши организации продолжают приносить нам пользу – они просто делают это неидеально. Без них мы бы не смогли прокормить себя, по крайней мере, не все 7 миллиардов. Как не смогли бы построить компьютер или провести всемирные дебаты о мыслящих машинах. Мы стали зависеть от мощи созданных нами организаций, хотя они и разрослись настолько, что мы не можем ни полностью их понять, ни полностью контролировать. То же самое будет с мыслящими машинами, только в большем объеме. Наши экологические, социальные и экономические проблемы настолько серьезны, что могут привести к вымиранию. Наши мыслящие машины – больше чем метафоры. Вопрос заключается не в том, станут ли они достаточно сильны, чтобы суметь навредить нам (да, станут), или будут ли они всегда действовать только в наших интересах (нет, не будут), а в том, помогут ли они нам в долгосрочной перспективе найти собственный путь, по которому мы выйдем из континуума «панацея/апокалипсис».

Я говорю об умных машинах, которые создадут еще более умные машины, как о наиболее важной инженерной задаче всех времен. Подобно нашим биологическим детям, наши мыслящие машины переживут нас. Им также нужно будет стать лучше нас, для чего нам придется заложить в них ценности, которые делают нас людьми. Это сложная инженерная задача, и нам надо решить ее правильно.