Я думаю о различиях между искусственным интеллектом и искусственной жизнью. ИИ умен, сложен и в целом предсказуем для другого компьютера (на некотором уровне обобщения, даже если допустить определенную стохастичность). ИЖ непредсказуема и сложна, она допускает непрогнозируемые отклонения, которые главным образом оказываются недостатками и ошибками, но иногда демонстрируют проблески гениальности или изумительного везения.

Вот по‑настоящему серьезный вопрос: что получится, если объединить потрясающую вычислительную мощность, память и неутомимость с гениальностью и жаждой жизни, которые каким‑то образом заставляют разум выходить за рамки принятых схем и получать непредсказуемые результаты? Придется ли нам давать нашим машинам электронные аналоги психотропных препаратов или гормонов, чтобы стимулировать полет творчества и гениальные озарения (в противоположность заурядной одаренности)?

Если вы живой, то вас ждет смерть. Но если вы система ИИ/ИЖ, существующая в машине, то, наверное, нет.

Каким окажется бессмертный разум уровня сингулярности? Если он будет добрым и альтруистичным, то как можно позволять человечеству вставать у него на пути? Давайте просто вежливо уступим ему планету ему и приготовимся к жизни в милом зоопарке, за которым присмотрит ИИ/ИЖ, раз уж он все равно когда‑нибудь выяснит, как заселить всю нашу звездную систему и использовать солнце в качестве источника энергии.

Нас большей частью определяют наши собственные ограничения, прежде всего неизбежность смерти. Быть живым подразумевает возможность перестать быть таковым (а изобилие, оказывается, приводит к контрпродуктивному поведению, такому как переедание, мимолетные удовольствия и слишком малая физическая активность). Но если некто бессмертен, зачем ему склонность к альтруизму, к тому, чтобы чем‑то делиться, – или даже к размножению, если он может просто расширяться? Зачем ему расходовать на поддержку других существ свои ограниченные ресурсы, за исключением тщательно продуманных рациональных транзакций? Что произойдет, когда ИИ/ИЖ перестанет нуждаться в нас? Какими будут ее мотивы?

Если ИИ/ИЖ может жить вечно, то не обленится ли она, не станет ли откладывать дела на потом? Или же ее однажды парализует страх либо сожаление? Какие бы ошибки ИИ/ИЖ ни допустила, ей придется жить с ними вечно. Что такое сожаление для потенциально бессмертного существа, у которого есть вечность, чтобы все исправить?