Прежде чем говорить о том, что я думаю по поводу мыслящих машин, я скажу вот что: мы по большей части слишком поспешно стремимся сформировать мнение по этой сложной теме. Многие пожилые ученые до сих пор не знают о новом корпусе научных идей, который появился на основе допущения о появлении сверхразума. Существует тенденция приспосабливать любую сложную новую идею под знакомый шаблон. И по какой‑то странной причине многие считают, что надо обсуждать события, описанные в различных научно‑фантастических романах и фильмах, когда заходит разговор о будущем искусственного интеллекта (хотя предостережение Джона Брокмана, высказанное комментаторам Edge, о том, что не следует так поступать, можно считать смягчающим фактором).

Что ж, я снял эту тяжесть с груди и теперь выскажусь по поводу мыслящих машин: машины на данный момент очень плохо думают, за исключением определенных узких областей. Возможно, когда‑нибудь они научатся делать это лучше нас, точно так же, как уже сейчас они стали намного сильнее и быстрее, чем любое биологическое существо.

У нас мало информации о том, как далеки мы от этой точки, так что в попытках определить возможное время появления сверхразума нам надо использовать широкое вероятностное распределение. Переход от искусственного интеллекта уровня человеческого к сверхразуму, скорее всего, произойдет быстрее, чем переход от нынешнего уровня ИИ до уровня человеческого (хотя в зависимости от архитектуры понятие «человеческого уровня» может и не иметь особого смысла в этом контексте). Сверхразум запросто способен оказаться лучшим или худшим, что когда‑либо случалось в истории человечества, по причинам, которые я описал в других своих работах.

Вероятность благоприятного исхода в основном определяется внутренней сложностью проблемы – тем, каковы ее основные движущие силы и насколько трудно ими управлять. Последние исследования указывают на то, что она сложнее, чем можно было предположить. Однако мы пока что стоим в самом начале пути, и есть вероятность, что у проблемы имеется какое‑то простое решение или же все сложится хорошо и без особых усилий с нашей стороны.

Тем не менее то, насколько хорошо мы подготовимся, способно повлиять на распределение вероятностей. Самое полезное, что мы можем сделать на данном этапе, – это форсировать развитие крошечной, но растущей области исследований, которая разрабатывает проблему сверхразума и его управляемости, а также такие вопросы, как перенос человеческих ценностей в программное обеспечение. Причина развивать данное направление прямо сейчас отчасти состоит в том, чтобы скорее получить первые результаты по проблеме управляемости, отчасти в том, чтобы привлечь к этой работе величайшие умы современности, – и тогда, когда природа проблемы станет более ясной, они уже будут в курсе дела. Похоже, что математика, теория вычислительных систем и, возможно, философия – сейчас самые важные дисциплины. Вот почему уже предпринимаются значительные усилия, чтобы привлечь в эту область талантливых ученых и финансирование, а также начать разрабатывать план действий.