Рационалисты составляют современное интеллектуальное движение, выступающее за систематическое применение рационального подхода к познанию и принятию решений, а также утилитаристской этики. На основании этих принципов рационалисты считают необходимым уделять особое внимание рискам глобальных катастроф, в частности и в особенности риску появления сверхразумного искусственного интеллекта.
Ключевую роль в создании сообщества рационалистов и формулировке его принципов сыграл Элиезер Юдковский, а также — на раннем этапе — Ник Бостром и Робин Хэнсон. В начале 2010-х годов информационным центром сообщества был сайт Юдковского LessWrong, в последующие же годы сообщество стало менее централизованным. С середины 2010-х годов, в частности благодаря работам Бострома, а затем успеху больших языковых моделей, контроль искусственного интеллекта стал предметом серьёзного обсуждения в научно-технической среде.
Взгляды
Рациональность Рационалисты предлагают придерживаться принципов рациональности в мышлении и действиях. Под рациональностью понимается построение наиболее точно соответствующей реальности картины мира как по общим, так и по частным вопросам (эпистемическая рациональность) и выбор таких действий, которые с учётом имеющейся информации дают наиболее желанный ожидаемый результат (инструментальная рациональность).
Для систематического применения рационального подхода требуется строгий понятийный аппарат. Его предоставляет нормативная теория принятия решений. С точки зрения Юдковского, основывающейся на работах Э. Т. Джейнса, ключевым компонентом рационального принятия решений является теорема Байеса — она и основывающиеся на ней подходы и теории (байесовская оценка решения, ) представляют оптимальный способ учёта поступающей информации, к которому так или иначе должны сводиться все эффективные эмпирические подходы к принятию решений. Чтобы эффективно применять принципы рационального мышления, необходимо знать о систематических ошибках человеческого мышления — когнитивных искажениях, исследованных Д. Канеманом и А. Тверски, — и уметь справляться с их влиянием на собственное мышление.
Рациональность сама по себе нацелена на достижение целей, но не устанавливает эти цели (в терминах теории принятия решений — функцию полезности). У человека они определяются его потребностями и этическими установками, а в случае созданных и запрограммированных человеком сущностей — закладываются создателями. При этом рациональность не предполагает отказа ни от эмоций, ни от учёта эмоций и нерациональности других людей, как это делают такие часто ассоциируемые с «рациональностью» вымышленные персонажи, как Спок: напротив, собственные эмоции вполне могут быть учтены в функции полезности человека, а учёт чужих необходим хотя бы потому, что они влияют на достижение целей. Рациональность также не имеет отношения и к эгоизму, поскольку цели человека могут быть какими угодно, в том числе и альтруистическими.
В этическом плане рационалисты — сторонники консеквенциализма, который предписывает выбор действий исходя из их ожидаемых последствий. Более конкретно, они придерживаются того или иного варианта утилитаризма: морально то, что максимизирует суммарное счастье всех живущих. Естественно, этот принцип снабжён более точными определениями того, что́ подразумевается под счастьем и как именно оценивать его количественно — разными в разных вариантах. (От этих деталей многое зависит: так, предписываемый утилитаризмом наиболее этичный образ действий значительно зависит от того, включать ли в рассмотрение счастье и страдание животных.) Один из неоднозначных моментов консеквенциализма состоит в том, что теоретически он предписывает полностью игнорировать деонтологические принципы, даже такие, как «не убивать людей»; Юдковский обходит эту трудность, указывая, что на практике люди крайне редко оказываются в ситуации, когда с достаточной достоверностью известны будущие последствия нарушения общепринятых деонтологических принципов, поэтому последние нужно рассматривать как эмпирические правила, отказываться от которых нерационально.
Для коллективного обсуждения и принятия рациональных решений необходимо вести дискуссии добросовестно и проявлять интеллектуальную открытость, готовность признать собственную неправоту. Неприемлема ситуация, когда дискуссия рассматривается как война, где аргументы — солдаты, и цель состоит в победе над противной стороной, а не выяснении истины. Кроме того, важно отличать споры о содержательных утверждениях («Этот политик национализирует железные дороги, если придёт к власти?») от споров о наименованиях («Этот политик — марксист?»).
Опасность искусственного интеллекта Рационалисты известны идеей об опасности искусственного интеллекта для существования человечества. Тесная ассоциация между этой концепцией и движением рационалистов несколько преувеличивает её важность для движения — центральной концепцией всё же является рациональность, а не риск ИИ, — однако исторически сообщество и движение рационалистов выросли именно из обсуждения этой идеи.
Если технический прогресс успешно продолжится и будет приложен в должном направлении, то человечество сможет развернуть космическую экспансию, а также улучшить качество жизни людей, в том числе добиться бессмертия, если пожелает (возможность и желательность такого сценария декларируется трансгуманизмом). Как замечает Ник Бостром, в этом случае количество более или менее счастливых человеческих жизней и в целом счастья, полученного людьми в будущем, на десятки порядков превысит всё счастье жившего до сих пор человечества; следовательно, если счастье потомков имеет хоть какое-то значение, то забота о повышении вероятности такого развития истории человечества крайне важна с позиций утилитаристской этики.
В частности, необходимо избегать таких глобальных катастроф, которые приведут к полному уничтожению человечества или необратимой потере возможности развиваться. Естественным катастрофам вроде падения гигантского метеорита на нынешнем уровне технического развития противостоять невозможно, однако их не случалось за миллионы лет существования людей, поэтому можно заключить, что такие события редки. Иная ситуация с риском антропогенных катастроф: он возник лишь недавно. Так, во время холодной войны был вполне реален риск ядерной войны с возможной последующей гибелью человечества.
Юдковский и Бостром считают, что наибольшую опасность представляет сверхразумный искусственный интеллект — и он же при должных предосторожностях может радикально ускорить темп прогресса. Здесь и далее под интеллектом подразумевается не какой-либо тип мышления, похожий или непохожий на человеческий, а — в соответствии с классической книгой «» — способность эффективно решать поставленные задачи, то есть рациональность, а под — способность решать в основном все те же задачи, что и человек, но значительно лучше. Другие рационалисты, например , также причисляют к наибольшим рискам гибели человечества в современную эпоху пандемию опасного заболевания, созданного искусственно как биологическое оружие.
Опасность ИИ, по Юдковскому, заключается не в том, что ИИ обретёт свободу воли и выработает собственные цели, отличные от заложенных в него, в духе Скайнета — напротив, ИИ будет стремиться к достижению поставленных перед ним задач, но при недостаточно аккуратной их формулировке побочные эффекты могут быть катастрофическими. Классическая упрощённая модель такого сценария — мысленный эксперимент под названием «максимизатор скрепок»: если перед могущественным ИИ будет стоять на первый взгляд безобидная задача «делай скрепки», то он захватит всю планету и оборудует её заводами по производству скрепок и компьютерами, помогающими ему оптимизировать процесс их производства, с печальными последствиями для человечества. Другой пример — история ученика чародея из мультфильма «Фантазия» по , велевшего заколдованной метле наполнять котёл водой, что кончилось потопом. Функция полезности человека сложна: всякий раз, когда человек ставит перед собой цель, он неявно учитывает множество дополнительных условий — мораль, правила поведения в обществе, самосохранение и т. д.; у ИИ, вообще говоря, нет этих дополнительных ограничений.
Проблема состоит в том, что практически любая задача, поставленная перед ИИ, кроме снабжённых специальными, тщательно подобранными оговорками, порождает вспомогательные цели для него: совершенствование собственных интеллектуальных способностей для более эффективного выполнения задачи; захват максимального объёма материальных ресурсов для лучшего выполнения задачи; предотвращение собственного отключения, поскольку оно помешает выполнять задачу; предотвращение изменения поставленных перед ним задач, поскольку оно помешает выполнять эти задачи. При этом, вообще говоря, для ИИ рационально предпринять превентивные меры по последним двум пунктам не при попытке отключения или перепрограммирования, а заранее, при первой возможности, и уничтожение человечества вполне может оказаться наиболее надёжной формой этих превентивных мер, равно как и непредвиденной формой выполнения поставленной задачи: убийство всех людей решает задачу «сделать так, чтобы люди как можно скорее перестали умирать от рака». Достаточно умный ИИ сможет проэксплуатировать любую лазейку в условиях задачи, позволяющую ему формально выполнить её наиболее эффективно. Подобные непредвиденные способы решения поставленной задачи проявляются уже в модельных эволюционных алгоритмах: так, система, задачей которой было создавать тексты, похожие на целевой, научилась удалять файл с целевым текстом.
Чтобы управлять материальными ресурсами, искусственному интеллекту достаточно получить неконтролируемый доступ в интернет: он может взламывать подключённые к интернету системы для непосредственного управления электронными устройствами или шантажа могущественных людей, либо, к примеру, заработать крупную сумму денег, анонимно торгуя ценными бумагами или запустив новый финансовый инструмент (так, личность создателя биткойна Сатоси Накамото на начало 2020-х годов остаётся неизвестной). Можно ограничить доступ ИИ к интернету и материальным ресурсам, но поддерживать ограничение может оказаться непросто, поскольку он будет достаточно хитёр, чтобы обманом или угрозами добиться снятия этих ограничений.
Достаточно развитый ИИ сможет выделить истинные мотивы и желания людей, поставивших ему задачу, но это вовсе не заставит его следовать этим истинным желаниям, а не поставленным ему целям. Так же и человек может знать, что «истинная цель» (биологическая функция) секса и потребления сладкой еды состоит в размножении и запасании углеводов соответственно, но заниматься этим лишь с целью получить удовольствие от этих процессов, избегая размножения с помощью контрацепции в первом случае и даже нанося вред собственному здоровью неумеренным потреблением сахара во втором случае.