Стоит ли выступать за приостановку разработок искусственного интеллекта? Сторонники паузы считают, что работа над безопасностью ИИ сейчас далека от того уровня, который потребуется для сохранения контроля над ситуацией при значительном росте возможностей ИИ (особенно в случае технологической сингулярности).

В данном эссе Магнус Виндинг кратко пишет, почему, несмотря на тревожную ситуацию с безопасностью, неочевидно, что нам стоит выступать именно за паузу в разработках ИИ.

Вопрос о том, следует ли выступать за приостановку разработок ИИ, является предметом горячих споров. В этом посте я делюсь своими мыслями по поводу паузы в разработках ИИ и дискурса, который окружает эту идею.

Мотивация к паузе в разработках ИИ

В общем похоже, что основная мотивация призыва к приостановке разработок ИИ заключается в том, что работа над безопасностью ИИ ещё далека от того уровня, который необходим человечеству для сохранения контроля над будущим развитием ИИ. Поэтому требуется пауза, чтобы работа над безопасностью ИИ и другие связанные области, такие как управление ИИ — успели догнать темпы прогресса в развитии возможностей ИИ.

Мои мысли насчет паузы в разработках ИИ, вкратце

Стоит ли добиваться паузы в разработках ИИ, очевидно, зависит от разных факторов. В частности, от альтернативных издержек: чем ещё вместо этого мы могли бы заняться? В конце концов, даже если кто-то считает, что пауза в разработках ИИ желательна, у него могут возникнуть сомнения насчет её достижимости по сравнению с другими целями. И даже если он считает, что пауза в разработках ИИ и желательна, и достижима, все еще могут быть другие цели и занятия, которые ещё более полезны (в математическом ожидании), такие как работа над безопасностью ИИ в наихудших сценариях (Gloor, 2016; Yudkowsky, 2017; Baumann, 2018) или увеличение приоритетности, отводимой людьми снижению рисков астрономических страданий (s-рисков) (Althaus & Gloor, 2016; Бауман 2017; 2022; DiGiovanni, 2021).

Кроме того, неясно, будет ли пауза в разработках ИИ вообще полезной. Это сложный вопрос, который я не буду подробно здесь рассматривать. (Для критики см. «AI Pause Will Likely Backfire» Норы Белроуз.) Достаточно сказать, что, на мой взгляд, совершенно неясно, будет ли какая-нибудь реалистичная пауза в разработках ИИ в целом полезной — не только с точки зрения подхода, сфокусированного на уменьшении страданий, но и с точки зрения практически всех беспристрастных¹ систем ценностей. Мне кажется, что большинство сторонников паузы в разработках ИИ чрезмерно уверены в ее полезности.

Но чтобы уточнить: я вовсе не выступаю против призывов к паузе в разработках ИИ. Это кажется мне чем-то, что можно по разумным причинам счесть полезным и стоящим усилий (в зависимости от ценностей и эмпирических оценок). Однако, по моим нынешним оценкам это просто вряд ли относится к лучшим способам уменьшения будущих страданий, главным образом потому, что я считаю перечисленные выше альтернативные варианты деятельности более перспективными, и потому что я подозреваю, что большинство реалистичных пауз в разработках ИИ вряд ли будут однозначно полезными в целом.

Мои мысли о дискурсе, окружающем паузу в разработках ИИ

Критическое замечание насчет многих обсуждений вокруг паузы в разработках ИИ состоит в том, что они часто сводятся к упрощённой дихотомии «гибель / не-гибель». То есть рисуется картина, согласно которой либо человечество теряет контроль над ИИ и вымирает, что плохо; либо сохраняет контроль над ИИ, что хорошо. И ваша оценка вероятности первого сценария — это ваша «p (doom)»².

Разумеется, можно утверждать, что для стратегических и коммуникационных целей есть смысл упрощать и говорить в таких дихотомических терминах. Однако проблема, на мой взгляд, заключается в том, что такая картина неточна даже в первом приближении. С точки зрения альтруизма совсем не обязательно, что «потеря контроля над ИИ» = «плохо», а «сохранение контроля людьми» = «хорошо».

Например, если мы хотим снижения s-рисков (что важно с точки зрения практически любых беспристрастных систем ценностей), мы должны сравнивать риски «потери контроля над ИИ» с рисками «сохранения контроля людьми» — как бы мы ни определяли эти приблизительные категории. И, к сожалению, нельзя сказать, что «сохранение контроля людьми» связано с пренебрежимо малым или тривиальным риском наихудших исходов. В самом деле, неясно, связано ли «сохранение контроля людьми» в общем случае с более или менее благоприятными перспективами в плане снижения s-рисков, чем при «потере контроля над ИИ».

В целом вопрос о том, лучше ли «будущее под контролем людей» с точки зрения уменьшения будущих страданий, сложен, давно обсуждается и по нему нет явного консенсуса. Например, Брайан Томасик дает субъективную оценку вероятности того, что «управляемый людьми ИИ в среднем приведет к меньшему количеству страданий, чем неуправляемый», в 52%.

Такой близкий к 50/50 взгляд резко контрастирует с тем, что часто берут в качестве ключевой предпосылки в обсуждениях вокруг паузы в разработках ИИ, а именно, что ожидаемое будущее под контролем людей явно намного лучше.

(Некоторые причины, по которым можно быть пессимистичным насчет будущего под контролем людей, можно найти в литературе о моральных недостатках людей; см. напр., Cooper, 2018; Huemer, 2019; Kidd, 2020; Svoboda, 2022. К другим причинам относятся базовые конкурентные цели и динамика, которые, скорее всего, будут в наличии в широком диапазоне сценариев будущего, включая управляемые людьми; см. например, Tomasik, 2013; Knutsson, 2022, разд. 3. Также см. Vinding, 2022.)

Огромная моральная срочность: да, для обеих категорий рисков худших сценариев

Есть ключевой момент, в котором я совершенно согласен со сторонниками паузы в разработках ИИ: огромная моральная срочность избежания ужасных исходов будущего, контролируемого ИИ. Слишком мало людей осознают важность этого, и ещё меньше тех, кого это глубоко трогает.

В то же время я считаю, что есть такая же огромная срочность избежания ужасных исходов будущего, контролируемого людьми. И, к сожалению, нынешняя траектория развития человечества не слишком обнадёживает в контексте любого из этих широких классов рисков. (Чтобы прояснить: я имею в виду не то, что исход с s-рисками наиболее вероятен в любом из этих двух классов сценариев будущего, а лишь то, что текущая траектория выглядит крайне неоптимальной и вызывающей опасения в контексте обоих классов сценариев.)

Мое заключение таково: есть примерно равная моральная срочность избежания каждой из этих категорий рисков худших исходов будущего. И, как я уже подсказывал ранее, мне кажется сомнительным, что призывы к паузе в разработках ИИ — это лучший способ снижения этих рисков в целом.

* * *

Оригинал: Magnus Vinding, Thoughts on AI pause (2021). Перевод: К. Кирдан для проекта Reducing Suffering.

Больше материалов: Telegram, ВКонтакте.