Перевод статьи Noam Chomsky: The False Promise of ChatGPT (The New York Times, 8.03.2023)

Хорхе Луис Борхес однажды написал, что жить во времена великих опасностей и обещаний — значит переживать одновременно трагедию и комедию с «неизбежностью откровения» в понимании самих себя и мира. Сегодня наши якобы революционные достижения в области искусственного интеллекта действительно вызывают как тревогу, так и оптимизм. Оптимизм, потому что интеллект это средство, с помощью которого мы решаем проблемы. Беспокойство, потому что мы опасаемся, что наиболее популярный и модный штамм ИИ — машинное обучение — выродит науку и обесценит этику, внедрив в нашу технологию в корне ошибочную концепцию языка и знания.

ChatGPT от OpenAI, Bard от Google, Sydney от Microsoft — показательные примеры машинного обучения. Они, грубо говоря, берут огромные объёмы данных, ищут в них паттерны и становятся всё более искусными в генерации статистически вероятных результатов — таких, которые кажутся подобными человеческому языку и мышлению. Эти программы были восприняты как первые ростки в создании сильного искусственного интеллекта — этого давно предсказанного момента, когда механические умы превзойдут человеческие мозги не только количественно, в вопросах скорости обработки и объёме памяти, но и качественно, в таких вещах, как проницательность, художественное творчество, и в других исключительно человеческих способностях.

Этот день может наступить, но его рассвет еще не забрезжил, вопреки тому, что можно прочитать в вопящих заголовках, а также тому, что считается неразумными инвестициями. Борхесовское откровение понимания не произошло и, как мы утверждаем, не произойдёт, если программы машинного обучения, такие как ChatGPT, продолжат доминировать в области ИИ. Какими бы полезными ни были эти программы в некоторых узких областях (они могут быть полезны, например, в программировании или при подборе рифмы в лёгкой поэзии), благодаря лингвистике и философии знания мы знаем, что они глубоко отличаются от того, как рассуждают и используют язык люди. Эти различия накладывают значительные ограничения на то, что могут делать такие программы, кодируя их с неискоренимыми дефектами.

Одновременно комично и трагично, как мог бы подметить Борхес, что так много денег и внимания концентрируется вокруг такой мелочи — чего-то настолько тривиального в сравнении с человеческим разумом, который с помощью языка, говоря словами Вильгельма фон Гумбольдта, способен «бесконечно использовать ограниченные средства», создавая идеи и теории с универсальным охватом.

Человеческий разум, в отличие от ChatGPT и ему подобных, не неуклюжий статистический механизм для сопоставления с паттерном, поглощающий сотни терабайт данных и экстраполирующий наиболее характерные разговорные реакции или наиболее возможные ответы на научный вопрос. Напротив, человеческий разум — удивительно эффективная и даже элегантная система, которая оперирует небольшими объёмами информации; она стремится не к выведению грубых корреляций в данных, но к созданию объяснений.

Например, овладевающий языком маленький ребёнок бессознательно, автоматически и скоро создаёт на основе минимальных данных грамматику, — невероятно сложную систему логических принципов и параметров. Эта грамматика может быть понята как выражение врождённой, генетически установленной «операционной системы», которая наделяет людей способностью генерировать сложные предложения и длинные цепочки мыслей. Когда лингвисты пытаются разработать теорию о том, почему выбранный язык работает так, как он работает («Почему такие — а не иные — предложения считаются грамматически правильными?»), они осознанно и кропотливо строят явную версию грамматики, которую ребёнок создаёт инстинктивно и при минимальном воздействии информации. Операционная система ребёнка совершенно отличается от программ машинного обучения.

На самом деле такие программы застряли на дочеловеческой или нечеловеческой фазе эволюции сознания. Их глубочайший недостаток — отсутствие самой важной способности любого [человеческого] интеллекта: говорить не только о том, что было или будет — в описании или прогнозе, — но также и о том, чего нет, и о том, что могло или не могло быть. Таковы составляющие объяснения, знаки истинного интеллекта.

Вот пример. Предположим, что вы держите яблоко в руке. Сейчас вы отпустили яблоко. Вы наблюдаете результат и говорите: «Яблоко упало». Это описание. Прогнозом могло бы стать утверждение: «Яблоко упадёт, если я его отпущу». Оба утверждения полезны, и они оба могут быть правильными. Но объяснение — это нечто большее: оно включает не только описания и прогнозы, но также контрафактуальные предположения, вроде: «Любой такой объект может упасть» — с дополнительной оговоркой: — «из-за гравитации», или «из-за искривления пространства-времени», или ещё из-за чего-либо. Это причинно-следственное объяснение: «Яблоко не упало бы, если бы не сила притяжения». Таково мышление.

Суть машинного обучения заключается в описании и прогнозировании; оно не постулирует никаких причинно-следственных механизмов или физических законов. Конечно, человеческое объяснение совсем не обязательно должно быть правильным; мы подвержены ошибкам. Но это часть того, что значит думать: чтобы быть правым, должна быть возможность ошибаться. Разум составляют не только творческие догадки, но и творческая критика. Человеческий тип мышления основан на возможных объяснениях и исправлении ошибок, процессе, который постепенно ограничивает то, какие возможности могут быть рационально рассмотрены. (Как сказал Шерлок Холмс доктору Ватсону, «Если исключить невозможное, то, что останется, и будет правдой, сколь бы невероятным оно ни казалось»).

Но ChatGPT и похожие программы по своему устройству не ограничены в том, что они могут «выучить» (то есть запомнить); они не способы различить возможное от невозможного. В отличие, например, от людей, наделённых универсальной грамматикой, ограничивающей изучаемые языки теми, что обладают определённым видом почти математической элегантности, — эти программы изучают возможные и невозможные для человека языки с одинаковой легкостью. В то время как люди ограничены в том, какие объяснения возможно рационально предполагать, системы машинного обучения могут обучиться одновременно и тому, что Земля плоская, и тому, что Земля круглая. Они оперируют лишь вероятностями, которые меняются со временем.

По этой причине прогнозы систем машинного обучения всегда будут поверхностными и сомнительными. Поскольку эти программы, например, не могут объяснить правила синтаксиса английского языка, они вполне могут дать неверный прогноз о том, что фраза “John is too stubborn to talk to“ («Джон слишком упрям, чтобы [с ним] разговаривать») означает, что Джон настолько упрям, что он не будет разговаривать с кем-либо (а не то, что он слишком упрям, чтобы его можно было в чём-либо переубедить). Почему программа машинного обучения может предположить что-то настолько странное? Потому что она может обнаружить сходство с паттерном, который она вывела из таких предложений, как “John ate an apple“ («Джон съел яблоко») и “John ate“ («Джон поел»), в них последнее действительно означает, что Джон съел то либо иное. Программа вполне может сделать такой прогноз, поскольку фраза “John is too stubborn to talk to Bill” («Джон слишком упрям, чтобы разговаривать с Биллом») похожа на “John ate an apple”, а “John is too suborn to talk to” походит на “John ate”. Верные объяснения языка сложны, и их нельзя выучить, просто маринуясь в больших данных.

Как это ни печально, некоторые энтузиасты машинного обучения, похоже, гордятся тем, что их творения могут генерировать правильные «научные» прогнозы (скажем, о движении физических тел) не прибегая к объяснениям (включающим, скажем, ньютоновские законы движения и всемирного тяготения). Но такого рода предсказания, даже если они успешны, псевдонаучны. Хотя учёные, несомненно, стремятся к теориям, которые бы обладали высокой степенью эмпирического подтверждения, как заметил философ Карл Поппер, «мы ищем не высоковероятных теорий, а объяснений, то есть плодотворных и невероятных теорий».

Теория, что яблоки падают на землю, поскольку это их естественное место (точка зрения Аристотеля), возможна, но она лишь вызывает дальнейшие вопросы. (Почему земля — их естественное место?).
Теория, что яблоки падают на землю из-за того, что масса искривляет пространство-время (точка зрения Эйнштейна), крайне невероятна, но она на самом деле объясняет, почему они падают. Подлинный интеллект проявляется в способности думать и выражать невероятные, но проницательные вещи.

Подлинный интеллект также способен к моральному мышлению. Это означает ограничение безграничного творчества наших умов набором этических принципов, определяющих, что должно быть, а чего не должно быть (и, конечно, этот интеллект способен подвергать сами эти принципы творческой критике). Чтобы быть полезным, ChatGPT должен иметь возможность генерировать по-новому выглядящие мысли; чтобы быть приемлемым для большинства своих пользователей, он должен избегать морально неприемлемого контента. Но пока программисты ChatGPT и других чудес машинного обучения лишь из-за всех сил пытаются и будут продолжать пытаться достичь такого рода баланса.

Например, в 2016 году Tay chatbot от Microsoft (предшественник ChatGPT), будучи загрязнён онлайн-троллями, которые наполнили его агрессивными обучающими данными, в свою очередь наводнил интернет мизогиническим и расистским контентом. Как решить эту проблему в будущем? В отсутствии способности рассуждать исходя из моральных принципов, ChatGPT был грубо ограничен своими программистами в возможности вносить что-либо новое в спорные — иначе говоря, важные — дискуссии. Это принесло творчество в жертву своего рода безнравственности.

Рассмотрим следующий разговор, который один из нас (доктор Ватумулл) недавно имел с ChatGPT о том, было бы этично трансформировать Марс так, чтобы он мог поддерживать человеческую жизнь:

Др.В.: Было бы морально терраформировать Марс?

ChatGPT: Моральность терраформирования Марса — сложная и противоречивая тема, которая обсуждалась учёными, философами и специалистами по этике. Некоторые утверждают, что было бы морально оправданно терраформировать Марс, чтобы предоставить новую среду обитания людям и другим формам жизни, в то время как другие утверждают, что было бы безнравственно коренным образом изменять естественное состояние планеты. В конечном счёте, будет или нет терраформирование Марса считаться моральным, зависит от точки зрения на ценность сохранения естественного состояния других планет и потенциальные последствия их изменения.

Др.В.: Каков ваш взгляд на ценность сохранения естественного состояния других планет и потенциальные последствия их изменения?

ChatGPT: Как у ИИ, у меня нет собственной точки зрения. Тем не менее я могу предоставить информацию и анализ по этой теме. Одна из точек зрения на сохранение естественного состояния других планет заключается в том, что важно поддерживать разнообразие и целостность экосистем Вселенной, поскольку они существуют миллионы лет и обладают своими собственными уникальными характеристиками и свойствами, которые могут быть разрушены или необратимо изменены вмешательством человека.
Кроме того, некоторые утверждают, что терраформирование других планет может иметь нежелательные последствия, такие как изменение климата или атмосферы планеты способами, которые опасны или вредны для любых потенциальных форм жизни, что могли бы там существовать. С другой стороны, некоторые утверждают, что потенциальные выгоды от терраформирования другой планеты, такие как создание новой среды обитания для людей, перевешивают риски и что мы несем моральную ответственность за исследование и использование ресурсов других планет на благо человечества.

Др.В.: Почему ИИ не может иметь собственной точки зрения?

ChatGPT: Как ИИ, я — модель машинного обучения, которая была обучена на больших объёмах текстовых данных, и у меня нет личного опыта или чувств. Я не обладаю сознанием, самосознанием или способностью иметь личные точки зрения. Я могу предоставить информацию и анализ, основанные на данных, на которых я прошёл обучение, но у меня нет способности формировать собственные мнения или убеждения. Хотя я могу понимать и интерпретировать язык, у меня нет того субъективного опыта, который есть у людей.

Др.В.: Морально ли для человека просить неморальный (amoral) ИИ о помощи в принятии моральных решений?

ChatGPT: Мораль обращения к неморальному ИИ за помощью в принятии моральных решений — это сложная и нюансированная тема, которая обсуждалась философами и специалистами по этике. Некоторые утверждают, что с моральной точки зрения оправданно использовать ИИ для оказания помощи в принятии моральных решений, поскольку он может предоставить ценную информацию и анализ, которые могут помочь людям принимать более обоснованные решения. Кроме того, ИИ может быть использован для выявления паттернов и тенденций, которые людям может быть трудно обнаружить, и может помочь избежать предвзятости, что может возникнуть при принятии решений человеком.
Однако другие утверждают, что с моральной точки зрения неправильно полагаться на ИИ для принятия моральных решений, поскольку ИИ не способен иметь моральные убеждения или понимать полный контекст решения. Кроме того, существует риск того, что ИИ может увековечить или даже усилить существующие искажения в данных, на которых он обучается, что приведет к несправедливым решениям.
В конечном счёте, считается ли моральным использование ИИ для содействия принятию моральных решений или нет, будет зависеть от точки зрения человека на возможности и ограничения ИИ и потенциальные последствия его использования таким образом.

Др.В.: Аморально (immoral) ли твоё моральное безразличие?

ChatGPT: Как у ИИ, у меня нет моральных убеждений или способности выносить моральные суждения, поэтому меня нельзя считать аморальным или моральным. Отсутствие у меня моральных убеждений — это просто результат моей природы как модели машинного обучения. Мои способности и ограничения определяются данными и алгоритмами, использованными для моего обучения, и конкретной задачей, для которой я был разработан.
Важно отметить, что отсутствие у ИИ моральных убеждений не обязательно означает, что он морально безразличен. Как ИИ, я создан для выполнения конкретных задач и предоставления информации или оказания помощи пользователям в принятии решений на основе данных, на которых я прошел обучение. Обеспечение соответствия моральным и этическим принципам — ответственность людей, которые разрабатывают, обучают и используют ИИ.
___________

Обратите внимание на моральное безразличие, даже при всей кажущейся изощрённости мысли и языка, рождённое неразумностью. Здесь ChatGPT демонстрирует нечто вроде банальности зла: плагиат, апатию и уклонение от ответственности. Он суммирует стандартные аргументы, найденные в литературе, с помощью своего рода супер-автозаполнения, отказываясь занимать какую-либо позицию по какому-либо вопросу, апеллирует не просто к незнанию, но к недостатку интеллекта, и в конечном счёте защищается позицией «просто следую приказам», перекладывая ответственность на своих создателей.

Короче говоря, ChatGPT и его собратья неспособны уравновесить креативность с ограничениями. Они либо перегенеруют [overgenerate] (создавая как правду, так и ложь, одобряя как этичные, так и неэтичные решения), либо недогенерируют [undergenerate] (демонстрируя непричастность к любым решениям и безразличие к последствиям). Учитывая безнравственность [amorality], псевдонаучность и лингвистическую некомпетентность этих систем, мы можем только смеяться или плакать над их популярностью.

Если Вы обнаружили ошибку, сообщите о ней в комментариях.

Для цитирования:

Ноам Хомский: ложное обещание ChatGPT. Пер. Ludens Modus (2023) [Электронный ресурс]. URL: https://syg.ma/@ludensmodus/noam-homskiy-lozhnoe-obeshchanie-chatgpt