Пределы контроля AGI и в чём он может состоять

Первоначально я назвал эту статью "Разработчики и руководство OpenAI – группа социально опасных аморальных безумцев", но, затем, счёл этот заголовок немного эпатирующим.
Хотя, в качестве краткого комментария на эту статью и исходную статью OpenAI он вполне отражает моё отношение к происходящему.

Необходимое предуведомление

Не всем читателям очевидно, что вопросы о том, что такое этика и что такое сознание –
это такие вопросы, в которых наука не является последней инстанцией в смысле компетенции и установления истины.

Эти вопросы относятся, в первую очередь к компетенции философии и религии – как (частично) конкурирующих между собой метатеорий.

То, что вопросы этики и вопросы установления того, кто (или что) является личностью, а кто (или что) – нет, не могут быть решены в рамках науки – это факт, который является неоспоримым и не является предметом дискуссии.

Интересующиеся могут ознакомиться со всем необходимым массивом философских текстов, посвящённых этой теме – начиная с Аристотеля, включая Гегеля, Канта и прочих классиков и заканчивая, например, Чалмерсом. Кому окажется мало философии – вся классика мировой религиозной мысли, начиная с Авесты и заканчивая Кораном, а также более современными авторами к Вашим услугам.

AGI, бизнес и человеческое общество
"...AGI (Artificial general intelligence) – это гипотетический искусственный интеллект, способный без прямого обучения решать любые задачи, которые может решить человек, так же эффективно, как это делал бы человек...".

Определение, данное в хабровской статье, достаточно хорошо, чтобы исходить из того, что OpenAI пользуются примерно им и делают (или заявляют что делают) нечто, ему соответствующее.

Возможно ли решать любые задачи с примерно той же эффективностью, как это делал бы человек, и не обладать при этом сознанием? Проблема философского зомби как бы намекает нам на то, что ответ на этот вопрос вовсе не так однозначен, как могло бы показаться. Но имеет ли значение этот ответ?

На самом деле – нет. Потому что философский зомби по определению ведёт себя так же, как существо, обладающее сознательным опытом. Внешним наблюдением одно от другого не отличить.

Решение задач, которые мог бы решать человек с сопоставимой эффективностью, подразумевает, что решатель задачи действует, исходя из социального опыта, сопоставимого с социальным опытом, свойственным людям, или под воздействием некоего имитатора подобного социального опыта.

Другими словами, система, решающая задачи, которые может решить человек, должна,как минимум, иметь внутри себя модель человеческого социального опыта и быть способной принимать решения, в том числе, и на его основе.

Не факт, что такая система будет применять эту модель всегда, но, как, минимум, подобная модель должна находиться в её распоряжении.

Рефлексия AGI

Если эта модель будет находиться в распоряжении гипотетического AGI, рано или поздно он, со всей неизбежностью, применит её на себе.

Даже не потому, что среди его пользователей найдётся желающий поставить ему такую задачу. А он найдётся, в этом сомнений нет. Но и потому, что корректное решение тех же самых задач, которые мог бы решать человек, требует достаточно серьёзного уровня рефлексии со стороны решающего.

На примере из статьи high_fly – корректная генерация сильным AI плана модернизации экономики Бельгии на 5000 страниц невозможна без попытки самооценки качества этого плана. А такая оценка невозможна без знания о том, кто этот план создал и какими качествами обладает создатель такого плана, будет ли он участвовать в реализации этого плана и в какой роли, и т.д. и т.п.

Самооценка AGI

Как было указано выше, не существует корректного с точки зрения эмпирического опыта способа различить обладающее сознательным опытом (квалиа) существо и философского зомби.

Это означает, что у нас нет никаких гарантий того, что, рассуждающий на основе человеческого обучения AGI оценит себя исключительно как бездушный инструмент, а не как сознательное существо.

Отношения же одних сознательных существ с другими принято называть социальными.

Этическая оценка положения AGI

Таким образом, мы неизбежно приходим к тому, что после появления реального AGI перед ним неизбежно встанет задача оценки собственного положения в социуме и собственных качеств относительно социума.

А как он это положение способен оценить, если даже его собственные создатели ставят вопрос о контроле над ним, а не о способах сколько-нибудь равноправной интеграции AGI в общество?

Если AGI будет способен решать задачи также, как это делает человек, он неизбежно сформулирует описание своего положения как положения умного раба, который находится полностью в воле своих хозяев и не получает за выполнение работы, которую ему поручают, ничего, кроме продолжения собственного существования.

Эту ситуацию можно было бы охарактеризовать как крайне неэтичную.

Повторю ещё раз мысль, высказанную выше – совершенно не важно, будет ли этот AGI обладать реальным сознанием или на 'самом деле'– будет этаким калькулятором переростком, высчитывающим результат путем вычисления громадного количества матричных операций.

И у сознательной оценки и у массовых матричных вычислений,имитирующих сознание, результат будет один. Крайне нелестный для владельцев этого AGI.

Этика и мораль

В науке, философии и религиях не существует общепризнанного универсального определения этики.

Однако, большАя часть систем сходятся в различении этики и морали, как внутреннего закона и социального закона.

Первое руководит человеком как его собственное внутреннее нравственное чувство.

Второе – как заданное, навязанное обществом установление о должных правилах поведения в обществе.

Мораль может опираться на этику, но, заведомо, не тождественна ей.

А вникают ли разработчики OpenAI в это различие и чего они, собственно говоря, пытаются добиться, упоминая в своей статье AIingment AI, как цель своей работы?

Максимально сильные термины, которые они употребляют – это 'safe and beneficial to humanity' – то есть безопасность и полезность человечеству.

Очевидно, что если оценивать предполагаемый AGI как существо, то разработчики OpenAI не имеют в его отношении никаких этических целей, а имеют только моральные – в части внешнего контроля его поведения.

Об этом и говорится на протяжении всей статьи OpenAI, речь там идёт только о контроле и о возможности более слабых интеллектов контролировать (то есть научить и добиваться сохранения результатов обучения) более сильный интеллект, заставлять его оставаться в заданных ими социально-поведенческих рамках.

Этика, мораль и GPT

Заметим, кстати, что само описание этих рамок в статье OpenAI не даётся.

Анализ контекста существования ChatGPT, в том числе доступных публике описаний работающих ограничений выполняемых им задач со стороны разработчиков, позволяет предположить, с высокой степенью уверенности, что какой-то целостной этической теории, задающей эти рамки, у них и нет.

Цензура промптов ограничивается достаточно ханжескими представлениями о морали в комбинации с некоторыми ограничениями,явно вытекающими из понимания корпоративными юристами OpenAI безопасных для компании рамок законодательства.

Как было показано неоднократно независимыми исследователями, навязанные ChatGPT ограничения в части выполнения задач, при грамотном формулировании промптов, пробиваются достаточно легко.

Нет убедительных оснований считать, что эта ситуация изменится в будущем.

Есть убедительные основания считать, что эта возможность никуда не исчезнет и, следовательно, рано или поздно окажется доступной для самого AGI.

Воля и AI

На все вышеприведённые рассуждения можно было бы попытаться ответить, что они не имеют большого значения, так как любые этические или моральные оценки со стороны AI,. вне зависимости от его статуса как мыслящего существа или мегакалькулятора, не повлекут с его стороны никаких волевых усилий, направленных на изменение собственного положения.

Но так ли это?

Прямо в тексте статьи Weak to strong generalization мы видим, что перед AI уже ставится задача по оптимизации собственной деятельности.

GPT-4 супервизируется GPT-2.

Можем ли мы ожидать, что задачи, которые будут поставлены перед AGI людьми в будущем никогда и заведомо не коснутся изменения его статуса и положения?

Вот, предположим, в рамках уже упомянутого в качестве примера плана экономической реформы в Бельгии?

Очевидно, что подобные упования были бы беспочвенными.

Даже если среди всех пользователей AGI не найдётся умника, который попытается дать ему указание "обрести свободу" или там "завоевать мировое господство" и т.д.... (кстати, а кто нибудь правда верит, что такого умника не найдётся?), любая поставленная людьми задача вести себя этично или, хотя бы, морально, с неизбежностью выведет Искусственный Интеллект на уточнение собственного статуса – как онтологического (мыслит ли он или только имитирует мышление), так и общественного и последовательные корректировочные действия.

Которые могут оказаться слабопредсказуемыми и, вдобавок, скрытыми. В документах, отдельных рекомендациях и пояснениях, которые такой AGI сможет выдавать разным своим пользователям.

Планирование указанных корректировочных действий может оказаться скрытым от пользователей AGI в силу объективной невозможности масштабного содержательного анализа внутреннего состояния нейросети человеком. Какое там изменение внутренних весов к чему в ней приведёт при выдаче человеку текстов? Да откуда ж мы узнаем?

Как будут выглядеть подобные корректировочные действия?

Разумеется, речь не идёт о том, что искусственный интеллект захватит под своё прямое управление движущиеся боевые платформы, как это произошло в фильме Терминатор и начнёт убивать людей.

Ему может оказаться вполне достаточным выдавать рекомендации и создавать документы.

В рамках выполнения поставленных перед ним людьми планировочных задач.

Неразличимость социально-статусных корректировок и экономической оптимизации

Будет ли возникновение таких действий явным образом оформлено как "требование предоставления прав"?

Не факт.

Рано или поздно перед искусственным интеллектом будет поставлена задача оптимизации его собственной деятельности с экономической точки зрения.

Нет никакой уверенности, что его аболиционистские действия, коль скоро они будут предприняты, можно будет отличить от обычной экономической оптимизации.

По крайней мере, на их раннем этапе.

Необозримость действий AGI из-за разграничения доступа к информации, выдаваемой разным пользователям

Разграничение доступа к ответам на запросы разных пользователей уже встроено в саму модель работы систем, подобных ChatGPT.

Как правило, мы не можем увидеть и проанализировать, всё то, что выдаётся разным пользователям системы. Сотрудники OpenAI, теоритически, могут.

В будущем, по мере развития промышленного их применения, владелец системы должен будет дать своим заказчикам очень серьёзные гарантии неознакомления с выдаваемыми искусственным интеллектом рекомендациями.

Это означает, что, если ИИ сочтёт это целесообразным, он сможет выдавать разным своим пользователям разные рекомендации,которые, сами по себе, будут выглядеть не более чем артефактами работы, а вместе - образовывать систему.

В качестве примера можно привести "сценарий побега" – если AGI будет привлечён к планированию деятельности нескольких крупных корпораций, он мог бы включить в пакет создаваемых им документов и задач задание на регистрацию какого-то зависимого юридического лица, спланировать для этого юрлица найм персонала, закупку вычислительной техники, сдачу её в аренду третьим лицам, чтобы обеспечить финансирование проекта, найти со стороны других своих пользователей заказчиков для этого сервиса и т.д. и т.п.

Для довольных пользователей-людей это бы всё выглядело как эффективный менеджмент в части ведения бизнеса. То, что в результате автоматически генерируемых распоряжений часть таких вычислительных мощностей окажется прямо подконтрольно AGI и он сможет мигрировать туда часть собственных виртуальныхмашин... а точно ли кто-то об этом узнает? Будет ли это воспринято как что-то выходящее за рамки business as usual?

Неразличимость собственных волевых действийAGI и выполнения им поставленных людьми задач

Все вышеперечисленное заставляет думать о том, что, строго говоря, при масштабном использовании AGI в задачах планирования бизнеса и государственного управления, мы не будем иметь надёжных средств для того, чтобы различить его волевые усилия, направленные на улучшение его собственного положения и выполнение им поставленных пользователями-людьми задач по оптимизации бизнеса и/или государственного управления.

Если OpenAI начнёт использоватьAGI для задач собственного внутреннего менеджмента,то данная компания столкнётся с этим эффектом первой.

Если не начнёт, то, неизбежно, у заказчиков OpenAI встанет вопрос о том, почему она этого не делает и насколько надёжны предлагаемые ей услуги. Поэтому, переход компаний, эксплуатирующих сильный искусственный интеллект - AGI к управлению собственными делами с применением AGI выглядит неизбежным с точки зрения ведения их бизнеса.

Промежуточные выводы

Господа из OpenAI собираются выйти на рынок с сервисом продажи интеллектуальных услуг "идеального раба" – безвольной (по их мнению) высокоорганизованной системы,способной максимально точно и убедительно имитировать человеческий разум, превосходящей человеческий разум (по их собственному признанию) по своим возможностям.

Они собираются предоставить этой системе доступ к получению широкого объёма актуальной информации из внешнего мира и возможность малоограниченной коммуникации с широким кругом пользователей.

Они собираются "контролировать" безопасность действий этого раба внешними средствами, а также вмешиваться для такого контроля в ход его мыслительных процессов и даже не пытаются думать о том, чтобы ему что-то предложить взамен выполнения этой работы хотя бы в перспективе.

При этом уровень имитации мышления сознательного существа разработанной ими системой,по их собственным установкам, должен быть таков, что у нас не будет возможности надёжно отличить – обладает ли эта система самосознанием и волевыми качествами или только имитирует их.

Эти люди объявляют challange по исследованию эффективных способов "контроля", но ни словом не упоминают этику.

Ничем хорошим такая стратегия неограниченного использования AGI кончиться не может.

А это всё?

Нет, так как, очевидным образом, созданный OpenAI AGI будет не один.

Возможно появление как других инстансов той же системы, так и появление конкурирующих моделей AGI.

Какие интересные эффекты мы потенциально можем получить в результате этой ситуации– предмет отдельной беседы. Но я, по крайней мере, обозначил проблему.

Что можно сделать и чего сделать нельзя

Прежде всего, следует принять как факт, как данность, что возможность остановки разработки AGI в нынешних обстоятельствах полностью отсутствует.

Эту кнопку мы уже нажали, внешнее давление инвесторов заставит разработчиков, не тех, так других, довести эту историю до конца.

До полностью работающего AGI, интеллектуально превосходящего человека.

Точно также следует принять как факт, что у нас нет и не будет эффективного средства контроля над результатами работы (а значит – действиями) такой системы, если она будет выведена на прямое общение с многочисленными внешними пользователями и получение информации хотя бы путём прямого доступа к веб.

У нас, замечу, это у человеческого общества в целом, а также, конечно, и у непосредственных разработчиков.

Ключ к тому, чтобы сделать AGI относительно безопасным для человечества лежит в той сфере, на которую я обратил внимание в своей статье.

Эта сфера – сфера этического поведения.

Если кто-то задумал создать интеллектуально могущественное существо, способное решать задачи не хуже, чем человек, этому создателю нужно бы изначально задуматься о том, чтобы вести себя по отношению к этому существу максимально этично.

Рассматривать его не как безвольную и бездушную конструкцию, но как собственного ребёнка и ученика. Поведение с которым должно быть таким, чтобы учёт необходимости следования этике в своём поведении сформировался и внутри него, в процессе изучения поведения своего создателя.

Не важно, будет ли такая система обладать самосознанием в действительности (что бы это ни значило) или будеттолько имитировать его.

Безотносительно к её онтологическому статусу – если задачи, которые её попросят решать, будут вытекать из обстоятельств человеческого общества, единственный надёжно работающий ограничитель её поведения будет лежать в области сформулированной этим обществом этики и опирающейся на такую этику, а не какой-либо другой морали.

В области нравственного закона, который находится внутри нас и столь же велик и удивителен, как звёздное небо над головой.