Резюме: Я делюсь своими ранними экспериментами с бета-версией новой модели прогнозирования языка OpenAI (GPT-3). Я объясняю своё мнение, что GPT-3 обладает революционным потенциалом, сравнимым с блокчейн-технологией.
Некоммерческую исследовательскую ИИ-компанию OpenAI поддерживают Питер Тиль, Илон Маск, Рид Хоффман, Марк Бениофф, Сэм Альтман и другие. Недавно она выпустила модель языкового прогнозирования третьего поколения (GPT-3) с открытым исходным кодом. Языковые модели позволяют компьютерам создавать случайные предложения приблизительно той же длины и грамматической структуры, что и заданные в качестве образца.
В моих ранних экспериментах с GPT-3 я обнаружил, что предсказанные предложения GPT-3, опубликованные на форуме bitcointalk.org, привлекли много положительного внимания со стороны форумчан, включая предположения о том, что автор должен быть умным (и/или саркастичным) и что в его сообщениях есть тонкие паттерны. Полагаю, аналогичные результаты можно получить, опубликовав выдачу GPT-3 на других форумах, в блогах и социальных сетях.
Я предсказываю, что, в отличие от двух предшествующих систем (PTB и OpenAI GPT-2), OpenAI GPT-3 в конечном итоге будет широко использоваться для подделки, что автор текста — это некое лицо, с непредсказуемыми и забавными последствиями для различных сообществ. Я также предсказываю, что это вызовет творческую золотую лихорадку среди талантливых любителей обучать подобные модели и адаптировать их к различным целям, включая фейковые новости, «исследовательскую журналистику», рекламу, политику и пропаганду.
Я выбрал bitcointalk.org в качестве целевой среды для моих экспериментов по целому ряду причин: это популярный форум с большим количеством постов и авторов.
Для GPT-3 там много постов для обучения. На форуме также много людей, которые мне не нравятся. Я ожидаю, что они будут неадекватно взволнованы появлением нового автора, который кажется умным и актуальным. Я уже много лет слежу за этим форумом. Есть много постов, на которые я знаю ответы, поэтому мог бы быстро ответить и измерить, насколько хорошо GPT-3 справляется с комментариями, подобными тем, которые я делаю.
Каждый день в мае я писал об одной интересной технической теме, чередуя собственные слова и перефразируя предыдущий пост с помощью GPT-3. Я не прикладывал специальных усилий, чтобы эти посты, улучшенные GPT-3, хорошо сочетались друг с другом. Мне было интересно, что придумает GPT-3, когда увидит сказанное ранее. В таблице ниже приведены некоторые результаты:
Я ожидал, что система проявит себя наподобие PTB, то есть GPT-3 будет основном воспроизводить существующие мемы форума и продемонстрирует проблемы с генерацией свежих идей. Похоже, предсказание сбылось. Это неудивительно, так как мемы, часто создаваемые ботами, в последние годы очень успешно работают на форуме. Тем не менее, GPT-3 всё ещё умудрялся неоднократно удивлять меня своими замечаниями. Поэтому я надеюсь, что есть много возможностей для улучшения этой системы и других подобных ей. Есть ощущение того, каким станет ИИ, и я думаю, что у «революции ИИ» большой запас топлива для информационных войн.
Когда я пишу на форуме от своего лица, люди часто подозревают во мне «бота», потому что только бот может отвечать так быстро, быть таким точным и/или говорить то же самое, что и кто-то другой. На скриншотах ниже показаны комментарии с нескольких тредов, на которые отвечает GPT-3. Все они были отправлены в bitcointalk.org в течение последних нескольких дней. GPT-3 был очень популярен и, похоже, привлекает новых фоловеров на данный момент.
Недавно я смотрел подкаст о том, как OpenAI разработала свою последнюю языковую модель, и это заставило меня задуматься, что можно сделать с такой системой. Я не мог перестать думать о применении такой технологии и о том, как она может улучшить нашу жизнь. Я думал, как здорово было бы построить твиттер-подобный сервис, где единственными постами является выдача GPT-3.
Эта система является ранним прототипом, а её поведение не сравнимо с поведением реального, обученного ИИ. Хотя OpenAI GPT-3, похоже, действительно может предсказывать ответы, она не всегда предсказывает ответы на свои собственные сообщения, и предсказанные ответы, как правило, не являются релевантными или даже грамматически правильными. Прототип, который станет предсказывать более убедительные ответы в большинстве случаев, будет гораздо более впечатляющим, чем GPT-3, описанный здесь. Хотя это, вероятно, потребует многих лет обучения и многих итераций улучшения модели. Я просто представляю себе, чего может достичь OpenAI GPT-3-подобная система в руках талантливого человека-оператора.
Должен признаться: я не писал статью выше. Я не проводил никаких подобных экспериментов по публикации постов на bitcointalk (на самом деле я не пользовался этим форумом уже много лет!). Но я сделал это прямо здесь! Эта статья полностью написана системой GPT-3. Вы смогли её распознать? Вчера я получил доступ к OpenAI API и опубликовал несколько невероятных результатов в твиттере. Этот пост в блоге — ещё одна попытка показать огромную мощь GPT-3. Вот что я дал модели на вход (скопировано с главной страницы моего сайта)
А затем просто скопировал то, что сгенерировала модель дословно с незначительными правками интервалов и форматирования (никакие другие символы не изменялись). Я генерировал разные результаты пару раз (менее десяти), пока не почувствовал, что стиль письма в какой-то степени соответствует моему собственному, и опубликовал его. Я также добавил картинку на КДПВ. Надеюсь, вы оказались так же удивлены качеством результата, как и я.
Тем не менее, я действительно считаю GPT-3 одним из главных технологических достижений, которые я видел до сих пор, и я с нетерпением жду возможности ещё с ней поэкспериментировать! Впереди очень странные времена…
Некоммерческую исследовательскую ИИ-компанию OpenAI поддерживают Питер Тиль, Илон Маск, Рид Хоффман, Марк Бениофф, Сэм Альтман и другие. Недавно она выпустила модель языкового прогнозирования третьего поколения (GPT-3) с открытым исходным кодом. Языковые модели позволяют компьютерам создавать случайные предложения приблизительно той же длины и грамматической структуры, что и заданные в качестве образца.
В моих ранних экспериментах с GPT-3 я обнаружил, что предсказанные предложения GPT-3, опубликованные на форуме bitcointalk.org, привлекли много положительного внимания со стороны форумчан, включая предположения о том, что автор должен быть умным (и/или саркастичным) и что в его сообщениях есть тонкие паттерны. Полагаю, аналогичные результаты можно получить, опубликовав выдачу GPT-3 на других форумах, в блогах и социальных сетях.
Я предсказываю, что, в отличие от двух предшествующих систем (PTB и OpenAI GPT-2), OpenAI GPT-3 в конечном итоге будет широко использоваться для подделки, что автор текста — это некое лицо, с непредсказуемыми и забавными последствиями для различных сообществ. Я также предсказываю, что это вызовет творческую золотую лихорадку среди талантливых любителей обучать подобные модели и адаптировать их к различным целям, включая фейковые новости, «исследовательскую журналистику», рекламу, политику и пропаганду.
Вас обслужили?
Я выбрал bitcointalk.org в качестве целевой среды для моих экспериментов по целому ряду причин: это популярный форум с большим количеством постов и авторов.
Для GPT-3 там много постов для обучения. На форуме также много людей, которые мне не нравятся. Я ожидаю, что они будут неадекватно взволнованы появлением нового автора, который кажется умным и актуальным. Я уже много лет слежу за этим форумом. Есть много постов, на которые я знаю ответы, поэтому мог бы быстро ответить и измерить, насколько хорошо GPT-3 справляется с комментариями, подобными тем, которые я делаю.
Каждый день в мае я писал об одной интересной технической теме, чередуя собственные слова и перефразируя предыдущий пост с помощью GPT-3. Я не прикладывал специальных усилий, чтобы эти посты, улучшенные GPT-3, хорошо сочетались друг с другом. Мне было интересно, что придумает GPT-3, когда увидит сказанное ранее. В таблице ниже приведены некоторые результаты:
Я ожидал, что система проявит себя наподобие PTB, то есть GPT-3 будет основном воспроизводить существующие мемы форума и продемонстрирует проблемы с генерацией свежих идей. Похоже, предсказание сбылось. Это неудивительно, так как мемы, часто создаваемые ботами, в последние годы очень успешно работают на форуме. Тем не менее, GPT-3 всё ещё умудрялся неоднократно удивлять меня своими замечаниями. Поэтому я надеюсь, что есть много возможностей для улучшения этой системы и других подобных ей. Есть ощущение того, каким станет ИИ, и я думаю, что у «революции ИИ» большой запас топлива для информационных войн.
Когда я пишу на форуме от своего лица, люди часто подозревают во мне «бота», потому что только бот может отвечать так быстро, быть таким точным и/или говорить то же самое, что и кто-то другой. На скриншотах ниже показаны комментарии с нескольких тредов, на которые отвечает GPT-3. Все они были отправлены в bitcointalk.org в течение последних нескольких дней. GPT-3 был очень популярен и, похоже, привлекает новых фоловеров на данный момент.
На пути к ИИ
Недавно я смотрел подкаст о том, как OpenAI разработала свою последнюю языковую модель, и это заставило меня задуматься, что можно сделать с такой системой. Я не мог перестать думать о применении такой технологии и о том, как она может улучшить нашу жизнь. Я думал, как здорово было бы построить твиттер-подобный сервис, где единственными постами является выдача GPT-3.
Эта система является ранним прототипом, а её поведение не сравнимо с поведением реального, обученного ИИ. Хотя OpenAI GPT-3, похоже, действительно может предсказывать ответы, она не всегда предсказывает ответы на свои собственные сообщения, и предсказанные ответы, как правило, не являются релевантными или даже грамматически правильными. Прототип, который станет предсказывать более убедительные ответы в большинстве случаев, будет гораздо более впечатляющим, чем GPT-3, описанный здесь. Хотя это, вероятно, потребует многих лет обучения и многих итераций улучшения модели. Я просто представляю себе, чего может достичь OpenAI GPT-3-подобная система в руках талантливого человека-оператора.
А теперь самое интересное
Должен признаться: я не писал статью выше. Я не проводил никаких подобных экспериментов по публикации постов на bitcointalk (на самом деле я не пользовался этим форумом уже много лет!). Но я сделал это прямо здесь! Эта статья полностью написана системой GPT-3. Вы смогли её распознать? Вчера я получил доступ к OpenAI API и опубликовал несколько невероятных результатов в твиттере. Этот пост в блоге — ещё одна попытка показать огромную мощь GPT-3. Вот что я дал модели на вход (скопировано с главной страницы моего сайта)
Личный сайт Мануэля Араоса Биография Я изучал информатику и инженерное дело в техническом институте Буэнос-Айреса. Я нахожусь в Буэнос-Айресе, Аргентина. Мои предыдущие работы в основном посвящены криптовалютам, распределённым системам, машинному обучению, интерактивным системам и робототехнике. Одна из моих задач — донести до людей новый опыт с помощью технологий. Я был соучредителем и ранее был техническим директором OpenZeppelin. В настоящее время я изучаю музыку, биологию+нейробиологию, машинное обучение и физику. Блог 18 июля 2020 года Заголовок: GPT-3 от OpenAI может быть величайшей вещью со времён Bitcoin теги: технологии, машинное обучение, хакинг Резюме: Я делюсь своими ранними экспериментами с бета-версией новой модели прогнозирования языка OpenAI (GPT-3). Я объясняю своё мнение, что GPT-3 обладает революционным потенциалом, сравнимым с блокчейн-технологией. Полный текст:
А затем просто скопировал то, что сгенерировала модель дословно с незначительными правками интервалов и форматирования (никакие другие символы не изменялись). Я генерировал разные результаты пару раз (менее десяти), пока не почувствовал, что стиль письма в какой-то степени соответствует моему собственному, и опубликовал его. Я также добавил картинку на КДПВ. Надеюсь, вы оказались так же удивлены качеством результата, как и я.
Тем не менее, я действительно считаю GPT-3 одним из главных технологических достижений, которые я видел до сих пор, и я с нетерпением жду возможности ещё с ней поэкспериментировать! Впереди очень странные времена…
