Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!
Привет, Хабр! Я Алексей, data scientist в Сбере, отвечаю за AI создание персонализированного маркетингового контента для разных каналов коммуникаций.
Как и другие подразделения Сбера, мы в трайбе «Массовая персонализация» создаём много текстового контента. Это тексты для СМС, пуш-уведомлений, e-mail, рекламные баннеры и прочее для СберБанка. (Да-да, это мы шлём вам эсэмэски!)
Мы хотели сделать этот процесс эффективнее — как по продажам, так и по затратам на производство контента. После того как SberDevices выкатили ruGPT-3, мы решили обобщить накопленные за несколько лет данные и доверить AI написание текстов для наших клиентов.
Получилось ли это? Спойлер: да, ещё как. Но обо всём по порядку.
Зачем всё это нам нужно
Только представьте: за месяц мы разрабатываем более 600 единиц контента. И этот контент пишут изо дня в день святые живые люди.
Например, копирайтеру Сане пришла срочная задача написать СМС — с предложением оформить новый вид вклада. Так как клиенты банка разные, Сане приходится писать отдельный текст под каждый тип клиента, учитывая тональность, возраст, предпочтения клиента и другие важные моменты. То есть написать 4, 5, 10 СМС на одну и ту же тему в режиме ASAP.
И такие задачи Сане приходят постоянно — мозг кипит, кровь из глаз. В итоге креатив сходит на нет, а Саня устаёт и работает медленнее.
Чтобы такого не было, мы обучили AI-модель создавать множество вариантов одного сообщения с учётом различных акцентов. Тем самым разнообразить коммуникации, уменьшить T2M (time to market) на производство контента и облегчить работу копирайтерам.
Как работает новая AI-модель
Копирайтер пишет стандартный текст о продукте, который учитывает основные моменты. Затем задаёт теги — акценты, которыми нужно разнообразить сообщение.
Далее AI-модель генерирует большое количество контента для узких сегментов целевой аудитории банка за считанные секунды. Причём варианты самые неординарные, до которых человек не всегда может додуматься — во всяком случае так же быстро, как машина.
На выходе получаем довольно связные тексты, которые можно запускать в A/B-тестирование, строить модели подбора контента, искать лучшие варианты текста и увеличивать отклик. А также довольных копирайтеров, которым не пришлось ломать мозг над очередным сообщением.
Как искали решение и почему в итоге всё сделали сами
После появления ruGPT-3 от SberDevices мы поняли, что теперь появилась возможность генерировать связанные AI-тексты на заданную тематику, однако готовых решений, чтобы генерился контент с учётом продуктовой специфики, юридических рисков и редакционной политики Сбера, не было. Существуют готовые решения, которые генерируют рекламный контент, но они ограничены по продуктам и акцентам, которые можно указать.
Поэтому на основе модели ruGPT-3 мы разработали модель для AI-генерации маркетингового контента по банковским продуктам и продуктам экосистемы. Над проектом помимо меня (DS) работали копирайтер и менеджер проектов с ноября прошлого года, первый пилот провели в феврале.
Как мы создавали AI-генератор
Как я уже говорил, наша модель создана на базе ruGPT-3. Это самая большая AI-модель для русского языка, которая пишет тексты. Её обучили и выложили в открытый доступ ребята из SberDevices, об этом также есть статья на Хабре.
С 2017 года команда проверяла разные контентные гипотезы и получила много информации о том, как разные типы клиентов реагируют на коммуникации от банка. Тестировали разные подходы к созданию коммуникаций — использовали стимулы к действию, по-разному расставляли акценты и пр. Всего в нашем распоряжении было примерно 12 000 различных банковских коммуникаций для дообучения модели, однако лишь малая часть имела значимую вариативность. Т. е. простой fine-tuning модели привёл бы к тому, что мы смогли бы генерировать стандартный банковский текст с минимальными вариациями, что не очень интересно. Наша же задача состояла в том, чтобы модель, используя свои знания об окружающем мире, помогала копирайтеру создавать тексты, максимально непохожие на предыдущие.
Для этого мы использовали метод prefix-tuning, когда оптимизируется не сама модель, а данные, которые подаются ей на вход, чтобы в итоге получался нужный текст. С таким подходом модель не переобучается на конкретных данных и сохраняет все свои знания об окружающем мире и русском языке. Для обучения мы отобрали всего 150 текстов, разметили их вручную — и этого хватило для первого удобоваримого результата. Few-shot learning во всей красе!
Кстати, пока мы занимались этим вручную в pytorch, ребята из SberDevices собрали для этого библиотеку ruPrompts.
Модель с чувством юмора: итоги пилотов, которых мы не ожидали
По результатам шести завершённых пилотов можно сказать, что сообщения, сгенерированные AI для клиентов банка, как минимум не уступают текстам копирайтеров: в среднем прирост тапов на пуш-уведомления +3%, продажи на таком же уровне.
Изначально у нас были опасения, что тексты будут несвязными и канцелярскими. Да и вообще это расхожее убеждение, что в тексте, написанной машиной, «нет души». Но модель нас приятно удивила. Она постоянно выдаёт свежие нестандартные варианты — оцените.
Спойлер с правильным ответом:
AI-текст — справа.
Коллеги из других подразделений Сбера тоже заинтересовались нашей моделью. Например, мы провели пилот со СберМегаМаркетом, получили прирост отклика +20% (переходы, GMV).
AI-модель — не страшный сон копирайтера, а его лучший друг и муза
Мы не задумывали модель как замену копирайтерам. Она действительно может писать готовые сообщения, но финальное решение, отправлять ли эти сообщения клиентам (и какие именно), остаётся за человеком.
Модель может сгенерить варианты и навести копирайтера на новые мысли — это такая AI-муза, которая приходит не ночью, а когда надо. Копирайтер может заимствовать из текста только заход или свежий образ, а дальше отредактировать сообщение. А может взять его целиком.
Что дальше
Сейчас модель создания вариативного контента готова. Мы её дообучаем, но ей уже можно пользоваться. Вот направления, которые развиваем и планируем реализовать в ближайшие месяцы.
Сгенерированные варианты пока ещё нужно проверять «руками» — на юридические риски, токсичность, грамотность и другие тонкости. Но мы уже работаем над автоматизацией этих процессов, делаем отдельные модели проверки.
Например, модель генерит текст, в котором встречаются слова или выражения, несущие юридические риски. Она их подсвечивает, и копирайтер переписывает этот текст. Или выбирает другой, корректный (вариантов-то много).
Или в тексте встречаются низкоэффективные слова и фразы, которые, по нашим данным, не нравятся клиентам и тянут отклик вниз. Тогда модель в процессе генерации сразу меняет слова на высокоэффективные.
Также мы строим модель, которая будет подбирать под каждого клиента свой вариант контента, на который будет наибольший отклик.
Как это реализовано в текущем процессе создания контента в Сбере
В нашем стриме есть вторая команда, которая разработала Self Service-портал для создания контента копирайтерами. В нём учтены результаты всех пилотов, собраны и выводятся копирайтеру на экране рекомендации по созданию эффективных коммуникаций.
Например, копирайтеру Маше нужно написать СМС по кредитной карте для человека, который недавно взял ипотеку. Маша выбирает продукт, канал коммуникации, указывает произвольные теги для персонализации контента. В модель поступает запрос, она генерит тексты и отправляет обратно на портал. Маша выбирает подходящие тексты, если нужно, то редактирует их, отправляет на согласование на этом же портале всем заинтересованным коллегам.
Продукт: кредитная карта
Канал: СМС
Тег: быстро
Иван Иванович, вы можете быстро и просто оформить кредитную СберКарту и легко совершайте покупки в магазинах без переплат! Бесплатное обслуживание и уведомления! Ваш лимит — 100000 р., со ставкой 0% на 4 месяца. Подайте заявку на оформление карты до 31 мая 2022 года: www.sberbank.ru ПАО Сбербанк.
Тег: удобно
Иван Иванович, выберите удобный способ совершать покупки в любых магазинах! Используйте кредитную СберКарту: 0% на 4 месяца, лимит — 100000 рублей, а ещё бесплатное обслуживание и уведомления! Подайте заявку не позднее 31 мая 2022 года: www.sberbank.ru ПАО Сбербанк.
Тег: специальное предложение
Иван Иванович, обратите внимание на специальное предложение: кредитная СберКарта со ставкой 0% на 4 месяца. А ещё бесплатное обслуживание и уведомления! Воспользуйтесь лимитом 100 000 р. для покупок в любых магазинах, для этого подайте заявку до 31 мая 2022 года: www.sberbank.ru ПАО Сбербанк.
Схема работы портала:
Вместо итогов
Надеемся, наши эксперименты с ruGPT-3 вдохновят и других разработчиков на оригинальные бизнес-продукты и помогут посмотреть по-другому на производство контента в рамках одной компании.
P. S. Из-за модели не был уволен ни один копирайтер.
