В статье расскажем, кому и зачем нужны системы модерации, какие они бывают, в чём их плюсы и минусы. А ещё поделимся мыслями, как снизить вероятность ошибки, и что важно учесть создателю интернет-ресурса с отзывами.
Привет, Хабр! Пару месяцев назад мы запустили свой отзовик для онлайн-школ с системой премодерации. Перед этим год готовились: изучали, как другие компании решают вопрос с модерацией, как пользователи обходят их фильтры. Главное, что мы поняли, собрали в этой статье. Возможно, кому-то информация тоже будет полезна и сэкономит время и силы, которые мы уже потратили.
Сначала определись, зачем тебе модерация
Любой создатель интернет-ресурса создаёт его не просто так, а с какой-то целью. Соответственно у систем модерации тоже есть цель. Глобально она звучит так — снизить вероятность ошибки.
Пример первый — Яндекс.Карты. Сервис придуман, чтобы людям было удобнее ориентироваться на местности. Также они могут оставлять отзывы о местах, которые посещали, помогая тем самым другим пользователям оценить то или иное место, заведение, учреждение. При этом Яндекс.Карты используют данные геолокации, если она включена на телефоне пользователя, а также данные о посещаемости тех или иных сайтов. Это значит, что они могут с относительной точностью определить, в каких местах человек был, а в каких не был. Поэтому если пользователь захочет оставить отзыв о месте, в котором он никогда не был (вернее, где не был его телефон), он не сможет этого сделать — система модерации Яндекс.Карт не пропустит такой отзыв, поскольку посчитает его выдуманным. На этом примере мы видим, что задача Яндекс.Карт — защитить пользователей от недостоверной информации в отзывах. Другой вопрос, насколько успешно у них на самом деле это получается.
Другой пример — сайты отзывов пациентов о врачах и клиниках “ПроДокторов”, “СберЗдоровье”, “Напоправку”. По утверждениям некоторых из них, они используется более 60 критериев оценки достоверности отзыва. Тут надо сделать оговорку: медицина очень конкурентная сфера с достаточно высоким средним чеком. Поэтому задача клиник — отгородиться от действий недобросовестных конкурентов, в то время как у отзовиков задача - снизить вероятность накрутки отзывов и снизить вероятность клеветы. Соответственно причина, почему на отзовике так много фильтров, в том, чтобы сделать написание фейковых отзывов максимально дорогим и нерентабельным для тех, кто их может заказывать. Когда агентство, специализирующееся на “управлении репутацией”, видит, что заказ сложный и заряжает ценник до 10 тысяч рублей за один отзыв, невольно задумаешься: а оно тебе надо за такие деньги? Уж лучше вкладываться в качество работы своей клиники, чем оплачивать клевету на конкурентов или положительные деферамбы о себе любимом.
Пример третий про потребительский экстремизм — Яндекс.Такси. Все, кто пользовался их приложением, знают, что оценить водителя и написать негативный отзыв можно, только если ты реально заказывал такси. Люди разные бывают. Некоторые ради промокода на скидку таких гадостей могут про водителя насочинять. Поэтому продакт-оунеры ввели модерацию, а также систему оценки самих клиентов. Мы считаем её одной из самых эффективных и справедливых, потому что она отсеивает недобросовестных пользователей, защищает от них и компанию и водителей. А ещё она очень удобная, хоть и очень простая с точки зрения реализации, так как все стороны взаимоотношений “клиент-водитель” легко устанавливаются.
Какие бывают системы модерации
Условно все системы модерации можно поделить на автоматические, ручные и гибридные. У каждой из них есть свои плюсы и минусы.
Плюсы автоматической системы в том, что она позволяет (простите за тавтологию) автоматизировать многие процессы. Критериев, по которым будут оцениваться отзывы, может быть любое количество. Всё зависит от задач и фантазии создателей сервиса и программистов. Но есть большая вероятность ошибок, потому что любая автоматическая система имеет погрешность. В качестве примера приведём наш недавний случай на vc.ru. Один из наших сотрудников забыл пароль к своему аккаунту и поэтому создал новый. Сразу же он написал несколько комментариев под новым постом, где к нему обращались. Один из комментариев содержал ссылку на тематический ресурс, который приводился как пояснительный пример. Система посчитала такую активность подозрительной и заблокировала. Объективно причин банить человека не было, но сработал алгоритм. После письма в техподдержку профиль был разблокирован и модераторы сообщили, что система сработала ошибочно, так как никакие правила нарушены не были.
Ручная система модерации тоже может давать погрешность в принятии решений. Люди склонны к субъективным оценкам. И если не выработаны правильные алгоритмы для принятия решений, ошибок не избежать. Но в отличии от автоматической системы, человеку присуща вариативность мышления. Именно поэтому самая частая система модерации — гибридная. Когда машина делает рутинную работу, отсеивая отзывы по определенным базовым критериям, а человек либо принимает финальное решение (у нас это решение о публикации отзыва), либо реагирует на жалобу (как уже написали выше, на vc.ru модераторам пришлось вручную отключать блокировку аккаунта).
Третий пример гибридной системы модерации — Booking.com (увы, канувший в бездну), а также все крупные медицинские отзовики, перечисленные выше. У всех систем сначала срабатывает автоматика, но если есть подозрения, что отзыв недостоверный, то система сообщает оператору о необходимости ручной проверки. Например, если ты забронировал отель через сервис, отдохнул там, оставил деньги, — только после этого ты можешь оставить отзыв, который также может быть проверен модератором, если это необходимо. Это самая правильная стратегия, потому что с её помощью можно оценить, был ли у клиента реальный пользовательский опыт. Хотя и здесь от клиентского экстремизма защититься не всегда просто.
Что ещё нужно учесть
Крайне важно учитывать особенности ниши, в которой будет работать тот или иной сервис с отзывами.
Кстати, именно поэтому предложение Артемия Лебедева по созданию всеобщей электронной книги жалоб мы как эксперты в сфере отзовиков считаем бессмысленным. Невозможно корректно оценивать информацию в отзовике общего профиля. К примеру, ты пошёл в поликлинику к терапевту. Что-то пошло не так — и вот ты уже пишешь негативный отзыв на поликлинику. Но корректно ли будет ругать медицинское учреждение, если проблема, например, в компетентности конкретного врача? В итоге клиника могла уже давно попрощаться со специалистом, а отзыв продолжает быть размещен. В онлайн образовании особенности заключаются в следующем: у одной ООО или ИП может быть большое количество онлайн-школ с разными названиями и разным качеством обучения. Но отзыв на всероссийском отзовике вам предложат оставить именно про ИП или ООО, а не конкретную онлайн-школу, в связи с чем создателям курса, при большом количестве отрицательных отзывов будет достаточно сменить ИП и продолжить комфортно работать далее, продавая некачественный продукт. Есть много и других нюансов, которые в контексте этой темы невозможно учесть.
Главная задача любой системы модерации установить, была ли связь между участниками сделки.
Одним из лучших примеров реализации такой задачи считаем Авито, Booking, Яндекс.Такси, Вайлдбериз. У них есть подтверждение механики взаимодействия продавец-покупатель. Авито собирает о тебе данные активности. Она видит, что ты реальный пользователь: у тебя есть фотография, переписки с продавцами и покупателями, есть купленные товары. Система определяет, что ты реальный человек. Только после коммуникации со вторым участником сделки у тебя появляется возможность оставить отзыв. Аналогичную систему пытаются реализовать в сервисе СберЗдоровье, но пока правовых ограничений много, так как “увидеть” деньги пациента в кассе клиники не очень просто. У сервиса Вайлдбериз свои сложности — часто обходят систему с помощью регистрации большого количества фейковых покупателей, которые совершают выкупы для того, чтобы оставить отзыв.Систему модерации придётся всё время дорабатывать.
Не бывает идеальной системы модерации, которую один раз сделал и забыл. Мы свою разрабатывали примерно пол года. Прошло два месяца, как сервис запущен, но уже внесено множество изменений. Например, у тех, кто хочет оставить отзыв об онлайн-школе, мы начали запрашивать подтверждающие документы. Сначала делали это в ручном режиме, но после получения первых 200 отзывов пришли к выводу, что эти документы нам нужны в большинстве случаев, в связи с чем сделали этот параметр обязательным для заполнения. Из последнего: сделали обязательным указание номера телефона, так как внутренней системы уведомлений оказалось недостаточно. В связи с этим, после отправки отзыва на доработку, пользователь мог не посмотреть свою почту и не увидеть там соответствующее сообщение. Нам важно решить проблему, с которой пришёл студент, а значит нужна оперативная обратная связь.
Отрабатывать систему на реальных пользователях
Лучше запустить продукт и сразу его дорабатывать, править “по живому”, исходя из реального опыта по работе с пользователями, чем бесконечно вырабатывать гипотезы и запуститься лет через пять, когда инструменты могут устареть, а вы перегореть.
Хочешь результата — действуй, изучай нишу, исправляй ошибки, помни о том, какая у тебя главная цель.
