Сайт попал в запрещенный список ресурсов Роскомнадзора и его заблокировали? В данном материале поделюсь своими наблюдениями и тем, что было с проектом клиента, который попал под блок РКН.
Всем привет. На связи Толстенко Александр. В общих чертах принцип работы Роскомнадзора и инструкцию, что делать если сайт заблокировали, писал в статье: РКН: Что это такое, как работает ведомство, можно ли выйти из под блокировки.
P.S.: Материал вычитали и дополнили профессиональные сеошники.
Для того, чтобы выяснить, как блокировка происходит технически у хостинг провайдера, пришлось провести опрос по разным хостинг провайдерам. Результатами, поделился в статье: Блокировка сайтов по требованию РКН: Как работают хостинги - Опрос.
В данной статье, опишу как вообще происходит блокировка и свои наблюдения за клиентским проектом, который попал под блокировку РКН и что с ним происходило во время и после ее снятия.
P.S.: Рекомендую ознакомиться с первыми двумя ссылками выше, т.к. каждый текст является дополнением текущего. Из за большого объема и множество технической информации, пришлось разбить материал на части. Ниже, напишу только о том, что было с сайтом.
Что происходит с сайтом для поисковых систем, когда его заблокировали?
Ничего. Поисковые роботы Яндекс и Google продолжали индексировать сайт в обычном режиме.
Возможно, это было связано с тем, что на сайте было более 1кк страниц. С небольшими проектами, обычно все происходит не так: Яндекс и Гугл - практически моментально удаляют все страницы сайта из индекса и перестают сканировать новые, т.е. проиндексированных страниц будет ровно - 0.
Ниже, примерно по дням, напишу кратко свои наблюдения за проектом, который попал «под раздачу» РКН.
Почему примерно? Изначально, не планировал делиться наблюдениями за проектом. Хронологию событий восстанавливал по памяти и переписке с клиентом, в которой остались кое какие скрины.
P.S.: P.S.: На продвижении находился очень большой проект. Поэтому он долгое время не индексировался поисковыми системами, особенно Гугл (он упорно не хотел клеить старый домен к новому), в отличие от Яндекса.
День 1
Когда сайт перестал открываться в браузере, причину поняли сразу, как только проверили логи сервера и посмотрели почту на которую был зареган выделенный сервер. От хостинг провайдера, в почте было «письмо счастья» РКН, которое владелец сайта благополучно не прочитал (у меня доступов не было).
По логам сервера, сайт парсился ботами Яндекс и Гугл, как ни в чем, ни бывало.
Ключевые запросы по которым ранее были переходы на портал, по-прежнему держались в ТОП 10 поисковой выдачи, но при попытке перехода по ссылке из серча, проект не работал, т.к. уже был заблокирован хостингом из за выявленных нарушений РКН.
Интересная особенность, не знаю, то ли это особенности работы хостинга, то ли из-за решения РКН, но блокирнули только 443 порт, 80 - работал. Т.е. если убрать 301 редирект с версии сайта на https, сайт бы работал.
P.S.: Если важно сохранить трафик и быстро среагировать, рекомендую настраивать мониторинг минимум раз в сутки, на попадание сайта в список РКН.
День 2
После того, как в первый день погуглил и поизучал инфу, которой было с гулькин нос и она была раскидана по разным источникам, проконсультировались с юристом, опросили знакомых владельцев сайтов, обсудили свои догадки (в постановлении не было четкой причины, было указание только на домен), начали править тексты и убирать блоки за которые могли закрыть сайт.
Т.к. мы не знали, сколько бы длилась эпопея с разблокировкой домена, было принято решение купить домен-зеркало и склеить его через 301 редирект, чтобы можно было побыстрее вернуть трафик и заменить url неработающего домен на новые в результатах поисковой выдачи.
P.S.: Как разблокировать старый домен и какие еще действия еще можно предпринять, подробно написал в статье: РКН: Что это такое, как работает ведомство. (ссылка в самом начале).
День 4
Сайт по прежнему недоступен для пользователей по старому домену, только еще появилось сообщение о блокировки web-ресурса от интернет провайдера.
При попытке определить какие страницы домена остались в индексе поисковой системы посредством запроса в яндексе
https://yandex.ru/search/?lr=213&surl=site.ru&text=поисковой_запрос
увидел, что в выдаче начали появляться страницы нового домена, т.е. пошла склейка нового сайта.
День 5
Решил проверить, начал ли Гугл склеивать новый домен со старым. Для этого вбил в строку поиска выборочно несколько самых посещаемых страниц сайта. В индексе, по-прежнему были ссылки на старый домен.
Попытался ускорить попадание в индекс нескольких важных страниц нового домена закупкой ссылок с сайтов СМИ — особого результата не увидел, хотя ссылки были не с самых дешевых источников и посещаемость у них была 1000-3000 чел/сутки.
P.S.: При проверке на момент написания текста выяснил, что в ТОПе по старому домену еще есть очень много не склеенных страниц портала.
Когда делал выборочную проверку по ключам, которые были в ТОПе в Гугла и давали максимальный трафик, заметил конкурента, который попал под блок чуть раньше нас и по наблюдениям, точно не работал где то недели две, пока они не переехали на другой домен. Или сразу не заметили, или не знали что делать и как быстро решить проблему. У него тоже в ТОПе долго висели url от старого домена по некоторым страницам.
P.S.: В процессе работы увидел еще нескольких конкурентов, которые также попали в список РКН, но они быстро восстановили доступ к старому домену и переклеили информацию на новый.
День 7
После выходных, опять проверял сайт в результатах выдачи Гугла, чтобы посмотреть изменилось ли что-то от проделанных действий. Увидел забавную картину, о которой я бы и не узнал, если бы за выходные не переехал с Краснодара, в соседний небольшой городок.
Так вот, когда перешел по ссылке из результатов выдачи по старому домену и сайт открылся без vpn по новому, сразу не понял, что произошло. Спустя несколько минут, поймал себя на мысли, что домен у нового провайдера не блокируется и меня редиректит на новый.
Тогда пошел проверять блокировку ресурса с мобильного телефона и разных ip-адресов: МСК, Краснодара и смартфона с питерской симкой. Сайт был в блоке, а в соседнем городе нет. Почему так, не знаю, возможно дело в кэше DNS провайдера, а может в другом причина.
P.S.: Была у меня одна забавная история с кэшем dns у одного Севастопольского провайдера. Когда жил в Севастополе и делал сайт на одном хостинге, а потом перенес его на другой. Сайт с кабельного интернета был недоступен, а с мобильного телефона работал. Обратился к провайдеру, который ответил, что видимо закешировался dns. Хоть техподдержка и сказала, что кешь скинула и сайт должен был сразу заработать, через кабель он заработал только спустя 3-5 дней.
День 8
Нужно было каким-то образом возвращать старый домен, поскольку на нем растилась ссылочная масса, с которой на сайт могли совершить переход новые пользователи или пользователи у которых он был в закладках. Для этого решили повесить страницу-заглушку, с похожим контентом, убрать 301 и написать письмо о снятии блокировки в РКН.
P.S.: Пока ждали ответ, в панели Яндекс.Вебмастере сайты расклеились из за различного контента) Что делал, подробно написал в первой ссылке в начале статьи выше.
День 10
Обратную связь от РКН после подачи заявления получили примерно через 7 дней. Когда сняли ограничение, по старым url с поиска, при клике редиректило уже на новый домен без впн.
Что было с трафиком до/после?
После блокировки ресурса, трафик сократился примерно на 80-90%, т.е. откуда то, на сайт все же переходы были. Как выяснилось позже, когда анализировал метрику, остаточный трафик на сайт шел с «глубинки». Об этом бы никогда бы не узнал, не переехав за выходные в другой населенный пункт.
P.S.: На момент написания статьи трафик восстановился примерно на 80% из Гугла и Яндекса. Проблема в том, что портал очень большой и боты его не успевают быстро переиндексировать, хотя и был настроен Last-Modified.
Выводы
РНК - это не фильтр поисковых систем, как многие могут считать. Если у вас ресурс не из одной сотни страниц, для поисковых роботов он будет некоторое время работать в обычном режиме, но через время страницы вывалятся из индекса серча и новые не будут индексироваться.
Ограничение доступа к веб ресурсу и его поддоменам происходит в первую очередь на уровне хостинга, во вторую провайдером связи, где есть нарушения.
Новое зеркало вскоре после переезда будет заблокировано, если не устранены предписания Роскомнадзора.
Если вы хотите быстро восстановить трафик, нужно использовать только 301 редирект. От 302 в результатах выдачи поисковых систем будут url заблокированного домена, кликнув по которому, посетитель будет видеть неработающий сайт.
Если резко упал трафик почти до нуля, первым делом проверяйте блокировку на сайте РКН. Если блока нет, копайте дальше.
А ваш проект блокировал РКН? Наблюдали, что происходит с проектом? Можете поделиться полезной информацией?
P.S.: Зашел материал? Подписывайтесь на публикации. Будет еще много интересного
