Сайты, которые блокируют Googlebot доступ к CSS и JavaScript, могут упасть в выдаче

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.

На днях всем владельцем сайтов, которые следят за его индексацией через сервис Search Console от Google, пришло сообщение-предупреждение. Компания обнаружила, что Googlebot не может сканировать некоторые сайты полностью, поскольку ему закрыт доступ к CSS или JavaScript, из-за ограничений в файле robots.txt. SEO-специалисты предупреждают: лучше послушаться Google, иначе сайт может понизиться в выдаче.

«Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске», — говорится в обращении компании.



Google Bot уже давно стремится к тому, чтобы видеть сайты как реальный пользователь. Поэтому он научился сканировать внешний вид страниц с учетом файлов стилей и динамических частей страницы, регулируемых JavaScript, объясняет Светлана Онищенко, SEO-специалист компании Seomarket.



Многие «сеошники» последовали рекомендациям компании и с мая 2014 года открыли поисковому боту доступ к таким файлам.

«Мы рекомендуем открыть доступ ко всем файлам стилей .css и скриптам .js, если ранее они были закрыты на вашем сайте через robots.txt. Это нужно для того, чтобы поисковые боты могли полностью проиндексировать и оценить визуальное оформление контента на сайте», — советует Светлана.

Также, нужно учитывать, что файлы стилей и Javascript влияют на показатели сайта при оценке его удобства для пользователей мобильных устройств. В частности, при тестировании с помощью Page Speed Insights и Mobile Friendly.

Update: В Блоге SeoProfy опубликовали подробную пошаговую инструкцию о том, как именно открыть доступ к нужной информации. Если вкратце, алгоритм выглядит так:
  1. Определить, какие ресурсы нужно открыть для индексации.
  2. Получить строки, которые нужно добавить в файл robots.txt.
  3. Перед заливкой нового robots.txt, нужно проверить созданные инструкции на ошибки и все ли файлы открыты.
  4. Если остались закрытые ресурсы, повторить шаги 1-3.
  5. Проверить доступность всех ресурсов для Mobile: smartphone.
Примеры. Что нужно добавить для стандартных движков: для WordPress — Allow: /wp-content/themes/*.css, Allow: /wp-content/uploads/*.js и тому подобное, для Joomla — Allow: /templates/*.css, Allow: /components/*.css и так далее.

Напомним, в апреле Google запустил алгоритм, понижающий «немобильные» сайты в выдаче.

Интересные статьи

Интересные статьи

Хочу поделиться нашим годичным опытом при поиске решения для организации централизованного и упорядоченного доступа к ключам электронной защиты в нашей организации (ключи для доступа к площадкам ...
Новый скандал на тему приватности и сохранности персональных данных разгорается вокруг Facebook и Instagram. Вчера в официальном блоге Facebook была сделана публикация о том, что во время оч...
Рекомендации, приведенные в данной статье, предназначены в первую очередь для пользователей, имеющих опыт работы с операционной средой Unix и обладающих достаточными знаниями для применения предложенн...
Статья подготовлена с целью дать разработчикам общие понятия об уязвимостях, с помощью которых можно создать для вас проблемы в нормальной работе сайта. Так же даются рекомендации по защите от этих уя...
Проведенное исследование включает как подборку соответствующих количественных исследований, так и опрос экспертов рынка на предмет связи показателей скорости сайта с количественными показателями продв...