Сайты, которые блокируют Googlebot доступ к CSS и JavaScript, могут упасть в выдаче

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.
На днях всем владельцем сайтов, которые следят за его индексацией через сервис Search Console от Google, пришло сообщение-предупреждение. Компания обнаружила, что Googlebot не может сканировать некоторые сайты полностью, поскольку ему закрыт доступ к CSS или JavaScript, из-за ограничений в файле robots.txt. SEO-специалисты предупреждают: лучше послушаться Google, иначе сайт может понизиться в выдаче.

«Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске», — говорится в обращении компании.



Google Bot уже давно стремится к тому, чтобы видеть сайты как реальный пользователь. Поэтому он научился сканировать внешний вид страниц с учетом файлов стилей и динамических частей страницы, регулируемых JavaScript, объясняет Светлана Онищенко, SEO-специалист компании Seomarket.



Многие «сеошники» последовали рекомендациям компании и с мая 2014 года открыли поисковому боту доступ к таким файлам.

«Мы рекомендуем открыть доступ ко всем файлам стилей .css и скриптам .js, если ранее они были закрыты на вашем сайте через robots.txt. Это нужно для того, чтобы поисковые боты могли полностью проиндексировать и оценить визуальное оформление контента на сайте», — советует Светлана.

Также, нужно учитывать, что файлы стилей и Javascript влияют на показатели сайта при оценке его удобства для пользователей мобильных устройств. В частности, при тестировании с помощью Page Speed Insights и Mobile Friendly.

Update: В Блоге SeoProfy опубликовали подробную пошаговую инструкцию о том, как именно открыть доступ к нужной информации. Если вкратце, алгоритм выглядит так:
  1. Определить, какие ресурсы нужно открыть для индексации.
  2. Получить строки, которые нужно добавить в файл robots.txt.
  3. Перед заливкой нового robots.txt, нужно проверить созданные инструкции на ошибки и все ли файлы открыты.
  4. Если остались закрытые ресурсы, повторить шаги 1-3.
  5. Проверить доступность всех ресурсов для Mobile: smartphone.
Примеры. Что нужно добавить для стандартных движков: для WordPress — Allow: /wp-content/themes/*.css, Allow: /wp-content/uploads/*.js и тому подобное, для Joomla — Allow: /templates/*.css, Allow: /components/*.css и так далее.

Напомним, в апреле Google запустил алгоритм, понижающий «немобильные» сайты в выдаче.

Интересные статьи

Интересные статьи

Этот хабрапост объединяет десять лучших докладов от таких спикеров, как Nicolai Josuttis, Timur Doumler, Андрей Давыдов и многих других. C++17/20/23, concepts, immutable data structures, concurr...
Мартин Клеппман (Martin Kleppman) – исследователь в Кембриджском университете, работающий над CRDT и формальной верификацией алгоритмов. Его книга «Designing Data-Intensive Applications», опу...
Привет, Хабр. Предлагаю вашему вниманию перевод статьи «The Hitchhiker’s Guide to Accessibility: Skiplinks and Landmarks» автора Attila Vágó о паре незаменимых инструментов UI и их особенностях. ...
Тема статьи навеяна результатами наблюдений за методикой создания шаблонов различными разработчиками, чьи проекты попадали мне на поддержку. Порой разобраться в, казалось бы, такой простой сущности ка...
Основанная в 1998 году компания «Битрикс» заявила о себе в 2001 году, запустив первый в России интернет-магазин программного обеспечения Softkey.ru.