Файл Robots.txt

1. Файл robots.txt в двух словах Файл robots.txt содержит рекомендации для поисковых систем, которые...
2. Терминология файла robots.txt
3. Почему я должен иметь дело с файлом robots.txt?
4. пример
5. Ваш robots.txt работает против вас?
6. Агент пользователя
7. запрещать
8. пример
9. разрешать
10. пример
11. Пример конфликтующих директив
12. Одна строка для каждой директивы
13. Использование общих знаков *
14. пример
15. Использование знака $ для обозначения конца URL
16. пример
17. Карта сайта
18. примеров
19. Пример 1
20. Пример 2
21. Обход задержки
22. пример
23. Когда я должен использовать файл robots.txt?
24. Лучшие практики для файла robots.txt
25. Расположение и имя файла
26. Порядок приоритета
27. пример
28. пример
29. Одна группа директив на одного робота
30. Будьте максимально конкретны
31. пример
32. Рекомендации для всех роботов, содержащие конкретные рекомендации для определенных роботов
33. пример
34. Файл robots.txt для каждого домена или субдомена
35. примеров
36. Противоречивые правила: robots.txt против Google Search Console
37. Следите за своим файлом robots.txt
38. Что вы делаете, когда ваш robots.txt изменяется?
39. Не используйте noindex в вашем файле robots.txt
40. Примеры файлов robots.txt
41. Все роботы могут исследовать все
42. Ни один робот не может получить доступ никуда
43. Ни один робот из Google не может получить доступ никуда
44. Никакой робот Google, кроме новостей Googlebot, не может получить доступ никуда
45. Googlebot и Slurp никуда не денутся
46. Ни один робот не может получить доступ к двум каталогам
47. Ни один робот не может получить доступ к конкретному файлу
48. Робот Google не может получить доступ к / admin /, а Slurp не может получить доступ к / private /
49. Robots.txt файл для WordPress
50. Где находятся пределы файла robots.txt?
51. Страницы по-прежнему появляются в результатах поиска
52. Кэширование
53. Размер файла
54. Часто задаваемые вопросы о файлах robots.txt
55. 2. Должен ли я быть осторожным при использовании файла robots.txt?
56. 3. Могут ли поисковые системы игнорировать файл robots.txt при изучении веб-сайта?
57. 4. Исследуют ли поисковые системы мой сайт, если у меня нет файла robots.txt?
58. 5. Могу ли я использовать Noindex вместо Disallow в моем файле robots.txt?
59. 6. Какие поисковые системы уважают файлы robots.txt?

Файл robots.txt в двух словах

Файл robots.txt содержит рекомендации для поисковых систем, которые вы можете использовать, чтобы запретить поисковым системам исследовать определенные части вашего сайта.

При реализации robots.txt помните о следующих советах:

• Будьте осторожны при изменении файла robots.txt: этот файл может потенциально сделать недоступными большие разделы вашего сайта.
• Файл robots.txt желательно размещать в корне вашего сайта (например, http://www.example.com/robots.txt).
• Файл robots.txt действителен только для домена, в котором он находится, включая протокол (http или https).
• Различные поисковые системы по-разному интерпретируют директивы. По умолчанию применяется первая соответствующая директива. Но с Google и Bing точность царит.
• По возможности избегайте использования директивы crawl-delay для поисковых систем.

Что такое файл robots.txt?

Файл robots.txt сообщает поисковым системам правила вашего сайта относительно взаимодействия.

Поисковые системы регулярно проверяют файл robots.txt на сайте, чтобы узнать, как сканировать сайт. Эти инструкции называются «директивами».

Если нет файла robots.txt или если есть какие-либо, но не применимые рекомендации, поисковые системы исследуют весь сайт.

Если большинство основных поисковых систем уважают файл robots.txt, некоторые могут игнорировать все или некоторые директивы. Хотя это сильный сигнал, отправляемый поисковым системам, важно помнить, что файл robots.txt представляет собой набор необязательных директив, а не обязательство.

Терминология файла robots.txt

Файл robots.txt является реализацией стандартных роботов исключения , также известных как роботы протокола исключения .

Почему я должен иметь дело с файлом robots.txt?

Файл robots.txt играет важную роль в поисковой оптимизации (SEO). Он говорит поисковым системам, как исследовать ваш сайт.

Используя файл robots.txt, вы можете помочь поисковым системам разумно сканировать ваш сайт , запретить доступ к частям вашего сайта и предотвратить проблемы с дублированным контентом .
Однако будьте осторожны при внесении изменений в файл robots.txt: этот файл позволяет сделать большие части вашего сайта недоступными для поисковых систем.

пример

Давайте рассмотрим пример, чтобы объяснить это:

У вас есть сайт онлайн-торговли, и ваши посетители могут использовать фильтр для быстрого поиска. Этот фильтр генерирует страницы с содержимым, которое не является полностью уникальным. Это удобно для посетителей, но в то же время производит дублированный контент , Для поисковых систем лучше не индексировать эти отфильтрованные страницы и не тратить драгоценное время на эти URL. Именно поэтому лучше установить запрет, чтобы поисковые системы не получали доступ к этим страницам отфильтрованных продуктов.

Для предотвращения проблем с дублированным контентом вы также можете использовать Канонический URL или метатег роботов, но это не мешает сканерам исследовать определенные страницы . Использование канонического URL-адреса или мета-тега robots не позволит поисковым системам отображать эти страницы в результатах . Как поисковые системы имеют ограниченное время для изучения каждого сайта Лучше, чтобы они проводили это время на страницах, запланированных для просмотра в результатах поиска.

Ваш robots.txt работает против вас?

Плохо настроенный файл robots.txt может снизить производительность SEO. Проверьте, так ли это на вашем сайте!

Вот пример простого файла robots.txt с веб-сайта WordPress:

Пользовательский агент: * Disallow: / wp-admin /

Давайте посмотрим на анатомию файла robots.txt на основе приведенного выше примера:

• User-agent: user-agent указывает, какие поисковые системы должны следовать инструкциям.
• *: это означает, что рекомендации относятся ко всем поисковым системам.
• Disallow: эта директива сообщает агенту пользователя, какой контент не должен быть доступен для агента пользователя.
• / wp-admin /: это путь, который не должен быть доступен для агента пользователя.

Таким образом, этот файл robots.txt сообщает всем поисковым системам не обращаться к каталогу / wp-admin /.

Агент пользователя

Каждый поисковик должен идентифицировать себя с пользовательским агентом. Сканер Google называется Googlebot, робот Slurp от Yahoo, робот Bing BingBot и так далее.

user-agent отмечает начало группы директив. Все директивы между первым пользовательским агентом и следующим пользовательским агентом принадлежат первому пользовательскому агенту.

Директивы могут быть предназначены для конкретного пользовательского агента, но также для всех пользовательских агентов. Во втором случае вы можете использовать общий знак: User-agent: *.

запрещать

Директива Disallow используется для запрета доступа к определенным файлам, страницам или разделам вашего сайта. За ним следует путь, который не должен быть доступен. Если путь отсутствует, директива игнорируется.

пример

Пользовательский агент: * Disallow: / wp-admin /

В этом примере все поисковые системы должны избегать директории / wp-admin /.

разрешать

Директива Allow противоречит директиве Disallow. Поддерживается Google и Bing. Используя директиву Allow и директиву Disallow одновременно, вы можете сообщить поисковым системам, что они могут получить доступ к определенной странице или файлу в каталоге, который запрещен директивой Disallow. За директивой Allow следует путь, который должен оставаться доступным. Если путь отсутствует, директива игнорируется.

пример

Пользователь-агент: * Разрешить: /media/conditions.pdf Запретить: / media /

В этом примере все поисковые системы должны избегать директории / media /, кроме файла /media/conditions.pdf.

Важное замечание: Используя директиву Allow и директиву Disallow одновременно, избегайте общих символов, поскольку они могут вызвать конфликты.

Пример конфликтующих директив

Агент пользователя: * Разрешить: / Запретить каталог: /*.html

Поисковые системы не будут знать, что делать с URL http://www.domain.com/repertoire.html. Они не будут знать, смогут ли они получить к нему доступ.

Одна строка для каждой директивы

У каждой директивы должна быть своя строка. Наличие нескольких директив в одной строке может вызвать проблемы для поисковых систем.

Пример неправильного файла robots.txt

Избегайте таких файлов robots.txt:

Агент пользователя: * Disallow: / directory-1 / Disallow: / directory-2 / Disallow: / directory-3 /

Использование общих знаков *

Общий знак * используется не только для определения пользовательского агента, но и для URL-адресов. Общий знак поддерживается Google, Bing, Yahoo и Ask.

пример

Агент пользователя: * Disallow: / *?

В этом примере все поисковые системы должны избегать URL-адресов, которые содержат знак вопроса (?).

Использование знака $ для обозначения конца URL

Чтобы отметить конец URL, вы можете использовать знак доллара ($) в конце пути.

пример

Пользователь-агент: * Disallow: /*.php$

В этом примере поисковые системы должны избегать всех URL-адресов, заканчивающихся на .php. URL с параметрами, такими как https://example.com/page.php?lang=en, не будут забанены, потому что URL не заканчивается после .php

Карта сайта

Основная цель файла robots.txt - сообщить поисковым системам, какие страницы они не должны исследовать . Тем не менее, этот файл также полезен для продвижения поисковых систем к вашей карте сайта XML. Поддерживается Google, Bing, Yahoo и Ask.

Карта сайта XML должна указываться как абсолютный URL. Этот URL не должен находиться на том же хосте, что и файл robots.txt. Ссылка на вашу карту сайта XML в файле robots.txt является одним из лучших методов. Мы рекомендуем делать это, даже если вы уже отправили свой XML-файл сайта в Google Search Console или Bing Webmaster Tools, потому что есть больше поисковых систем.

В файле robots.txt вы можете ссылаться на несколько файлов XML сайта.

примеров

Несколько XML-карта сайта:

Пользовательский агент: * Disallow: / wp-admin / Карта сайта: https://www.example.com/sitemap1.xml Карта сайта: https://www.example.com/sitemap2.xml

В этом примере файл robots.txt указывает всем поисковым системам избегать использования каталога / wp-admin /, а карту сайта XML можно найти по адресу https://www.example.com/sitemap1.xml. на https://www.example.com/sitemap2.xml.

Единый XML Sitemap:

Пользовательский агент: * Disallow: / wp-admin / Карта сайта: https://www.example.com/sitemap_index.xml

В этом примере файл robots.txt указывает всем поисковым системам избегать использования каталога / wp-admin / и о том, что карта сайта XML находится по адресу https://www.example.com/sitemap_index.xml.

Комментариям предшествует знак #. Они могут быть размещены в начале строки или после директивы. Все, что после # будет проигнорировано. Эти комментарии предназначены для людей, а не для машин.

Пример 1

# Запретить всем ботам доступ к каталогу / wp-admin /. Пользовательский агент: * Disallow: / wp-admin /

Пример 2

User-agent: * # Для всех роботов Запретить: / wp-admin / # Межповерочный доступ к каталогу / wp-admin /.

Оба примера сообщают одно и то же сообщение.

Обход задержки

Задержка сканирования - это неофициальная директива, используемая для предотвращения риска перегрузки сервера из-за слишком большого количества запросов. Если существует риск перегрузки, вызванной поисковыми системами, директива Crawl-delay в вашем файле robots.txt может помочь вам только временно. В этом случае проблема заключается в размещении веб-сайта на слабом хосте, и его необходимо устранить как можно скорее.

Каждая поисковая система по-разному относится к директиве Crawl-Delay. Теперь мы объясним, как к ним относятся наиболее распространенные поисковые системы.

Google

Google не поддерживает директиву Crawl-Delay. Вы все еще можете настроить скорость сканирования в Google Search Console. Вот как это сделать:

1. Зарегистрируйтесь в Google Search Console.
2. Выберите веб-сайт, для которого вы хотите настроить скорость сканирования.
3. Нажмите на значок шестеренки и выберите «Настройки сайта».
4. В разделе «Скорость сканирования» вы можете изменить скорость. Скорость сканирования по умолчанию: «Разрешить Google оптимизировать скорость сканирования на основе моего сайта (рекомендуется)».

Бинг, Yahoo и Яндекс

Bing, Yahoo и Yandex поддерживают директиву Crawl-Delay для замедления сканирования сайта. Однако их интерпретация задержки сканирования отличается, поэтому не стесняйтесь обращаться к их документации.

Директива Crawl-Delay должна быть помещена после директивы Disallow или Allow.

пример

Агент пользователя: BingBot Disallow: / private / Crawl-delay: 10

Baidu

Baidu не поддерживает директиву Crawl-Delay. Для этого вам необходимо создать учетную запись в Baidu Webmaster Tools, где вы можете контролировать скорость исследования. Это так же, как в консоли поиска Google.

Когда я должен использовать файл robots.txt?

Мы рекомендуем всегда использовать его . Это не может повредить, наоборот, это может помочь поисковым системам разумно сканировать ваш сайт.

Лучшие практики для файла robots.txt

Лучшие практики для файлов robots.txt подразделяются на следующие категории:

Расположение и имя файла

Файл robots.txt всегда должен быть расположен в корне вашего сайта (в каталоге верхнего уровня хоста) и иметь имя robots.txt, например: https://www.example.com/ robots.txt. URL-адрес файла robots.txt чувствителен к регистру, как и все другие URL-адреса.

Если ваш файл robots.txt не находится в расположении по умолчанию, поисковые системы приходят к выводу, что он не существует, и они будут исследовать весь сайт.

Порядок приоритета

Каждый поисковик обрабатывает файл robots.txt по-своему. По умолчанию первая директива побеждает .

Тем не менее в случае с Google и Bing все работает иначе. Это самые конкретные принципы, которые побеждают . Например: директива Allow имеет решающее значение, если она длиннее директивы Disallow.

пример

User-agent: * Разрешить: / on / company / Disallow: / on /

В этом примере все поисковые системы, включая Google и Bing, должны избегать каталога / on /, кроме подкаталога / on / enterprise /.

пример

User-agent: * Disallow: / on / Allow: / on / company /

В этом примере все поисковые системы, кроме Google и Bing, должны избегать каталога / /, включая подкаталог / on / enterprise /.

Google и Bing могут получить доступ к подкаталогу / on / company /, поскольку директива Allow длиннее директивы Disallow.

Одна группа директив на одного робота

Для каждой поисковой системы вы можете написать только группу рекомендаций. Наличие нескольких групп директив может вызвать проблемы.

Будьте максимально конкретны

Создание рекомендаций Disallow должно быть как можно более конкретным, чтобы предотвратить риск непреднамеренного доступа к файлам.

пример

Пользователь-агент: * Disallow: / каталог

В этом примере поисковые системы не могут получить доступ к:

• / каталог
• / Каталог /
• / Справочник-имя-1
• /repertoire-nom.html
• /repertoire-nom.php
• /repertoire-nom.pdf

Рекомендации для всех роботов, содержащие конкретные рекомендации для определенных роботов

Для каждого робота действует только группа инструкций. Если руководящие указания для всех роботов сопровождаются указаниями для конкретных роботов, эти конкретные роботы будут игнорировать общие указания. Если вы хотите, чтобы они следовали за ними, вы должны повторить их.

Вот пример, который объясняет это:

пример

Пользовательский агент: * Disallow: / secret / Disallow: / еще не запущен / User-agent: googlebot Disallow: / еще не запущен /

В этом примере поисковые системы, кроме Google , не могут получить доступ к каталогам / secret / и / not-while-run /. Только гугл не может получить доступ к каталогу / not-not-lance /, против него можно получить доступ к каталогу / secret /.

Если вы хотите, чтобы Google мог получить доступ ни к / secret /, ни not-encore-lance, вам необходимо повторить эти рекомендации для googlebot:

Пользовательский агент: * Disallow: / secret / Disallow: / еще не запущен / User-agent: googlebot Disallow: / secret / Disallow: / еще не запущен /

Обратите внимание, что ваш файл robots.txt доступен каждому. Запретить доступ к определенным разделам вашего сайта через него может сделать его злоумышленником.

Файл robots.txt для каждого домена или субдомена

Директивы в файле robots.txt могут быть применены только к хосту, на котором размещен файл.

примеров

http://example.com/robots.txt применим для http://example.com, но не для http: // www .example.com или для http: //example.com.

Как правило, желательно иметь только один файл robots.txt, доступный для домена или субдомена. Если у вас есть несколько файлов robots.txt, обязательно примените 301-перенаправления к каноническому файлу robots.txt.

Противоречивые правила: robots.txt против Google Search Console

Если ваш файл robots.txt конфликтует с настройками, определенными в консоли поиска Google, Google чаще всего предпочитает настройки в консоли поиска Google за счет директив robots.txt.

Следите за своим файлом robots.txt

Важно отслеживать изменения в файле robots.txt. В ContentKing мы видим много проблем, иногда очень серьезных для SEO, вызванных неправильными директивами или неожиданными изменениями в файле robots.txt. Это особенно верно при запуске новых функций или нового сайта, подготовленного в тестовой среде, поскольку они часто содержат следующий файл robots.txt:

Пользователь-агент: * Disallow: /

Мы создали история изменений файла robots.txt по этой причине.

Что вы делаете, когда ваш robots.txt изменяется?

Мы видим это постоянно: изменения в файлах robots.txt без ведома маркетинга. Не обманывайтесь. Начните отслеживать ваш файл robots.txt прямо сейчас и получайте оповещения, если есть изменения!

Не используйте noindex в вашем файле robots.txt

Использование директивы noindex в файле robots.txt не является официальным стандартом и Google не рекомендую это , Причина неясна, но мы предпочитаем (на этот раз) серьезно следовать их рекомендациям. Это кажется разумным, потому что:

• Трудно отследить страницы, которые не следует индексировать, если вы используете разные способы предотвращения индексации.
• Директива noindex не является надежной. Учтите, что Google не будет следовать 100%.
• Мы знаем только Google, который использует директиву noindex, которой не будут следовать другие поисковые системы.

Лучший способ заставить поисковые системы не индексировать страницу - это использовать метатег роботов или тэг X-роботов , Если вы не можете использовать их, и директива директивы robots.txt является вашим последним средством, вы можете использовать ее, но не ожидайте слишком многого. Так что вы не будете разочарованы.

Примеры файлов robots.txt

В этой главе мы представим широкий спектр примеров файлов robots.txt.

Все роботы могут исследовать все

Есть несколько способов сообщить поисковым системам, что они могут получить доступ ко всем файлам:

Пользователь-агент: * Disallow:

Или иметь пустой файл robots.txt или не иметь его.

Ни один робот не может получить доступ никуда

Пользователь-агент: * Disallow: /

Важно: еще один персонаж может изменить все.

Ни один робот из Google не может получить доступ никуда

Пользователь-агент: googlebot Disallow: /

Если вы заблокируете доступ для робота Googlebot, он будет заблокирован для всех роботов Google, включая роботов, которые ищут новости (googlebot-news) и изображения (googlebot-images).

Никакой робот Google, кроме новостей Googlebot, не может получить доступ никуда

Пользовательский агент: googlebot Disallow: Пользовательский агент: googlebot-news Disallow:

Googlebot и Slurp никуда не денутся

Пользователь-агент: Slurp Пользователь-агент: Google Disallow: /

Ни один робот не может получить доступ к двум каталогам

Агент пользователя: * Disallow: / admin / Disallow: / private /

Ни один робот не может получить доступ к конкретному файлу

Пользовательский агент: * Disallow: / directory / some-thing-pdf.pdf

Робот Google не может получить доступ к / admin /, а Slurp не может получить доступ к / private /

User-agent: googlebot Disallow: admin / User-agent: Slurp Disallow: / private /

Robots.txt файл для WordPress

Следующий файл robots.txt оптимизирован специально для WordPress:

• Раздел администратора не должен быть изучен.
• Внутренние страницы результатов поиска не должны быть изучены.
• Страницы тегов и страницы авторов не должны быть изучены.
• Страницы с кодом статуса 404 не должны сканироваться.

User-agent: * Disallow: / wp-admin / #hibit доступ к разделу Disallow Administrator: /wp-login.php #dict доступ к разделу Disallow Administrator: / search / # запрещено доступ к запрещенным страницам результатов внутреннего поиска: *? s = * # запрещаем доступ к запрещенным страницам результатов внутреннего поиска: *? p = * # запрещаем доступ к страницам, чьи постоянные ссылки не работают Disallow: * & p = * # запретить доступ к страницам, чьи постоянные ссылки не работают Disallow: * & preview = * # запретить доступ к предыдущим страницам Disallow: / tag / # запретить доступ к запрещенным тегам страницы: / author / # запретить доступ к страницам автора: / 404-error / # запретить доступ к страницам с кодом состояния 404 Карта сайта: https://www.example.com/sitemap_index.xml

Этот файл robots.txt работает в большинстве случаев, вы все равно должны каждый раз настраивать его для конкретной ситуации и тестировать.

Где находятся пределы файла robots.txt?

Файл Robots.txt содержит директивы

Хотя поисковые системы обычно следуют файлам robots.txt, они являются только директивами, а не приказами.

Страницы по-прежнему появляются в результатах поиска

Страницы, которые не доступны для поисковых систем из-за файла robots.txt, но которые в то же время имеют входящие ссылки, все еще можно просматривать в результатах поиска (если поисковые системы сканируют страницы содержащие ссылки на эти заблокированные страницы). Вот пример:

Совет для профессионалов: Вы можете удалить эти URL-адреса Google с помощью инструмента удаления URL-адресов консоли поиска Google. Эти URL будут удалены только временно. Если вы не хотите, чтобы они появлялись в результатах поиска, вы должны регулярно повторять это действие через 90 дней.

Кэширование

Google объявил, что файл robots.txt обычно кэшируется в течение 24 часов. Это следует учитывать при внесении изменений в файл robots.txt.

То, как другие поисковые системы выполняют кэширование файлов robots.txt, неясно, но обычно лучше не кэшировать ваш файл robots.txt, чтобы поисковые системы не кэшировали. занять больше времени, чем необходимо, чтобы заметить изменения.

Размер файла

В настоящее время Google поддерживает размер файла 500 кб для файлов robots.txt. Любой контент за пределами этого максимального размера может быть проигнорирован .

Не ясно, имеют ли другие поисковые системы максимальный размер для файлов robots.txt.

Часто задаваемые вопросы о файлах robots.txt

1. Помогает ли использование файла robots.txt поисковым системам просматривать заблокированные страницы в результатах поиска?
2. Должен ли я быть осторожным при использовании файла robots.txt?
3. Могут ли поисковые системы игнорировать файл robots.txt, изучая веб-сайт?
4. Исследуют ли поисковые системы мой сайт, если у меня нет файла robots.txt?
5. Могу ли я использовать Noindex вместо Disallow в моем файле robots.txt?
6. Какие поисковые системы уважают файлы robots.txt?
7. Как я могу запретить поисковым системам индексировать страницы результатов на моем сайте WordPress?

1. Запрещает ли использование файла robots.txt поисковым системам просматривать заблокированные страницы в результатах поиска?

Нет, она не останавливает это. Вот пример:

Важное замечание: Если страница заблокирована файлом robots.txt и в то же время содержит <meta name = "robots" content = "noindex, nofollow">, она останется в индексах поисковых систем, поскольку они не никогда не будет сообщать <meta name = "robots" content = "noindex, nofollow"> из-за запрещенного доступа к этой странице.

2. Должен ли я быть осторожным при использовании файла robots.txt?

Да, вы должны быть осторожны, но это не должно удерживать вас от его использования. Это отличный инструмент, который поможет поисковым системам грамотно сканировать ваш сайт.

3. Могут ли поисковые системы игнорировать файл robots.txt при изучении веб-сайта?

Теоретически да. Файлы Robots.txt являются только необязательными директивами.

4. Исследуют ли поисковые системы мой сайт, если у меня нет файла robots.txt?

Да. Если поисковые системы не могут найти файл robots.txt в корне вашего сайта (в каталоге верхнего уровня хоста), они думают, что их нет, и исследуют весь сайт. веб.

5. Могу ли я использовать Noindex вместо Disallow в моем файле robots.txt?

Нет, это не очень хорошая идея.

Google рекомендует не используйте директиву noindex в файлах robots.txt.

6. Какие поисковые системы уважают файлы robots.txt?

Мы точно знаем, что следующие поисковые системы уважают файлы robots.txt:

Чтобы поисковые системы не проиндексировали страницы результатов на вашем веб-сайте WordPress, необходимо добавить следующие директивы в файл robots.txt:

Пользовательский агент: * Disallow: /? S = Disallow: / search /

Дальнейшее чтение

Похожие

Комментарии