15 способов оптимизировать бюджет сканирования для SEO

1. 1. Настройте консоль поиска Google и инструменты Bing для веб-мастеров.
2. 2. Убедитесь, что ваши страницы просматриваются
3. 3. Используйте файл Robots.txt
4. 4. Уменьшите цепи перенаправления
5. 5. Очистите свои неработающие ссылки
6. 6. Аудит и обновление вашей карты сайта
7. 7. Расскажите поисковым системам, как обрабатывать параметры в ваших URL
8. 8. Используйте каналы в ваших интересах
9. 9 и 10. Определите страницы с низким трафиком и обогатите свой сайт внутренними ссылками
10. 11. Сосредоточьтесь на создании внешних ссылок
11. 12. Повысьте скорость вашего сервера
12. 13. Оптимизируйте скорость загрузки вашей страницы
13. 14. Избегайте AMP, пока вы не контролируете
14. 15. Взять под контроль
15. Слишком долго; Не читал?

Оптимизация бюджета сканирования поможет поисковым системам сканировать и индексировать наиболее важные страницы вашего сайта. Вот 15 советов, которые помогут вам взять под контроль индексацию вашего сайта и направить поисковые системы на ваш самый ценный контент.

Прочитав этот пост, вы узнаете все, что нужно знать о бюджете сканирования, составите список задач, чтобы начать оптимизировать свой бюджет и быть на пути к повышению скорости сканирования. Начнем с актуального вопроса. , ,

Ваш бюджет сканирования - это точное количество раз, когда поисковая система, такая как Google или Bing, сканирует ваш сайт за определенный период времени . Например, если робот Googlebot сканирует ваш веб-сайт 50 раз в день, мы можем экстраполировать его, чтобы ежемесячный бюджет составлял примерно 1500. Лучше всего начать с определения месячного бюджета сканирования - использовать Google Search Console а также Инструменты Bing для веб-мастеров ,

Поисковые системы используют ботов-роботов (известных как пауки), чтобы просматривать каждую веб-страницу в Интернете, собирать информацию и затем добавлять их в свой индекс поисковой системы. В дополнение к расшифровке информации на странице, боты также смотрят внутренние и внешние ссылки сайта, чтобы помочь лучше понять веб-страницы.

Два самых распространенных бота Googlebot а также Bingbot ,

Как часто вы настраивали веб-сайт в инструментах для веб-мастеров, отправляли его на сканирование и потом забывали об этом? Эта практика очень рискованная - вы, по сути, говорите поисковым системам, чтобы они разбирались в ваших страницах, предполагая, что все страницы будут обрабатываться одинаково, а ваш лучший контент будет проиндексирован. В действительности вы можете видеть, что некоторые страницы не индексируются, а сканеры могут не достигать вашего лучшего содержания или могут ограничивать видимость результатов поиска для ваших целевых ключевых слов.

Оптимизация бюджета сканирования позволяет вам контролировать, какие страницы индексируют поисковые системы, направлять ботов поисковых систем на ваши наиболее ценные страницы и обеспечивать максимально возможное увеличение бюджета.

Давайте использовать консоль поиска Google в качестве примера. Перейдите в меню «Сканирование»> «Статистика сканирования», чтобы найти число страниц, просканированных за день, как показано красным цветом ниже:

Получив эту цифру, умножьте ее на 30 и получите месячный бюджет сканирования.

Важно помнить, что оптимизация бюджета обхода контента не совсем совпадает с SEO. Эта практика предназначена для того, чтобы сделать ваши страницы более заметными для поисковых систем, что в конечном итоге повлияет на ваш рейтинг в поисковых системах; однако он предназначен исключительно для ботов, а не людей.

Итак, теперь вы знаете, каков ваш бюджет сканирования - давайте рассмотрим 15 способов оптимизации вашего бюджета, чтобы сделать ваш сайт максимально доступным для сканирования поисковыми роботами.

1. Настройте консоль поиска Google и инструменты Bing для веб-мастеров.

Прежде всего, давайте посмотрим, как определяются эти два инструмента:

Консоль поиска Google - «Бесплатный сервис, предлагаемый Google, который помогает вам отслеживать и поддерживать присутствие вашего сайта в результатах поиска Google»

Инструменты для веб-мастеров Bing - «Бесплатная служба в составе поисковой системы Microsoft Bing, которая позволяет веб-мастерам добавлять свои веб-сайты в поисковый индексатор Bing»

Как упоминалось ранее, Google Search Console и Bing Webmaster Tools должны быть отправной точкой при определении бюджета сканирования. Эти инструменты позволяют увидеть, сколько страниц сканируется на вашем сайте в день, с разбивкой по максимуму, среднему и низкому значениям следующим образом:

Чтобы иметь достаточно данных, используйте ежемесячный бюджет сканирования. Помимо сканирования данных, эти инструменты предоставляют вам доступ к ряду технических отчетов, таких как:

• Ошибки сайта
• Параметры URL
• Индекс статуса
• Заблокированные ресурсы
• Удалить URL

Настройте их и осмотрите, есть некоторые действительно полезные ресурсы - это Руководство по поисковой консоли Google это отличная отправная точка.

2. Убедитесь, что ваши страницы просматриваются

Чтобы поисковые системы могли без проблем сканировать ваш сайт, выполните следующие действия:

1. Будьте осторожны при использовании Flash и AJAX (особенно в вашей навигации)
   Flash и AJAX ни в коем случае не плохи, однако они влияют на просматриваемость вашего сайта. Как правило, избегайте использования обоих в своей навигации - это усложнит для поисковых систем сканирование вашего сайта.
2. Избегайте использования Javascript в вашей навигации
   В 2007, Google заявил что « пока мы работаем над тем, чтобы лучше понимать JavaScript, лучшим вариантом для создания сайта, который может сканироваться Google и другими поисковыми системами, является предоставление HTML-ссылок на ваш контент». Как и в случае с Flash и AJAX, если вы используете его, убедитесь, что он легко сканировать и не используется в навигации вашего сайта.
3. Используйте четкие, не динамические URL
   Динамические URL-адреса (любой URL-адрес с не алфавитным / числовым символом) в некоторых случаях являются необходимостью, например, при управлении крупным магазином электронной коммерции может оказаться затруднительным иметь структуру URL-адреса, которая не содержит вопросительные знаки из-за базы данных. уважать. Однако длина этого URL-адреса может управляться (в большинстве случаев) и напрямую влияет на возможность просмотра ваших веб-страниц. Google сказал : «Не каждый паук поисковой системы сканирует как динамические, так и статические страницы. Это помогает сохранять параметры короткими, а их число - небольшим ». Если у вас есть динамические URL-адреса, используйте их как можно короче, чтобы поисковые системы могли сканировать ваши веб-страницы.
4. Убедитесь, что ваша карта сайта всегда актуальна
   XML Sitemap - это список ваших URL-адресов, которые могут быть отправлены поисковым системам для индексации, но ни в коем случае не является заменой для хорошей навигации по сайту. Это можно отправить через Консоль поиска Google и Инструменты Bing для веб-мастеров, и это отличный способ помочь ботам пройти через ваш сайт.

3. Используйте файл Robots.txt

Robots.txt - это простой текстовый файл, который позволяет инструктировать роботов поисковых систем, как сканировать ваш сайт. Моз обеспечивает отличный шпаргалка на robots.txt который охватывает углубленное форматирование и теги. Общие настройки включают в себя:

• Блокировка доступа (Disallow: /)
• Блокировка папок (Disallow: / folder /)
• Блокировка файлов (Disallow: /file.html)

Определенные части вашего веб-сайта не будут нуждаться в индексации, но все равно будут иметь право показываться в результатах поиска - именно здесь появляется файл robots.txt, который помогает информировать поисковые системы и облегчает процесс сканирования.

4. Уменьшите цепи перенаправления

Каждый раз, когда вы перенаправляете страницу, расходуется немного вашего бюджета сканирования. Наличие большого количества переадресаций 301/302 в последовательности может привести к тому, что робот Googlebot / Bingbot отключится до того, как они достигнут страницы, которую вы хотите сканировать. Как правило - сводите перенаправления к минимуму, и если вы их используете, убедитесь, что в цепочке перенаправлений не более двух. Более того, существует риск пропустить индексирование!

5. Очистите свои неработающие ссылки

Теперь у вас настроены Консоль поиска Google и Инструменты Bing для веб-мастеров, вы можете получить доступ к отчету о неработающих ссылках в консоли поиска. Перейдите в Crawl> Crawl Errors и вы увидите отчет, похожий на этот:

В Bing перейдите в раздел Отчеты и данные> Информация о сканировании, и вы увидите такой отчет:

Эти отчеты будут определять ваши неработающие ссылки, независимо от того, являются ли они 404, 301 или 302 - вам нужно будет отсортировать эти ссылки, чтобы сканеры поисковых систем работали плавно при сканировании вашего веб-сайта. Как только бот попадает на вашу страницу и нажимает на неработающую ссылку, он просто переходит на следующую, что означает, что исходная страница, содержащая неработающую ссылку, не будет сканироваться.

6. Аудит и обновление вашей карты сайта

Google определяет файл Sitemap как «Файл, в котором вы можете перечислить веб-страницы вашего сайта, чтобы сообщить Google и другим поисковым системам об организации содержания вашего сайта. Сканеры поисковых систем, такие как Googlebot, читают этот файл, чтобы более разумно сканировать ваш сайт ». Файлы Sitemap также предоставляют метаданные, связанные с вашими страницами, например, когда оно обновлялось в последний раз, как часто страница изменяется и важность страницы в иерархии вашего сайта. сайт.

Если у вас нет карты сайта, перейдите на Проверьте Домен Sitemap Generator , вставьте URL своего сайта в поле заголовка и создайте свою карту сайта. Если у вас есть карта сайта, зайдите в файл и найдите ненужные перенаправления, заблокированные страницы, дублированный контент и т. Д. После очистки карты сайта перейдите в Google Search Console и Bing Webmaster Tools, где вы можете отправить свой файл для проверка. Отсюда загрузите этот файл в корневой домен вашего сайта, например, www.mysite.com/sitemap.xml, и все готово.

В зависимости от вашей CMS, вы можете получить плагин карты сайта, такой как Yoast это автоматически сгенерирует карту сайта при добавлении или удалении страниц. В качестве дополнительного примечания, карты сайта также могут быть включены в навигацию по сайту, чтобы пользователи могли просматривать каждую страницу вашего сайта, Zavvi используйте это хорошо:

Наличие карты сайта не сильно повысит ваш рейтинг, но определенно поможет поисковым системам понять ваш сайт.

7. Расскажите поисковым системам, как обрабатывать параметры в ваших URL

Консоль поиска Google и инструменты Bing для веб-мастеров позволяют классифицировать определенные параметры из ваших URL-адресов, чтобы облегчить процесс сканирования. Если у вас настроены теги UTM или вы отправляете почтовые кампании, которые ссылаются на ваш сайт, к этим ссылкам обычно добавляется дополнительная информация, добавляемая в конец URL-адреса, - в большинстве случаев вы не захотите индексировать эту страницу, поскольку это приведет к дублированию контента.

В свете этого поисковые системы позволяют вам определять, какие параметры индексировать, а какие игнорировать. Google Search Console - отличное место для начала. Перейдите в Crawl> URL Parameters, и вы увидите отчет, похожий на этот:

Информация в этой таблице была автоматически сгенерирована Google, она содержит настраиваемые параметры, которые регулярно появляются в ваших URL. Здесь вы можете отредактировать предложения и добавить новые параметры, чтобы избежать индексации дублирующих страниц.

Следует помнить одну вещь - использование инструментов параметров URL-адресов указывает поисковым системам, какие страницы сканировать / не сканировать, поэтому используйте это с осторожностью или обратитесь за помощью к SEO эксперт ,

8. Используйте каналы в ваших интересах

В соответствии с Google «Каналы позволяют крупным и маленьким веб-сайтам распространять свой контент гораздо лучше, чем просто посетители, использующие браузеры. Ленты позволяют подписку на регулярные обновления, автоматически доставляемые через веб-портал, программу чтения новостей или, в некоторых случаях, старые добрые письма ».

Типы каналов включают RSS, XML и Atom. Например, если вы работаете в индустрии цифрового маркетинга и хотите получать единую ленту последних сообщений от Журнал поисковой системы , Часы поисковой системы а также Мос - вы можете создать канал, который объединяет все эти публикации.

Каналы полезны для поисковых роботов, поскольку они являются одними из самых посещаемых веб-сайтов поисковыми роботами. Как только вы публикуете новый контент (продукты, услуги, блоги и т. Д.), Вы можете отправить его на горелка подачи дать поисковикам голову о свежем контенте и сказать им, что вы хотите его индексировать!

9 и 10. Определите страницы с низким трафиком и обогатите свой сайт внутренними ссылками

Внутренние ссылки - это фантастическая техника SEO, соединяющая одну страницу вашего сайта с другой может:

• Улучшите вашу навигацию
• Увеличить вовлеченность пользователей
• Распределяет авторитет страницы

Взять, к примеру, Википедию:

Вы когда-нибудь просматривали тему в Википедии, нажимали на несколько внутренних ссылок и, прежде чем узнали, что это закончилось где-то совершенно иначе? Эта практика может быть применена к любому веб-сайту, добавление внутренних ссылок может помочь пользователю перемещаться по контенту, и то же самое относится к сканерам - эти внутренние ссылки обеспечивают пути для пауков для просмотра вашего сайта.

Внутренние ссылки в целом хороши, однако есть еще несколько вещей, которые следует учитывать:

• Определите свои страницы с низким трафиком : найдите страницы с низким трафиком за последние 12 месяцев и определите, где они связаны внутри. Если качество контента низкое, то на самом деле нет особого смысла ссылаться на него. Временно удалите ссылки, пока не обновите содержимое. Как только вы начнете видеть больше трафика, примерно через шесть-12 месяцев, вы сможете связываться с ними.
• Отдайте предпочтение своим верхним страницам: это страницы с вашим контентом высшего качества, самыми высокими показателями вовлеченности и т. Д. Определите страницы, которые приносят доход вашему бизнесу, и укажите ссылки на них больше, чем на другие страницы, чтобы сканеры могли чаще просматривать топ-страницы. Связывая больше с высококачественными страницами и передавая больше ссылок на эти страницы, вы увидите, что они обычно начинают иметь более высокий рейтинг, и сканеры будут индексировать эти страницы чаще.
• Не распространяйте свои внутренние ссылки слишком тонко: в идеале вы хотите, чтобы пользователи и сканеры находили все ваши веб-страницы. Однако для поисковых систем более ценно ссылаться на ваши страницы с большим трафиком, которые содержат ваш лучший контент. Пока вы определяете причины, по которым страницы с низким трафиком недостаточно эффективны, вы можете постепенно возвращать эти ссылки на сайт.

Если у вас очень большой веб-сайт (более 1000 страниц), маловероятно, что каждая отдельная страница будет привлекать большое количество трафика. Тем не менее, эти страницы полезны для ваших пользователей. В этой ситуации вы можете создать внутреннюю ссылку на эти страницы и попросить сканеры поисковых систем их игнорировать. Например, если у вас есть страницы с тонким содержимым (например, менее 100 слов), которые представляют ценность для ваших пользователей, но не для поисковых систем, вы можете заблокировать эти страницы от поисковых роботов поисковых систем. Вы обнаружите, что сканеры поисковых систем переходят на более подробные страницы с высоким содержанием, что может привести к увеличению видимости.

Для получения дополнительной информации обратитесь к этому удивительному сообщению на как внутренние ссылки могут улучшить ваш SEO ,

11. Сосредоточьтесь на создании внешних ссылок

Создание ссылок - и в обозримом будущем - ядро ​​поисковой оптимизации. SEO евангелист Падди Муган определено создание ссылок как:

«Процесс приобретения гиперссылок с других веб-сайтов на ваш собственный.» ( Мос )

Евгений Хутарнюк ( Link Assistant ) провели изучение выяснить, существует ли корреляция между количеством внешних ссылок на веб-сайте и количеством посещений, полученных поисковиками. В результате анализа 11 сайтов и измерения хитов Gooblebot, внутренних и внешних ссылок была обнаружена сильная корреляция между количеством посещений веб-сайта пауком поисковой системы и количеством внешних ссылок . В дополнение к этому, исследование показало, что корреляция между внутренними ссылками и количеством посещений сайта пауком слабая. Четкое определение внешних обратных ссылок является важным фактором, заставляющим роботов поисковых систем сканировать ваш сайт.

Есть несколько методов для построения ссылок. Ради этого поста я не буду вдаваться в подробности, но вот 5 советов, как начать строить ссылки ,

12. Повысьте скорость вашего сервера

Чем быстрее ваш сервер отвечает на запрос страницы, тем больше страниц будут сканировать поисковые системы. Не экономьте на своем хостинге, возможно, вы ограничиваете скорость и количество просматриваемых страниц. По мере того, как бот сканирует каждую страницу вашего сайта, он будет оказывать определенную нагрузку на ваш сервер, чем больше у вас страниц - тем больше нагрузка. Это ограничит количество страниц, которые будут проиндексированы.

Одна из главных причин, по которой поисковые системы медленно сканируют сайты, связана с самим сайтом. Однако, если вы заметили, что робот Google напрямую влияет на время загрузки вашего сервера, вы можете изменить скорость сканирования в поисковой консоли. Чтобы получить доступ к этому, перейдите в «Настройки сайта»> «Скорость сканирования» и выберите «Ограничить максимальную скорость сканирования Google» следующим образом:

Отсюда вы можете увеличить / уменьшить скорость, с которой Google сканирует ваш сайт, если робот Google замедляет работу вашего сервера. Этот инструмент следует использовать с осторожностью, и мы настоятельно рекомендуем сопоставить ваш сервер с вашими целями, а не изменять частоту сканирования с сервера ниже среднего.

13. Оптимизируйте скорость загрузки вашей страницы

Чтобы проверить скорость вашей страницы, перейдите к Понимание скорости страниц , это будет определять скорость нескольких элементов на вашем сайте на нескольких устройствах. Это не только удобно для оптимизации вашего пользовательского опыта, но также помогает оценить медленную / быструю загрузку страниц, чтобы оптимизировать бюджет сканирования. Влияние скорости страницы можно увидеть в эта учеба от Шон Уорк (Kissmetrics), который показывает корреляцию между загрузкой страницы и оставлением:

Мы можем видеть, что за каждую секунду страницы загружается пошаговый отказ по экспоненте. Теперь подумайте об этом графике с точки зрения поисковых роботов поисковых систем: чем дольше загружается страница, тем дольше сканер будет индексировать ваш сайт, что приведет к исчерпанию бюджета сканирования и потенциально может привести к тому, что важные страницы не будут проиндексированы. ,

14. Избегайте AMP, пока вы не контролируете

Ускоренные мобильные страницы ( AMP ), которые предназначены для создания очень быстрых мобильных страниц для пользователей, были горячей темой цифрового маркетинга в течение прошлого года. Эти страницы по сути представляют собой урезанную форму HTML, которую вы можете показывать вместо обычной версии своей страницы. AMP ни в коем случае не являются заменой адаптивный дизайн - они являются дополнением.

Причина, по которой AMP включен в этот пост, заключается в том, что вы будете создавать две версии каждой веб-страницы, что, в свою очередь, удвоит ваш бюджет сканирования. AMP работает, создавая отдельный URL для каждой страницы, например, вы должны иметь: mysite.com/stuff/ и mysite.com/stuff/amp/. Вот пример:

Обычная страница :

AMP Page :

Внедрение AMP удвоит работу для поисковых систем. Поэтому, прежде чем приступить к использованию AMP, убедитесь, что вы решили все проблемы с бюджетом сканирования и уверены, что добавляя эти страницы, вы не будете создавать больше работы.

15. Взять под контроль

Оптимизация бюджета сканирования должна быть непрерывным процессом, который выходит за рамки простого перехода в консоль поиска Google и отправка сайта ваших клиентов для индексации , Потратьте время, чтобы определить свой бюджет сканирования и понять, как эта цифра соотносится с целями вашего веб-сайта. Существует ряд методов, которые могут помочь оптимизировать ваш бюджет сканирования, и, хотя они требуют времени и требуют осторожности и внимания, они в конечном итоге будут стоить усилий.

Слишком долго; Не читал?

Бюджет сканирования - это количество раз, которое поисковая система сканирует ваш сайт в течение определенного периода времени. Это число варьируется от одного веб-сайта к другому и напрямую влияет на количество страниц, которые будут проиндексированы. Есть несколько способов оптимизировать бюджет сканирования, чтобы увеличить количество полученных сканирований и получать более быстрые обновления при создании нового контента. 15 советов, упомянутых в этом посте:

1. Настройка консоли поиска Google и инструментов Bing для веб-мастеров
2. Убедитесь, что ваши страницы просматриваются
3. Использование файла robots.txt
4. Сокращение цепочек перенаправления
5. Очистка битых ссылок
6. Аудит и обновление вашей карты сайта
7. Учет поисковых систем, как обрабатывать пользовательские параметры
8. Использование каналов в ваших интересах
9 и 10. Идентификация страниц с низким трафиком и обогащение вашего сайта внутренними ссылками
11. Создание внешних ссылок
12. Улучшение скорости сервера
13. Оптимизация скорости загрузки вашей страницы
14. Как избежать AMP (пока)
15. Взять под контроль!

Оптимизация бюджета сканирования требует довольно высокого уровня технических знаний, чем больше сайт, тем важнее он становится, и с помощью упомянутых выше советов вы сможете начать с нуля. Если вы тонете в море серверных логов и тестов скорости страниц, у нас есть технические эксперты под рукой, чтобы сделать это бризом.

Похожие

Комментарии