SEO и индексация сайтов: теория и практика

1. Немного истории
2. Основы техники
3. Файл robots.txt
4. Файл sitemap.xml
5. Функционирование ползать (теория)
6. Симуляция ползания
7. Результаты сканирования
8. Использование результатов
9. Анализ структуры
10. Обнаружение аномалий
11. Бюджет сканирования
12. Как контролировать?
13. Анализ журнала (практика)
14. Обнаружение аномалий
15. Частота сканирования
16. Работа начинается
17. Скорее для больших сайтов
18. индексирование
19. Теория
20. практика
21. Итак, как контролируется индексация?
22. заключение
23. Идти дальше
24. Проверьте, правильно ли ваш сайт индексируется и индексируется движками

Всем известен знаменитый «триптих о SEO»: техника, контент и популярность. Задача технической части - обеспечить максимально возможную индексацию содержимого сайта. Мы увидим в этой статье различные проблемы индексации этого сайта.

Немного истории

Несколько миллионов веб-страниц публикуются каждый день. Google должен обязательно расставить приоритеты для одних индексов над другими. Наша работа - помочь ему ...

15 лет назад вам пришлось пытаться ссылаться. С тех пор появились системы управления контентом (такие как Drupal или Plone), которые взяли на себя часть технического бремени SEO (хорошо это или плохо, если на то пошло). Однако теперь часто проще проиндексировать сайт.

Более того, нередко можно увидеть проиндексированные опытные платформы, тестовые страницы, бесполезные страницы этих сайтов, созданные с помощью CMS, поскольку основные технические требования выполнены.

Сегодняшняя цель состоит в том, чтобы дифференцироваться, направляя и направляя маршрут индексирующих роботов на сайте.

Основы техники

Основной способ контролировать ход роботов на сайте - это использовать 2 известных файла даже начинающим в SEO:

Файл robots.txt

Этот файл позволяет запретить роботам посещать страницы вашего сайта, используя следующий синтаксис (который запретит весь ваш сайт с роботами):

Пользователь-агент: * Disallow: /

Вы можете увидеть более полный синтаксис на http://www.robotstxt.org/robotstxt.html , Некоторые синтаксисы собственный Googlebot другие понимают все роботы.

Внимание, этот файл НЕ напрямую контролирует индексацию: если многие ссылки указывают на страницу вашего сайта, которую робот не может посетить, все же возможно, что Google индексирует ее на основе информации о ссылках (включая текст ссылки). После этого в результатах поиска появится следующее сообщение:

Описание этого результата недоступно из-за файла robots.txt на этом сайте.

Примечание: есть упоминание об использовании директивы NOINDEX прямо в robots.txt но это явно не самое популярное решение для управления индексацией.

Файл sitemap.xml

Этот файл является картой сайта и позволяет подсказать движкам, какие страницы вы хотите сканировать. После того, как этот файл составлен правильно, его можно отправить в инструментах для веб-мастеров различных движков (Google Search Console, Bing Webmaster Tools, ...).

Я не обязательно с большим энтузиазмом отношусь к этим файлам, важность которых для небольших сайтов конкретно не обоснована или только если ваш сайт плохо создан, что в любом случае поставит вас перед другими проблемами ;-). Роботы (особенно Google) довольно эффективны на этих небольших сайтах.

С другой стороны, файл sitemap.xml полностью оправдан для больших сайтов или для того, чтобы указать, какие страницы, которые желает видеть сканер в приоритете, могут иметь совершенно другое значение.

Другой случай, когда файл очень важен, относится к сайтам, созданным с использованием Javascript-фреймворков, и где Google иногда не может просмотреть весь список важных URL-адресов сайта. Затем файл sitemap.xml будет использоваться для указания списка URL-адресов для просмотра и значительно расширит возможности индексирования вашего сайта.

Необходимо любой ценой избегать неправильной карты сайта (дубликаты, несуществующие URL-адреса и т. Д.), Чтобы не давать плохие сигналы индексирующим роботам.

Функционирование ползать (теория)

Сканирование - это термин, по которому мы определяем курс роботов на сайте. Его работа довольно проста: робот так или иначе восстанавливает URL (ссылку на другой сайт, открывая страницу в Chrome, ...), он посещает эту страницу, просматривает ее HTML-код, обнаруживает все ссылки (или, возможно, все, что выглядит как URL), помещает их в список ... и затем переходит к следующей странице своего списка.

Симуляция ползания

Поэтому первым шагом технического аудита сайта [LINK] является моделирование прохождения робота на сайте. Многие программы могут сделать это:

• ScreamingFrog SEO Spider , которая не является свободным программным обеспечением (бесплатна для сканирования менее 500 страниц), но имеет преимущество работы на Linux. Это, наверное, самый используемый в мире SEO сегодня;
• BeamUsUp бесплатно;
• Botify (Saas), стартап (французский), который идет вверх;
• Oncrawl (Saas), который охватывает тот же домен, что и Botify;
• Cocon.Se (Saas), французский и перспективный;
• Или вы можете разработать свои собственные, например, на Python, библиотеки или продукты с открытым исходным кодом многочисленны.

Вы обнаружите, что многие компании развиваются в этой области, это эпоха массового анализа данных для SEO. Платформы в Saas становятся неизбежными, как только сайты увеличиваются в размерах, категория ссылок называется «SEO Enterprise».

Результаты сканирования

Мы получаем список URL-адресов сайта (что иногда может нас удивить, потому что через некоторое время мы забываем о страницах и наконец плохо знаем его сайт). Мы также получаем статистику по тегам TITLE, описанию META, H1, H2, canonical, ... а также по списку внутренних ссылок на нашем сайте.

Здесь мы заметили, что на некоторых страницах есть несколько тегов TITLE, и особенно, что многие страницы имеют одинаковый заголовок: это потому, что сайт имеет ежегодное издание, и что год не появляется на страницах TITLE (когда аудита, мы могли бы предложить исправить это).

Мы также получаем другую информацию, такую ​​как средняя глубина сайта, производительность, ...
Глубина страниц сайта "Кодеры в Сене"

Представление страниц сайта "Кодеры в Сене"

Использование результатов

Чтобы лучше понять внутреннюю структуру сайта, мы используем программное обеспечение с открытым исходным кодом Gephi который графически представляет отношения сети элементов. Здесь элементами являются страницы вашего сайта, и мы стремимся выделить внутренние ссылки между этими страницами.

Кроме того, Gephi позволяет использовать математические алгоритмы, такие как Page Rank, для оценки относительной важности страниц или модульности для оценки их близости.

Анализ структуры

Мы уже говорили в предыдущей статье анализ структуры сайта с помощью Gephi , Мы также объясняем Методология для достижения такого рода графика в другой статье.

Вот рендеринг для сайта Codeurs en Seine:

Мы различаем бункеры (каждый «кластер»), образованные каждым годом, довольно независимые друг от друга (географически разделены, а сами цвета хорошо изолированы). Именно к этому результату мы будем стремиться к оптимальной идентификации наших силосов с помощью двигателей.

Обнаружение аномалий

Но мы также можем использовать его для обнаружения аномалий быстрее, чем передавая URL каждого сайта один за другим (особенно на больших сайтах).

Например, на сайте одного из моих клиентов я наблюдал следующий графический рендеринг (размер точки указывает на внутренний рейтинг страницы, цвет - коэффициент модульности):

Непосредственно наблюдается, что у сайта, кажется, есть 4 части ... в то время как у этого фактически есть только 3. Заинтригованный этой аномалией, я обнаружил, что все URL пурпурной части ("опухоль" на левая часть изображения) пришла из календаря домашней страницы:

В этом календаре мы действительно можем вернуться назад или перейти от месяца к месяцу, из года в год, без ограничения даты ... Это называется ловушкой для пауков (ловушка для роботов поисковых систем) , Вы столкнетесь с той же проблемой с бесконечной пагинацией, многогранными фильтрами, порядок параметров которых не всегда одинаков, ...

Поскольку этот календарь был на главной странице, самой важной странице сайта, Google добросовестно просматривает ссылки одну за другой. Я также заметил в своем анализе, что он вернулся в 1356 и пошел в 2300 ... Священный Google, ничто не останавливает его!

Хотя все это время сайт может быть выгодно посвящен «реальным» страницам сайта, более интересным для посетителей ... и в других местах:

Бюджет сканирования

Сколько страниц Google может сканировать в день на вашем сайте? Google устанавливает лимит страниц для просмотра каждый день на вашем сайте. Конечно, это зависит от популярности страниц и в целом от вашего сайта, но это также зависит от производительности вашего сайта: это то, что Google называет нагрузкой на хост : сколько он может загрузить ваш сайт?

Мы постараемся максимально повысить эффективность сайта, чтобы лучше не помещать его в результаты поиска, а чтобы Google каждый день мог просматривать больше страниц и учитывать все изменения, которые вы вносите на своем сайте.

В моих тестах вы должны ориентироваться на 400 мс или меньше времени отклика для HTML сайта. Это приведет к резкому увеличению числа страниц, посещаемых роботами (см. Этот график из Botify статья ):

Как контролировать?

Вы можете немного проверить, что делает Google, используя консоль поиска и ее отчет о статистике сканирования :

Внимание, этот номер содержит все файлы вашего сайта (включая CSS, JS, PDF, ...) и представляет собой курс всех роботов Google: GoogleBot, GoogleNews, Google Mobile, а также все коды возврата (301, 200, 404, ...). Мы должны идти дальше!

Анализ журнала (практика)

Одним из технических аспектов, который чрезвычайно сильно развивается с 2014 года, является анализ логов вашего сайта. Часто снова используются существующие инструменты:

Затем мы получаем список URL-адресов, просматриваемых роботами, в соответствии с датами:

Здесь события представляют собой количество посещений роботов, URL-адреса - количество пройденных URL-адресов, при этом отмечается, что роботы просматривают определенные URL-адреса несколько раз в день, причем события превышают URL-адреса . Цвета обозначают разных роботов (GoogleBot, BingBot, GoogleNews, GoogleMobile, Baidu, ...).

Обнаружение аномалий

Затем можно обойти данные с помощью сканирования, чтобы обнаружить неиспользованные URL-адреса, URL-адреса, просматриваемые, когда они не существуют, ... (страницы 404 сканируются часто, поскольку они пользуются большой популярностью, поскольку URL со старого сайта не перенаправляются). Конечно, мы сосредоточимся на исправлении этих технических проблем.

Частота сканирования

Но вы также можете использовать эти журналы, чтобы определить, к какому «слою» вашего сайта относится каждая страница. В основном, Google в основном различает 3 слоя:

• «Реальное время» (он сканирует страницу несколько раз в день);
• «Ежедневно» (он просматривает страницу один раз в день);
• а остальные ... также разделены на несколько подсегментов (начиная с «активных» страниц и «неактивных» страниц, «активных» страниц, представляющих страницы, которые вызывают посещения из результатов поиска).

Страницы на вашем сайте перемещаются между этими слоями по мере изменения ваших изменений на этих страницах.

Работа начинается

Из этих журналов можно определить, на каком слое находятся URL-адреса вашего сайта, то есть относительная важность, которую Google придает этим URL-адресам.

Вы также должны очистить то, что лежит вокруг (например, 404-е регулярно сканируются, чтобы быть перенаправленными, если это возможно, на эквивалентную страницу).

Скорее для больших сайтов

«Я никогда не видел и никогда не работал с большим сайтом, где улучшение пропускной способности сканирования не означало значительного увеличения органического поискового трафика» (в статье Рэнд Фишкин ).

Выигрыш будет больше / заметен на больших сайтах, даже если какой-либо сайт сможет извлечь выгоду из этих методов.

индексирование

Мы видели механизмы, связанные с сканированием , но как насчет индексации?

Теория

Все, что сканируется, индексируется.

практика

Уже ... все НЕ сканируется ... и с точки зрения индексации Google выбирает страницы, которые он считает заслуживающими быть в своем индексе.

Например (на сайте, отличном от сайтов, упомянутых выше), вы можете увидеть количество страниц, проиндексированных в консоли поиска Google («Статус индекса»):

Или непосредственно в Google, с помощью команды site: domain:

Примечание: 2 снимка были сделаны в разное время жизни сайта).

Но ... Google разделяет страницы на 2 индекса: «первичный» и «вторичный». Можно получить быстрый обзор, пытаясь пройти как можно дальше на страницах результатов предыдущей команды. Через некоторое время Google отображает сообщение, похожее на это:

Здесь, на 2050 страницах, Google считает, что только 500 достойны интереса, другие включают слишком много похожего контента или, по крайней мере, недостаточно контента, чтобы отличать их друг от друга. Тогда возникает вопрос: «Ваши посетители что-то изменили? Потому что с 1/4 страницами сайта только интересно ... Пора что-то делать, верно?

Итак, как контролируется индексация?

Мы не можем решить быть в первичном или вторичном индексе, это решают только качество и популярность наших страниц. Однако мы можем запретить Google индексировать страницы, которые мы считаем «бесполезными» (поскольку контент не предназначен для позиционирования в поисковых системах, только для посетителей). В этом случае мы используем мета-тег robots на рассматриваемой странице: <META name = "robots" value = "NOINDEX">.

заключение

У нас есть много инструментов, чтобы предоставить нам много данных по индексации нашего сайта. Все эти данные могут привести к различным анализам, в зависимости от сайта, их структуры, содержания, технической поддержки, ... Но в любом случае вы найдете вещи, которые можно улучшить на вашем сайте ;-)

Идти дальше

Вот статьи, которые вдохновили эту конференцию и позволят вам немного развить темы, затронутые здесь:

Проверьте, правильно ли ваш сайт индексируется и индексируется движками

Не стесняйтесь, попросите нас о проверке !

Похожие

Комментарии