Результаты: тест на определение индекса Urls

1. Казуистика для индексации URL
2. Методология теста на дезиндексарные URL
3. Ответить 404 или 410
4. Удалить в консоли поиска Google
5. Добавить Meta Robots Noindex
6. Добавить мета роботов unavailable_after
7. Добавить Disallow в Robots.txt
8. Добавьте Noindex в Robots.txt
9. Управление параметрами в консоли поиска Google
10. Перенаправить 301 на 404 URL
11. Unindexed весь каталог
12. Результаты эксперимента

Поняв, что существует несколько методов для индексации URL-адресов, не очень известных или распространенных, мы решили провести небольшой тест, протестировав все методы, которые мы скомпилировали.

Первоначально этот пост охватывал 6 разных случаев, через 6 разных URL (если быть точнее, старые URL).

Казуистика для индексации URL

После интересного разговора с моим другом и отличного SEO Дэвид Эстев Мы подумали о том, чтобы сделать этот тест гораздо более полным, охватывающим 14 различных случаев.

Как только мы получим результаты каждого из них, мы отредактируем этот пост, рассказывающий о том, что мы видели, и делимся полученными результатами с журналами в руках и отслеживанием деиндекса в каждом случае.

Проанализированы следующие случаи:

Цели, которые мы преследуем с этими тестами:

Методология теста на дезиндексарные URL

Переосмысливая шаги, которые мы выполняем для анализа:

1. Мы создали URL для каждого теста, без css, входящие ссылки, все запускаются в одинаковых условиях.
2. Каждый URL имеет заголовок, описание, h1 и 3 абзаца текста.
3. Мы добавим карту сайта, специфичную для этих URL, в GSC и на которую ссылается robots.txt
4. Также будет добавлена ​​ссылка в нижний колонтитул или меню, указывающая на 2 созданные папки: «тесты» и «тест».
5. Индексирование всех URL будет запрошено 30 августа через консоль поиска Google.
6. После индексации мы добавим к каждому метод деиндексации, указанный в таблице.
7. Мы будем ежедневно просматривать журналы, чтобы увидеть, как Google следовал этим URL-адресам.
8. Мы рассмотрим индексирование 15 URL-адресов с помощью UrlProfiler два раза в день.
9. По мере получения результатов мы будем обновлять пост, чтобы поделиться результатами.

Ответить 404 или 410

Несмотря на то, что контент может продолжать отслеживаться при удалении URL-адреса, 410 может быть методом, созданным для случаев, когда контент снова не будет доступен.

Например, в циклах URL-адресов с чередованием или при наличии положительных SEO-сигналов, таких как ранжирование, органический трафик, обратные ссылки ... это не должен быть выбранный метод априори, а рассмотреть возможность повторного использования этих URL-адресов, перенаправления, обновления их контента и т. Д.

С помощью теста мы попытаемся увидеть различия между ответами 404 и 410 и тем, как это влияет на деиндексацию содержимого.

Однако природа кода ответа 410 придает ему характер «постоянный», поэтому априори в отсутствие результатов теста он должен быть тем, который быстрее удаляет содержимое индекса.

Тесты 1 и 2 избавят нас от сомнений.

Удалить в консоли поиска Google

Мы можем удалить URL через консоль поиска Google , перейдите в «Индекс Google»> «Удаление URL»

Это позволит нам выбрать вариант, который наилучшим образом соответствует тому, что мы хотим сделать:

• Временно скрыть URL результатов и кеш

Указывает, что это повлияет на вариации URL.

• Временно скрыть кеш URL

Эта опция не исключает его из результатов.

• Временно скрыть URL

Здесь это указывает, что если мы хотим, чтобы это было постоянно, мы используем один из рекомендуемых методов:

- Сделайте это приватным с логином

- Удалить его (404 0 410)

- Мета роботы Noindex и оставить его открытым для сканирования

С этой опцией мы запустим тест 4 , так что инструкция будет длиться 90 дней, а затем мы посмотрим, что произойдет: будет ли он снова проиндексирован или нет.

Вариант этого будет тест 3, так как после того , как мы используем «Удалить URL» в Google Search Console, позже мы заблокируем его в robots.txt, чтобы подтвердить, будет ли он переиндексирован или нет, учитывая, что Google предположительно не делает чтобы иметь возможность войти, чтобы увидеть содержимое тега meta robots, теория говорит, что он не должен индексировать его через 90 дней, мы посмотрим, какие результаты мы получим ...

Функция консоли поиска Google «Удалить URL» довольно эффективна и быстра, но, как и «Исследовать как Google», запрос выполняется один за другим.

[В комментариях несколько человек рекомендуют это расширение https://github.com/noitcudni/google-webmaster-tools-bulk-url-removal По моему опыту работы с плагинами такого типа, не решена необходимость индексации больших списков URL-адресов, поэтому для конкретных случаев ограниченных списков это может быть хорошим решением, как всегда, зависит!]

Добавить Meta Robots Noindex

Более чистый метод деиндексации, когда контент будет оставаться активным, ответив 200 OK, заключается в добавлении тега noindex мета-роботов, а также в том, чтобы не блокировать URL или каталог через robots.txt, поэтому мы должны убедиться, что новый тег виден. По крайней мере, это то, что теоретически рекомендуется Google Google

Чтобы использовать этот метод, мы добавляем тег в <head> рассматриваемого URL:

<meta name = "robots" content = "noindex" />

Если мы столкнулись с деиндексированием больших объемов URL-адресов с помощью этого метода, можно использовать вариант, чтобы найти способы ускорить отслеживание этих URL-адресов, то есть заставить Google посещать эти страницы, идея может быть:

• Создание определенной карты сайта для отслеживания и просмотра «noindex»
• Создание веб-карты с вовлеченными URL.
• Ссылки на веб-карту где-то очень отслеживаются.

В тесте 5 мы увидим, сколько времени потребуется для индексации URL-адреса, просто с помощью тега meta noindex.

В тесте 6 , в дополнение к добавлению noindex, мы будем использовать опцию «Удалить URL», чтобы подтвердить, если после 90 дней он останется деиндексированным или нет.

Добавить мета роботов unavailable_after

С 2007 года эта опция была объяснена Google в пост из вашего блога и что Лино уже опубликовал ваши тесты то.

Форма этикетки выглядит следующим образом:

<META NAME = "GOOGLEBOT" CONTENT = "unavailable_after: 25-Aug-2007 15:00:00 EST">

Таким образом, мы «просим» Google отменить содержание по состоянию на эту дату, в самой статье говорится, что для обработки запроса может потребоваться день или более.

Этот метод (и мета-роботов предыдущего пункта) также можно использовать через заголовки HTTP, вы можете увидеть документацию Google по этому вопросу: https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag?hl=es-419

Несомненно, эта опция может быть очень полезна для циклов URL, срок действия которых, как мы знаем, истекает, но по другим причинам мы не можем заставить их истечь с 410 как стек URL-адресов продуктов, которые ломают запасы.

Такие инструменты, как Screaming Frog, следуют содержанию этого тега, но не в используемом формате примера, а в общей директиве, например, таком синтаксисе, если он обнаружен «лягушкой»:

<meta name = "robots" content = "unavailable_after: 25 июня 2010 15:00:00 PST" />

Этот синтаксис НЕ обнаруживает это:

<meta name = "googlebot" content = "unavailable_after: 27-Aug-2017 23:45:00 GMT">

Тест 7 направлен на подтверждение того, работает ли этот ярлык для выборочной деиндексации с определенной даты, и мы намерены следить за тем, что происходит дальше, на уровне отслеживания и индексации.

Добавить Disallow в Robots.txt

Хотя технически это не метод деиндексации, но чтобы убедить роботов отслеживать определенный контент, иногда он используется как способ обесценить содержание сайта и уменьшить его отслеживание, но Google все меньше и меньше расставляет приоритеты.

В качестве базовой концепции SEO, стоит помнить работу и использование этого файла:

«(...) Если вам нужно убедиться, что URL не проиндексирован, используйте метатег robots или заголовок HTTP« X-Robots-Tag »

Больше информации на: https://support.google.com/webmasters/answer/7424835?hl=es&ref_topic=6061961 и https://support.google.com/webmasters/answer/6062608?hl=es

Продолжая тест 8 , в журналах будет наблюдаться, если он перестанет отслеживаться, и с течением времени, если он не будет проиндексирован или нет, кроме того, теоретически должен появиться в сниппете Google типичный «Описание этого сайта не показано» ..... "

Добавьте Noindex в Robots.txt

Теперь вы также можете указать инструкцию noindex в файле robots.txt такими строками:

Disallow: / example-page-1 /
Disallow: / example-page-2 /

Noindex: / example-page-1 /
Noindex: / example-page-2 /

Полезность этой маркировки, как указано в этот пост от DeepCrawl должен иметь возможность указывать директивы по шаблонам URL, очень чисто и быстро.

Продолжая тест 9 , мы хотим проверить, не является ли он неиндексированным с помощью этого метода, поскольку кажется, что это не «официальный» ярлык для Google, а несколько тестов, кажется, работает отлично.

В тесте 10 мы опустим инструкцию Disallow и будем использовать только Noindex в файле robots.txt, чтобы подтвердить, обязательно ли использовать обе строки или нет. Размышляя о странице, которую мы хотели бы проиндексировать с помощью тега «noindex» в <head> html, Google сам просит нас не блокировать с помощью robots.txt, однако этот «другой» метод, похоже, «требует» обе строки, это якобы блокирует сканирование и индексацию.

Посмотрим, что выйдет 🙂

Управление параметрами в консоли поиска Google

Другой вопрос, который необходимо проверить, - можем ли мы повлиять на деиндексацию контента, настроив параметры консоли поиска Google, указав этот параметр:

Подобно тому, как мы прокомментировали добавление «запретить», Google прекратит отслеживать и придаст важность этому содержимому, и, возможно, со временем, desindexar, мы поставили тест 11, чтобы подтвердить, что происходит с этими URL-адресами.

Чтобы немного скрутить завиток, к этой опции мы добавили вариант в тест 12, чтобы проверить, может ли использование параметров быть совместимым с использованием «Disallow» в файле robots.txt, предположительно для управления параметрами говорит "не отслеживать", заблокирует ли он доступ к Google и перестанет ли работать? Все неизвестно!

Перенаправить 301 на 404 URL

Другой любопытный сценарий, который мы хотим попробовать, - посмотреть, что происходит с перенаправлением, указывающим на 404, потому что, если оно не будет проиндексировано перед другими методами, которые мы прокомментировали, это может быть отличной альтернативой деиндексированию содержимого.

Тест 13 будет проверять, действительно ли он неиндексирован или нет, и сколько времени потребуется, чтобы сделать это. Мы также проверим, когда он прекратит отслеживать 404, так как мы 😀

Unindexed весь каталог

Чтобы закончить, мы подумали о том, чтобы подтвердить, если desindexandoíamos - это целый каталог, desindexaríamos - это URL-адреса, которые находятся внутри этого каталога.

Для этого теста 14 мы добавим Disallow и Noindex в robots.txt, и если нам удастся деиндексировать URL-адреса, висящие на этом пути, мы добьемся успеха и удалим сразу много проблем.

Результаты эксперимента

• Индексирование было запрошено 30 августа 2017 г.
• Декдексация была запрошена в 8 дней, 8 сентября 2017 года, каждый URL со своим методом.
• Мы анализировали журналы до того же 18 марта 2018 года.

Здесь мы показываем порядок, в котором они были проиндексированы, и некоторые другие данные, основанные на журналах сервера.

Рейтинг самых отслеживаемых выглядел бы так:

отражение

• Удаление с помощью Google Search Console, является самым быстрым, но, если вы не добавите другой метод, через 3 месяца вернется в индекс.
• Меня больше всего удивляет ярлык « unavailable_after» , потому что мы допустили ошибку с годом, и все же он был проиндексирован (вместо 2017 года мы ставим «unavailable_after: 22-Sep-2007 15:00:00 EST»).
• 410 осталось до 404
• Noindex и Disallow, приняли то же самое в desindexar
• Noindex в robots.txt, хотя Google подтвердил, что это не директива приложения, если он оказался неиндексированным, здесь больше людей, которые тестировали годы назад , несомненно, мы должны сосредоточиться на этом, чтобы получить более убедительные данные

• Чтобы проиндексировать весь каталог, стоит отметить, что один URL, а затем другой и сам каталог неиндексируются (с интервалом в 5 дней).
• Сегодня 3, 5 и 8 проиндексированы, но отображаются как результаты, опущенные в Google

• Сегодня индекс 4 снова проиндексирован, поскольку возможность удаления из консоли поиска Google, если она не сопровождается методом деиндексации, может быть снова проиндексирована (как это действительно происходило)

Сегодня, более чем когда-либо, мы ждем ваших комментариев, чтобы увидеть, было ли это то, что вы ожидали, если вы жили в разных ситуациях и можете вызвать дебаты по этому поводу

Мы надеемся провести больше экспериментов в ближайшее время, следите за обновлениями!

Похожие

Комментарии