Как звезды наверху: построение структуры сайта с помощью Gephi

1. Почему важна структура сайта?
2. возможности сканирования
3. Поток PageRank
4. Пользовательский опыт
5. Gephi
6. Предварительные условия: данные сканирования
7. Пошаговые инструкции
8. Фильтрация (необязательно)
9. Статистика
10. раскладка
11. Другие твики
12. Посмотрите свой сайт с помощью Google Goggles - Pagerank Расчет
13. Ограничения
14. Так может ли Джефи сделать это для меня?
15. Бонус! Ползучая тепловая карта
16. Как вы готовите один?
17. Завершение

Задумывались ли вы, как Google видит ваш сайт? В этой статье я покажу вам, как визуализировать основные связи между вашей веб-страницей. Вы сможете достичь таких результатов:

И это:

Как только вы узнаете, как сделать эти визуализации, я дам вам несколько советов о том, что вы можете делать с этой информацией.

Давайте начнем…

Почему важна структура сайта?

Существуют три основных фактора, определяемых структурой вашего сайта: 1) Crawlability, 2) Поток PageRank и 3) Пользовательский опыт.

возможности сканирования

Это мера того, как легко посетить все страницы веб-сайта. Боты умные, но даже в современных алгоритмах нет другого способа посетить страницу, кроме как перейти по ссылке. Если путь ссылки на некоторые страницы с домашней страницы длинный или нет альтернативных маршрутов, страница может сканироваться редко или вообще не сканироваться!

Поток PageRank

PageRank является одним из алгоритмов, используемых Google для определения значения страницы. Каждая страница в сети разделяет ценность с другими страницами через ссылки. Хотя у вас нет прямого контроля над внешними ссылками, вы должны сделать все возможное, чтобы обеспечить хорошее внутреннее «общение» для ваших важных страниц. Страницы в хороших районах конкурируют лучше.

Чтобы было ясно, мы можем только измерить внутренний поток PageRank. Другие факторы, такие как внешние ссылки, могут влиять на это.

Пользовательский опыт

Вы когда-нибудь посещали страницу, а потом не могли найти ее снова, когда хотели вернуться к ней? Вы когда-нибудь были удивлены, обнаружив «скрытый раздел» сайта, который был плохо связан? Или, может быть, вы оказались залитые внутренними ссылками? Анализ структуры позволяет легко идентифицировать части веб-сайта или типы страниц, которые плохо или широко связаны между собой.

Gephi

Что такое Gephi?

TL; Dr версия: Gephi это круто. Это инструмент визуализации для графиков, который также позволяет выполнять некоторые графические операции.

Что за график? Я верю, что каждый из вас видел график в вашей жизни, вероятно, на уроке математики. На самом деле, для некоторых из вас это может быть первый раз, когда вы будете использовать знания, полученные по математике вне школы!

График - это структура, предназначенная для представления и изучения отношений между точками данных. Он содержит узлы (точки данных) и ребра (отношения). Узлы соединены друг с другом ребрами. Это простая, но мощная идея. Я знаю, что никто не любит математику, но я хотел бы отметить, что существует фактическая область, называемая теорией графов . И Gephi позволяет нам использовать некоторые из них, не изучая их (БОЛЬШОЙ!).

Хорошо, но у меня есть сайт, а не график! Да, но веб-сайт может быть представлен в виде графика. Каждый узел представляет страницу, а края - это ссылки.

Предварительные условия: данные сканирования

Вам не нужно много, чтобы начать. Просто сканирование вашего сайта.

Возьмите предпочитаемый сканер и найдите опцию экспорта A ll Outlinks . Я уверен, что Screaming Frog (в дальнейшем именуемый SF) предоставляет эту функцию ( Bulk export -> All Outlinks ), но ее также следует включить в другие популярные сканеры.

Теперь пришло время для фильтрации. Откройте файл CSV, полученный с помощью вашей любимой программы в стиле Excel (для больших сайтов я рекомендую Knime ) и фильтр. Вам нужно избавиться от ссылок nofollow. Боты не переходят по этим ссылкам (удивительно!), Поэтому они не учитываются в структуре. Если вы использовали экспорт SF, существует столбец Follow с значениями true / false для использования.

Понял? Хорошо. Теперь отфильтруйте еще немного. Фактически отфильтруйте все столбцы, кроме столбцов с источником и целью ссылки ( источник и назначение в SF). Теперь вам нужно переименовать столбцы в Source и Target. Это требование, наложенное Gephi - похоже, ему просто нравятся эти имена.

Прежде чем мы сможем двигаться дальше, вы должны знать, что CSV-файлы могут содержать нечто, называемое BOM. Это просто символ, который указывает, что следующие байты на самом деле что-то значат (я знаю, я знаю, это не так просто, но как угодно). Очевидно, что ваша Excel-подобная программа хочет, чтобы все знали, что созданный ею файл результатов что-то значит, поэтому она поместила символ BOM в начало файла.

Однако Gephi не распознает этот символ спецификации, поэтому он испортил первое, что содержит файл, - это имя «Source». Это нужно исправить, но это не так просто, как вы думаете. Вам придется использовать редактор низкого уровня. Я рекомендую использовать Малиновый редактор , Просто загрузите ваш файл, выберите Документ -> Тип кодировки -> UTF-8 (без спецификации) . Согласитесь перезагрузить документ и нажмите Ctrl + S, чтобы сохранить изменения.

СЕЙЧАС мы готовы!

Еще один совет: не забывайте регулярно сохранять свой проект!

Пошаговые инструкции

Импорт данных

Если вы следовали моим предыдущим инструкциям, этот шаг должен быть очень простым. Выберите File -> Import Spreadsheet и выберите файл данных во всплывающем окне. Теперь вы должны увидеть что-то похожее на это:

Важным параметром здесь является вкладка « Импортировать как ». Доступно 4 варианта, но мы сосредоточимся на двух из них:

• Стол Edges - это тот, который мы собираемся использовать. Это позволяет импортировать все ребра (ссылки). Узлы создаются на основе начальной и конечной точек ссылок.
• Таблица узлов - позволяет импортировать узлы и связывает с ними дополнительные свойства. Мы собираемся использовать это позже.

Выберите таблицу Edges , нажмите Next и завершите процесс в следующем окне. Теперь вы увидите окно отчета:

Параллельные края указывают, что есть страницы с несколькими ссылками на одну страницу. Это обычно вызывается навигацией, но может также происходить в других сценариях. Чтобы решить эту проблему, вы должны выбрать стратегию слияния краев , скрытую под Дополнительные параметры . Настройка суммы по умолчанию подходит для большинства применений (об этом я подробнее расскажу в разделе «Просмотр вашего сайта с помощью Google Goggles - PageRank Calculation» ниже).

Отметив опцию Self-loops , вы сможете увидеть собственные ссылки на страницах.

Оставьте все остальные параметры по умолчанию (если вы не знаете, что делаете).

Вот что вы должны увидеть после загрузки данных:

Фильтрация (необязательно)

Если ваш сайт достаточно большой (скажем,> 50 тыс. URL), вам нужно отфильтровать некоторые страницы. Вы хотите применять фильтры, пока не освоитесь с количеством страниц (узлов) и ссылок (ребер). Я работал на способном ПК с узлами ~ 100k и ребрами ~ 1kk - и это было для меня «удобно». Фильтры можно найти в правом меню. Вас заинтересуют фильтры топологии , поэтому разверните эту часть дерева фильтров:

• Гигантский компонент - это отфильтрует все страницы, которые не являются частью структуры. Есть ли страницы в карте сайта, на которые нет ссылок на вашем сайте? Тогда вы не обязательно хотите их здесь.
• Диапазон степени выхода - количество ссылок на странице. Вы хотите, чтобы это было больше нуля. Страницы без ссылок не будут важны при анализе структуры. Также сузьте это от вершины; если вы видите страницы с тысячами внешних ссылок, это, скорее всего, ваш файл карты сайта.
• В диапазоне градусов - количество ссылок. Если график все еще содержит слишком много ссылок / страниц, постарайтесь исключить страницы с нулевыми ссылками.

Чтобы установить фильтры, просто перетащите первый фильтр из библиотеки в функцию « Перетащите фильтры сюда» под разделом « Фильтры », а последующие фильтры перетащите сюда субфильтры , доступ к которым осуществляется путем расширения предыдущего фильтра.

Имейте в виду, что порядок фильтров имеет значение!

Когда вы закончите, нажмите эту кнопку « Фильтр» с зеленой стрелкой и наблюдайте, как количество узлов и ребер падает (в правом верхнем углу).

Статистика

Gephi позволяет нам подсчитать количество графических статистических данных, которые мы будем использовать при представлении данных. Вы можете получить доступ к статистике, нажав вкладку Статистика в правом меню, расположенном рядом с вкладкой Фильтры .

Мы хотим рассчитать (нажав соответствующую кнопку « Выполнить» ) следующую статистику на вкладке « Обзор сети »:

• Средняя степень - здесь нет вариантов, просто запустите.
• Диаметр сети - выберите опцию « Направленные ребра» во всплывающем окне.
• Модульность - это разделит график на части. Количество частей должно быть равно количеству разделов на вашем сайте. Вам нужно будет настроить параметр Resolution в процессе проб и ошибок, чтобы числа совпадали.

Теперь мы хотели бы применить некоторые вычисляемые свойства к нашим узлам. Мы можем сделать это с помощью вкладки « Внешний вид » в левом меню. Есть две вещи, которые мы хотим изменить: размер и цвет узлов. В разделе Color выберите Partition, а затем Modularity Class из выпадающего меню (представленного на рисунке ниже). Если вас не устраивает автоматически сгенерированная цветовая палитра, вы можете создать свою собственную с помощью кнопки Палитра… .

Второе, что мы хотим изменить, - это размер узлов. Перейдите в раздел Размер (как вы можете видеть на изображении выше). Выберите вкладку « Рейтинг » и выберите « Степень» в раскрывающемся меню. Для минимального и максимального размеров, начните с чего-то вроде 1 - 10 и отрегулируйте позже при необходимости Нажмите кнопку « Применить» и посмотрите, как меняется график (пока вы не увидите много, но мы очень близки!).

раскладка

Последний обязательный шаг - создание макета графика. Вы видели черный шарик (или квадрат) в средней части - это ваши данные. Он изменил цвет и размер, когда вы изменили внешний вид, теперь мы собираемся распространить его (ниже - ранняя стадия размещения графика).

Итак, чтобы разнести ваши узлы (страницы), мы должны взглянуть на раздел « Макет » в левом меню. Для больших сайтов единственным реальным вариантом в раскрывающемся меню является ForceAtlas 2 , так как это самый быстрый метод разнесения.

Здесь вы найдете несколько вариантов. Увеличьте число потоков до количества имеющихся у вас процессорных ядер минус одно (для визуализации). Раздел « Производительность » следует оставить как есть по умолчанию, если только у вас нет проблем с производительностью. В таких случаях увеличение Допуска и Приближения уменьшит время выполнения алгоритма. Настройка является наиболее важной вкладкой здесь. Настройки будут определять, как будет выглядеть ваш график, к сожалению, я не могу дать вам никаких предварительных настроек, потому что каждый график отличается. Общие правила: масштабирование увеличит размер всего графика, а гравитация сделает кластеры страниц более плотными.

Вы запускаете алгоритм, нажимая кнопку Run . Изменения, которые вы сделаете здесь, будут иметь непосредственное влияние на алгоритм, поэтому я рекомендую поэкспериментировать с масштабированием и гравитацией, чтобы получить самый красивый график. Не бойтесь устанавливать, казалось бы, сумасшедшие значения, некоторые графики печатаются нормально с низкими значениями масштабирования, в то время как другие требуют, чтобы это значение составляло около тысячи! В конце процесса, который может занять несколько минут, установите флажок « Предотвратить наложение» и дайте ему поработать еще некоторое время. Он не остановится сам по себе, вы должны прекратить его, нажав кнопку Стоп , когда вы довольны результатами.

Вот пример того, как могут выглядеть окончательные результаты:

Другие твики

Возможно, вы не полностью удовлетворены тем, что у вас есть, но не бойтесь. Вот несколько советов о том, как улучшить свой график.

Маленькая кнопка в виде стрелки, отмеченная красным, открывает скрытое меню с визуальными параметрами!

На вкладке Global вы можете изменить цвет фона (темные фоны выглядят особенно хорошо). Вкладка « Края » позволяет изменять ширину ребер - очень удобный вариант для плотных графиков, но истинное значение находится на вкладке « Метки ». Очевидно, что вы хотите добавить метки к своим узлам, чтобы знать, на какую страницу вы смотрите. Для небольших графиков вы можете перейти сразу ко всем меткам, но все, что превышает несколько десятков страниц, будет заполнено метками и станет нечитаемым.

Решение? Создайте метки, которые отображаются, когда вы наводите указатель мыши на узел или выбираете его. Чтобы это произошло, установите флажки у узла и Скрыть не выбранные параметры. Вы хотите перейти в меню « Настроить» и установить флажок с помощью параметра « Идентификатор» и снять все остальные флажки.

Последний совет: если ваша графическая карта испытывает трудности с отображением графика, вы можете отключить края, сняв флажки с двух связанных опций, отмеченных синим кружком на картинке выше.

Посмотрите свой сайт с помощью Google Goggles - Pagerank Расчет

PageRank - это основной алгоритм, лежащий в основе Google. Очень упрощенная (но не полностью недоступная) версия описания алгоритма выглядит следующим образом:
каждая ссылка несет в себе небольшую ценность (ранг) от исходной страницы до цели. «Немного» - это процент ранга исходных страниц. Таким образом, ссылки с высоко оцененных страниц имеют большую ценность, чем с дрянных.

Существует распространенное заблуждение, что Google прекратил использовать этот алгоритм, но на самом деле они просто перестали публично показывать его значение (и это огромная разница!). Конечно, его важность упала с первых дней поисковых систем, но это все еще является фактором рейтинга страниц.

Мы можем использовать наш график для расчета внутреннего потока PageRank, но есть некоторые ограничения на то, что мы можем сделать.

Ограничения

У нас есть только внутренние ссылки для работы, с другой стороны, у Google есть ссылки со всей сети. Вполне возможно, что некоторые из ваших страниц широко связаны во внешних источниках. Такие случаи не будут отражаться в наших расчетах, и это повлияет не только на одну страницу, но и на структуру потока в более широком диапазоне. Тем не менее, вы действительно хотите рассчитать общую структуру потока PageRank и действовать соответственно. Например, если вы обнаружите, что PageRank накапливается на ваших страницах контента, а не на страницах, которые обеспечивают конверсию, возможно, существует потенциал для оптимизации внутренних ссылок.

Так может ли Джефи сделать это для меня?

Краткий ответ: да, это возможно.

Существует два пути реализации PageRank в вашем графике. Вы можете рассчитать его внутренне, основываясь на ссылках из обхода, или вы можете импортировать рассчитанный извне PageRank.

Если вы хотите рассчитать PR самостоятельно, есть одна главная трудность: вес ссылок. Понятно, что сторонние ссылки обрабатываются Google по-разному - это означает, что их вес должен быть ниже. Но сколько именно? 0,2? 0,3? 0,5? Там нет однозначного ответа, вам придется идти со своим внутренним чувством (или попытаться найти какой-то другой источник). Также не ясно, как обрабатываются параллельные ссылки. В начале в разделах Crawl Data мы суммировали веса, но верно ли это? Я не знаю. Тем не менее, при всей этой неопределенности вы все равно можете угадать значения и создать осмысленное представление, которое может быть немного не по назначению, но покажет вам общую структуру потока PageRank.

Итак, вот как это сделать:

Прежде всего, вы должны определить ссылки на другие сайты. Самый простой способ сделать это? Возьмите данные сканирования и сгруппируйте их по целевому URL и посчитайте количество вхождений (это легко сделать с помощью Knime). Теперь добавьте к своим данным сканирования новый столбец с именем «Вес» и установите для него значение «1» для всех ссылок, не относящихся ко всем сторонам, и * ваше предполагаемое значение * (я бы пошел с 0,4) для строк с ссылкой на все сайты. в столбце «Цель». Теперь мы уменьшили ценность всех ссылок на другие сайты, а также всех других ссылок на эти страницы! Мы должны отменить это изменение для дублирующихся строк (дублирующая строка означает, что есть как минимум 2 параллельные ссылки, только одна из которых является параллельной). Вы можете легко найти повторяющиеся строки, используя условное форматирование Excel -> Повторяющиеся строки.

Теперь импортируйте расширенные данные сканирования в Gephi. Я предполагаю , что Google использует некоторую логарифмическую сумму для слияния параллельных ссылок, которая сходится к заданному максимальному значению, но если ваш сайт не содержит много параллельных ссылок, вам будет просто хорошо использовать простой SUM в качестве стратегии слияния Edges . Теперь расчет. Вы можете найти его на вкладке Статистика в разделе « Обзор сети ». Это называется PageRank. Убедитесь, что вы используете параметр « Направлено» , и флажок « Использовать вес ребра» отмечен Для больших сайтов вы можете увеличить параметр Probability (p) примерно до 0,95, но это необязательно и не должно сильно влиять на результат работы алгоритма.

Второй способ сделать это - импортировать значения PageRank из внешнего источника. Некоторые инструменты (например, Ryte ) может рассчитать PageRank для вас (в случае с Ryte этот показатель называется OnPageRank, но по сути очень похож на PageRank). Вы должны были бы экспортировать все страницы с метрикой PR. Затем вы должны очистить свои данные и оставить только два столбца: один с URL-адресом страниц (установите его имя на «Id»), а второй с метрикой PageRank (назовите его «PageRank»). Тогда вы сможете импортировать эту таблицу в существующий график. При импорте используйте параметр таблицы «Узлы» на вкладке « Импортировать как » и в окне « Импорт отчета» выберите параметр « Добавить в существующее рабочее пространство» .

И наконец, чтобы сделать значения видимыми, измените настройку размера узлов в разделе « Внешний вид » с In-Degree на PageRank .

Прежде чем мы продолжим, вот пример анализа, который я однажды провел с вычисленным PageRank, где отмеченные страницы накопили значительное количество PageRank:

Бонус! Ползучая тепловая карта

Что это такое?

Если вы занимаетесь SEO, вы наверняка работали с серверными журналами или хотя бы слышали о них, верно? Одна из причин проверить их - выяснить, какие части вашего сайта посещает Google. Конечно, есть хорошо написанные инструменты, которые помогут вам определить структуру сканирования, но разве не было бы замечательно увидеть частоту сканирования, напечатанную на графике, представляющем весь ваш сайт? Вы сможете сразу увидеть все масштабные функции сканирования, одним взглядом.

Как вы готовите один?

Это не так сложно, как вы думаете. Прежде всего нам нужны данные. Давайте предположим, что ваши файлы журналов построены в формате Common Log Format, который выглядит следующим образом:

127.0.0.1 user-identifier frank [10 / Oct / 2000: 13: 55: 36 -0700] «GET /apache_pb.gif HTTP / 1.0» 200 2326

127.0.0.1 - это IP-адрес клиента, который вы хотите идентифицировать Google. Есть полные списки IP-адресов, принадлежащих Google, но, как правило, вы должны быть в порядке с фильтрацией 66.249. *. *

Другая важная часть - это путь, содержащийся в «GET [Path] HTTP» - мы восстановим весь URL на основе этого.

Чтобы отфильтровать и извлечь файл, мы будем использовать командную строку BASH (консоль по умолчанию в Linux, Cygwin - это симулятор для Windows). Для простоты назовите файл журнала «logs» и поместите его в папку / log / в корневой папке вашего раздела (например, C: log). Вот команды, которые вам понадобятся:

cd C: / logs /

grep «66.249» log. *> Filter.log

grep -oP «(? <= GET). * (? = HTTP)» Filter.log> urls.log

Теперь вам нужно переключиться на Knime (или Excel, если вы предпочитаете) и создать группу , сгруппировав идентичные URL-адреса и посчитав количество вхождений. После этого переименуйте столбцы в «ID» и «События» и сохраните их как CSV. Вот как должен выглядеть подготовленный файл:

Теперь откройте ваш проект в Gephi и импортируйте подготовленный файл журнала, используя Import Spreadsheet . В меню « Импортировать как» выберите таблицу «Узлы» , а в окнах отчета выберите « Добавить в существующее рабочее пространство» .

Наконец, вы можете покрасить свои узлы, используя данные журнала. Перейдите в раздел « Внешний вид » и после выбора « Узлы» , « Цвет» и « Ранжирование» выберите « События» . Вы можете изменить цветовую схему, используемую для ранжирования, нажав на цветовую палитру (отмечена красным кружком ниже). Вы также можете проверить опцию Сплайн ... Это позволяет сделать изменение цвета нелинейным, что может быть использовано для выделения некоторых функций графика (например, сделать URL-адреса с 0 событиями более четкими).

Вот график, показывающий наш сайт Onely с некоторыми советами о том, что искать. Это очень маленький веб-сайт, поэтому структура не очень сложна, но, тем не менее, вы можете сразу заметить некоторые особенности.

Завершение

Сначала это может показаться сложным и сложным, но на самом деле это не так сложно. Просто следуйте инструкциям, которые я изложил здесь, и все будет в порядке.

Мой опыт работы с графиками на Gephi всегда был приятным. Графики иногда бывают действительно красивыми и настраивают параметры, чтобы получить большинство из них ощущается почти как искусство. Просто помните, что речь идет не о создании красивых изображений, а о получении важных данных о структуре сайта.

Если у вас есть какие-либо вопросы или вы хотите поделиться своим опытом с Gephi, пожалуйста, не стесняйтесь оставлять свои комментарии ниже. Я буду более чем рад помочь или, может быть, даже узнать что-то, что я пропустил!

Похожие

Комментарии