TF-IDF, встречаемость и дефицитность слова для SEO

1. Поиск текстов благодаря алгоритмам Поисковые системы, и в частности Google, произвели революцию в...
2. Математическая формула и объяснение TF-IDF
3. Пример конкретного применения
4. Как интерпретировать этот результат
5. Последнее слово, чтобы закончить

Поиск текстов благодаря алгоритмам

Поисковые системы, и в частности Google, произвели революцию в нашей повседневной жизни. Следует знать, что их работа в основном основана на использовании алгоритмов, более или менее сложных. Эти алгоритмы на самом деле известны и используются давно. В частности, изобретательность Google заключается в том, что компании удалось объединить существующий набор алгоритмов с другими действительно инновационными методами.

Счет TF-IDF использовался в течение нескольких лет, и особенно задолго до появления Google, как это было косинус солтонский , В то время мы говорим о поиске текстов, поиске информации или даже о семантических раскопках. Я поместил ссылки на этот тип исследований в 60-х, 70-х годах. В частности, благодаря этому PDF, доступному по этому адресу: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.115.8343&rep=rep1&type=pdf

TF-IDF: определение

TF-IDF являются аббревиатурами «термин частоты» и «частота обратного документа». Они следуют логике Косинус Солтона , Мы стремимся придать лексическое значение термину в документе. Для TF-IDF мы применяем связь между документом и набором документов, которые имеют общие черты в ключевых словах. В некотором смысле, мы ищем соотношение количества / лексического качества в наборе документов.
Для запроса с термином X документ, скорее всего, будет релевантным в качестве ответа на запрос, если в этом документе есть определенное вхождение этого термина, и этот термин встречается редко в других документах. подключен к первому.

Математическая формула и объяснение TF-IDF

Разместите приложение, чтобы лучше понять. Формула очень проста: оценка TF-IDF (которую мы называем по соглашению w ) w = TF * IDF.

TF = количество вхождений термина в документ. Что касается Cosinus Солтона, вы можете разбить документ на лексику и сделать это:
Количество вхождений анализируемого термина / Количество общих терминов

Операция относительно проста, и теперь у нас есть TF, наша количественная оценка. Давайте перейдем к ИДФ сейчас.

Это немного сложнее. Вам нужно будет вооружиться калькулятором, включая логарифмические весы. Итак, я не собираюсь давать вам курс по логарифмам, потому что, честно говоря, я не смогу, но мы попытаемся популяризировать небольшое определение: логарифм - это показатель степени, который присваивается числу для получить еще один. SOS Mumbo Jumbo? Вот пример 🙂: число 1000 можно записать примерно так: 103. Если я ссылаюсь на определение, число 3 - это показатель степени 10, а следовательно, и логарифм 1000. Подробнее здесь !

Итак, вернемся к ИДФ. Прежде всего, необходимо пересчитать все документы, содержащие хотя бы раз проанализированный термин. Теперь сделайте следующий расчет:

IDF = log (Общее количество документов / Количество документов, содержащих проанализированный термин)

Вы только что нашли свой IDF, который является вашим показателем качества. Умножьте оба результата, чтобы получить оценку TF-IDF.

Пример конкретного применения

Чтобы помочь вам, я скачаю документ Excel, содержащий формулы, автоматически обрабатывающие ваши данные.
Вы сейчас в интернете, царстве кошек, анализируете запрос "чат"
У меня на сайте есть документ, содержащий 100 лексик , с вхождением слова cat в 3 . Мы знаем, что TF = 3/100, поэтому TF = 0,03.
Мой сайт имеет 10 миллионов страниц (ну, это пример, да and), и слово «кошка» появляется в 1000 из них . Таким образом, мы рассчитываем IDF = log (10 000 000/1000). IDF = 4. Перепроверь, если не веришь мне 🙂
Поэтому мой показатель TF-IDF является результатом умножения 0,03 * 4 = 0,12. На запрос чата это не радость ...

Как интерпретировать этот результат

Теперь это вопрос интерпретации фигуры, которую вы только что получили. Но для его интерпретации лучше сравнить его с другими результатами. Не стесняйтесь играть с данными документа Excel, которые я предоставил.
Две вещи выделяются благодаря двум небольшим опытам.
Первый опыт: если я перейду к большему количеству документов (10 миллионов, 100 миллионов, 1000 миллионов ...), моя оценка будет улучшаться с каждым увеличением. Это, очевидно, наоборот, если я уменьшу общее количество документов.

Редкость термина влияет на оценку TF-IDF незначительным образом, поэтому более редкий термин улучшает лексическую релевантность.

Второй эксперимент: я увеличиваю вхождение термина в документе (TF). Я наблюдаю, что итоговая оценка также увеличивается, как в первом опыте.

Следовательно, появление термина сильно влияет на оценку TF-IDF.

Поэтому лексическая релевантность измеряется с помощью TF-IDF благодаря связи между редкостью слова в наборе документов и его наличием в одном документе.

Последнее слово, чтобы закончить

Веб-сайт полностью соответствует этим критериям, с чисто SEO-точки зрения, сайт в основном состоит из страниц, связанных вместе, и ключевых слов. Таким образом, понятие TF-IDF позволяет понять, как поисковые системы придают важность нашим документам, и особенно то, как они приписывают лексическую значимость тому, что мы выставляем на нашем сайте.
Я не думаю, что с точки зрения производительности SEO применение этого метода имеет первостепенное значение. Прежде всего, это дает основание для размышлений о своем лексическом поле. Какие ключевые слова выделить или разместить, как работать над своими темами ... И я думаю, что TF-IDF хорошо реагирует на текущие проблемы SEO: силосные структуры, семантический кокон ... В сочетании с подходом Козинуса Солтона с помощью тщательной работы можно реально измерить влияние, которое страница может оказать на семантическую плоскость. Конечно, Google самостоятельно определит, релевантна ваша страница или нет. Но, понимая, как он думает, как он видит сайт и как он его интерпретирует, можно немного поиграть с его критериями релевантности ... Давайте не будем забывать, что Google в конечном итоге робот без реального интеллект, без свободы воли ... Ну, скажем так, у него его еще нет! 🙂
Вторая статья немного математическая ... Я должен сказать, что это занимает немного времени, но это действительно интересно сделать. Для самых талантливых, вот ссылка для применения оценки TF-IDF в Java. Это может заинтересовать некоторых? http://filotechnologia.blogspot.fr/2014/01/a-simple-java-class-for-tfidf-scoring.html
Со своей стороны, спасибо за чтение статьи! Пожалуйста, поделитесь статьей в социальных сетях!

Похожие

Комментарии