За последние 15 лет Google и Яндекс усовершенствовали свою способность определять качество и ценность контента, радикально изменив понятие поисковой оптимизации. Сегодня роботы поисковых систем сканируют сайты, используя искусственный интеллект и семантические технологии, чтобы определить тему страницы и сопоставить ее с поисковым запросом.
В октябре 2019 Google объявил о новом подходе к пониманию запросов пользователя, теперь система ориентируется не на отдельные ключевые слова в запросе, а пытается интерпретировать предложение целиком. Кроме того, поисковик прекратил сопоставление условий поиска с ключевыми словами на странице, отдав предпочтение «тематическому моделированию», то есть определению общей тематики конкретного документа. Это сложная процедура, которая включает в себя анализ текста для определения отношений между словами, фразами и значением слов, чтобы лучше понять, что на самом деле предлагается в контенте.
В 2020 году Яндекс запустил новый алгоритм YATI (Yet Another Transformer with Improvements). Это технология, основанная на нейронных сетях, целью которой является оценка смысловой близости запроса пользователя и веб-страницы.
Однако, алгоритмы ранжирования поисковиков всё еще несовершенны, и здесь на помощь приходят люди-рецензенты (асессоры). Их рейтинги используются для обучения и уточнения алгоритмов.
У Google есть большой документ под названием
Руководство для асессоров Google . Это набор правил, по которым рецензенты могут определять, какие сайты содержат качественный контент, а какие нет.
Определение Google для качественного содержания зависит от типа сайта, на котором он размещен. В своих рекомендациях они объясняют: