Нормализация и лексемы: почему «купить» и «куплю» — один запрос

Люди пишут один и тот же запрос по-разному: «купить торт», «куплю торт», «купить торты», «торт купить». Для тебя это четыре строки в таблице. Для поисковика — один запрос: он приводит слова к начальной форме и не смотрит на порядок. Это и называется нормализацией.

Если при чистке ядра сравнивать голые строки, эти четыре фразы останутся четырьмя отдельными запросами. В ядре появятся дубли, а кластеров станет больше, чем нужно.

Три слова, которые стоит знать

Нормализация — это когда каждую словоформу заменяют леммой, а слова сортируют. После неё «куплю торты детские» и «детский торт купить» превращаются в одно и то же: «детский купить торт».

Как это делают поисковики

Яндекс изначально строился под русский язык, где у одного слова бывает 10-20 форм. Он разбирает каждое слово запроса и ищет страницы со всеми формами этой лексемы. Поэтому страница с текстом «закажите торт» показывается и по запросу «заказать торты».

Google работает с десятками языков. Для русского он тоже сводит формы к одной основе, плюс учитывает синонимы: «заказать» и «купить» для него близки. В английском форм у слова меньше (cake / cakes), поэтому там эта тема почти не всплывает.

Wordstat без операторов показывает частоту сразу по всем формам и любому порядку слов. Цифра у фразы «купить торт» — это уже сумма «куплю торт», «торты купить» и всех запросов с дополнительными словами. Подробнее — в разборе Wordstat.

Пример: 9 фраз, а запросов — 3

Пекарня выгрузила фразы из Вордстата. Приводим каждую к леммам и сортируем слова.

Обрати внимание: «торт на заказ» и «заказать торт» после нормализации разные — «заказ» и «заказать» это разные леммы. Такие пары ловятся уже не нормализацией, а смыслом: смотришь, одинаковая ли у них выдача. Об этом — в статье про кластеризацию.

Где нормализация ошибается

Нормализация — это правило, а у правил есть исключения. Четыре случая, когда склеивать фразы нельзя.

1. Порядок слов меняет смысл. «билеты москва питер» и «билеты питер москва» после нормализации одинаковые. Для человека это поездки в разные стороны.

2. Предлоги меняют смысл. «перевозка из москвы» и «перевозка в москву» — разные направления. Многие инструменты при нормализации выбрасывают предлоги, и фразы склеиваются.

3. Одно написание — разные слова. «мой» — это «мой дом» или «мой посуду». «стекло» — существительное или «вино стекло по стенке». Если ниша про мойку окон, программа может отнести «стекло» не к той лемме.

4. Число меняет то, что ищут. «пластиковое окно» чаще ищут, чтобы узнать (как устроено, как отрегулировать), а «пластиковые окна» — чтобы купить. Выдача по таким фразам бывает заметно разной.

Как проверить: открой выдачу по обеим фразам. Если в топ-10 больше половины адресов совпадает — это один запрос, оставляй одну фразу. Если совпадает мало — оставь обе.

Как это помогает при чистке ядра

1. Сделай колонку с нормализованной формой. Вручную на 50 фразах это 10 минут. На 500 фразах проще попросить AI: «приведи каждую фразу к леммам и отсортируй слова по алфавиту».
2. Отсортируй по этой колонке. Почти-дубли встанут рядом.
3. Из каждой группы оставь одну фразу — ту, что звучит естественнее. Именно её ты потом вставишь в заголовок страницы.
4. Проверь четыре исключения из блока выше: направление, предлоги, омонимы, число.

На ядре в 500 фраз это обычно убирает 10-30% строк. Кластеров после этого тоже становится меньше, и каждый получается чище.

Что делать с операторами Wordstat

Когда нужно понять, сколько людей ищут именно одну форму, Wordstat умеет отключать нормализацию:

• "купить торт" — только эти слова, без добавок, но в любой форме;
• "!купить !торт" — ещё и без смены формы: «куплю торты» не считается;
• "[купить торт]" — ещё и порядок слов фиксирован.

В ядро обычно идёт базовая форма, а операторы нужны, чтобы оценить реальный спрос и выбрать, какая формулировка из группы главная.

Следующая статья: подсказки поиска — бесплатный источник 1000+ идей для хвоста.