Чтобы настроить фильтры без дублей страниц, нужно разделить все комбинации на три группы: посадочные страницы для поискового трафика, пользовательские результаты без индексации и технические URL, которые не должны создаваться. Для каждой группы задают единый формат адресов, правила canonical и robots, внутренние ссылки и порядок обработки параметров.
В статье разберём весь процесс по шагам: как выбрать полезные комбинации, нормализовать URL, управлять индексацией, не закрыть важные страницы и проверить результат после внедрения. Инструкция подходит интернет-магазинам, маркетплейсам, каталогам услуг и другим сайтам с фасетной навигацией.
Почему фильтры создают дубли страниц
Фасетная навигация позволяет отбирать товары по бренду, цвету, размеру, цене и другим характеристикам. Один и тот же набор товаров при этом может открываться по нескольким адресам. Поисковая система воспринимает такие адреса как отдельные URL, даже если содержимое страницы практически не меняется.
Типовые причины появления дублей:
- параметры фильтра можно передавать в разном порядке;
- одна комбинация доступна одновременно по параметрическому и человекопонятному URL;
- в адрес попадают сортировка, вид каталога, количество товаров на странице или служебные метки;
- одно значение записывается в разных регистрах или форматах;
- система допускает повторяющиеся, пустые и несовместимые параметры;
- страницы пагинации или сортировки канонизируются неправильно;
- JavaScript создаёт новые URL после каждого действия пользователя.
Например, адреса ?brand=a&color=black и ?color=black&brand=a технически различаются, хотя показывают одинаковый ассортимент. Если такие варианты доступны по внутренним ссылкам и отдают код 200, поисковый робот может обходить и индексировать оба.
Последствия зависят от масштаба каталога. Дубли расходуют ресурсы обхода, затрудняют выбор релевантного URL, размывают внутренние сигналы и попадают в отчёты вместо нужных посадочных страниц. При большом количестве фасетов число возможных комбинаций растёт значительно быстрее, чем ассортимент.
Шаг 1. Определите, какие комбинации должны индексироваться
Настройка начинается не с robots.txt или canonical, а с карты фильтров. Для каждого свойства и сочетания свойств нужно определить поисковую ценность и технический режим.
Комбинацию имеет смысл сделать отдельной индексируемой страницей, если одновременно выполняются основные условия:
- комбинация соответствует самостоятельной потребности пользователя;
- на странице есть стабильный и достаточный ассортимент;
- результат заметно отличается от родительской категории;
- для URL можно сформировать понятные title, заголовок и описание;
- страница не зависит от случайных или быстро меняющихся значений;
- для комбинации можно организовать внутреннюю ссылку из каталога или других релевантных разделов.
Сам факт наличия фильтра не делает страницу полезной для поиска. Сортировка по цене, переключение плитки на список, выбор количества карточек и узкие диапазоны стоимости обычно не формируют самостоятельную посадочную страницу. Такие состояния нужны пользователю, но не обязаны участвовать в поиске.
| Тип URL | Пример назначения | Рекомендуемый режим |
|---|---|---|
| Полезная комбинация | Категория с популярным брендом или характеристикой | Индексация, собственный canonical, внутренние ссылки |
| Сервисный фильтр | Цена, наличие, редкая комбинация свойств | Доступ пользователю, но без индексации |
| Сортировка и отображение | Сначала дешёвые, 60 товаров, вид списком | Не создавать отдельную поисковую страницу |
| Некорректная комбинация | Повторяющиеся или несовместимые параметры | Редирект, 404 или 410 в зависимости от причины |
| Дублирующий вариант | Другой порядок одинаковых параметров | 301-редирект на основной адрес |
Решения лучше фиксировать в матрице: категория, свойство, допустимое число выбранных значений, формат URL, индексируемость, шаблоны метаданных и поведение при пустой выдаче. Такая таблица становится техническим заданием для разработчиков и снижает риск противоречивых правил.
Шаг 2. Установите единый формат URL
У каждой комбинации должен быть только один основной адрес. Единый формат нужен даже для страниц, которые не планируется индексировать: нормализация сокращает количество URL, доступных для обхода.
Зафиксируйте следующие правила:
- Порядок параметров. Система должна всегда располагать параметры в одной последовательности, например сначала бренд, затем цвет и размер.
- Формат значений. Регистр, транслитерация, пробелы, дефисы и кодирование символов должны обрабатываться одинаково.
- Повторяющиеся значения. Адрес с дважды указанным брендом или цветом не должен отдавать самостоятельную страницу.
- Пустые параметры. Конструкции вида ?brand= следует удалять из URL.
- Служебные метки. UTM-метки, идентификаторы сессий и параметры переходов не должны менять основное содержимое страницы.
- ЧПУ и параметры. Если индексируемые комбинации получают человекопонятные адреса, их параметрические аналоги нужно перенаправлять на выбранный URL.
Для постоянных дублей предпочтителен 301-редирект. Например, если порядок параметров не соответствует стандарту, сервер перенаправляет запрос на нормализованный адрес. Canonical в такой ситуации полезен как дополнительный сигнал, но не заменяет редирект: дубль остаётся доступным для обхода.
Недопустимые значения лучше отсекать на сервере. Если комбинация никогда не может существовать, страница должна возвращать 404 или 410, а не код 200 с пустым каталогом. Временно опустевшую категорию можно сохранить, если ассортимент способен вернуться: решение зависит от стабильности URL и бизнес-логики.
При фильтрации через JavaScript адрес должен обновляться предсказуемо. Индексируемая страница должна открываться по прямому URL без предварительных кликов, отдавать основной контент при загрузке и не зависеть от состояния браузерной сессии.
Шаг 3. Настройте canonical, noindex и robots.txt без конфликтов
Canonical, meta robots и robots.txt решают разные задачи. Canonical указывает предпочтительный URL среди похожих страниц, noindex запрещает включать страницу в поисковый индекс, а robots.txt регулирует обход. Механически применять одно правило ко всем фильтрам нельзя.
Индексируемые страницы фильтров
Полезная посадочная страница должна отдавать код 200, быть разрешена для обхода и содержать canonical на саму себя. Самоканонический адрес подтверждает, что именно этот URL считается основным.
Не стоит направлять canonical всех фильтров на родительскую категорию. Если отфильтрованная страница имеет другой ассортимент и отвечает на отдельный запрос, родительская категория не является её полным эквивалентом. Поисковая система может проигнорировать такой canonical.
Фильтры, которые нужны пользователям, но не поиску
Для сервисных комбинаций можно использовать директиву noindex, follow. Страница останется доступной посетителю, но не должна включаться в индекс. Canonical при этом должен быть логичным: противоречивая связка noindex с canonical на другую существенно отличающуюся страницу затрудняет интерпретацию сигналов.
Закрывать такой URL в robots.txt до удаления из индекса нельзя: робот не сможет загрузить страницу и увидеть noindex. Сначала поисковая система должна получить доступ к директиве. Ограничение обхода рассматривают позднее только для устойчивых шаблонов URL и после проверки последствий.
Сортировка, вид каталога и служебные параметры
Лучший вариант — не создавать отдельные индексируемые адреса и не размещать на них обычные внутренние ссылки. Если параметры необходимы, страницы сортировки можно канонизировать на соответствующую версию каталога без сортировки при условии, что основное содержание эквивалентно.
Параметры, не влияющие на ассортимент, следует удалять редиректом, исключать из генерации ссылок или нейтрализовать canonical. Чем меньше технических вариантов создаёт сайт, тем меньше зависимость от интерпретации директив поисковой системой.
Пагинация
Страницы пагинации не являются полными дублями первой страницы: на каждой находится другой набор карточек. Поэтому не следует безусловно ставить canonical со всех страниц пагинации на первую. Обычно каждая страница последовательности получает собственный canonical и доступные HTML-ссылки на соседние части каталога.
Шаг 4. Управляйте внутренними ссылками и картой сайта
Технические директивы не исправят ситуацию полностью, если сайт постоянно ссылается на тысячи ненужных комбинаций. Внутренняя навигация должна поддерживать выбранную модель индексации.
Для индексируемых фильтров нужны обычные ссылки с атрибутом href. Поисковый робот должен обнаруживать посадочные страницы без выполнения сложных пользовательских сценариев. Ссылки можно разместить в блоках популярных подборок, подкатегориях, меню или тематических текстах, если переход действительно полезен посетителю.
Неиндексируемые сочетания не следует массово выводить в виде доступных для обхода ссылок. Интерфейс фильтра может отправлять форму или менять состояние страницы, но конкретная реализация должна учитывать доступность каталога, аналитику и требования к интерфейсу.
В XML-карту сайта включают только канонические индексируемые URL с кодом 200. Не нужно добавлять страницы с noindex, редиректы, результаты сортировки, технические параметры и пустые комбинации. Наличие URL в карте сайта не гарантирует индексацию, но противоречие между sitemap и директивами создаёт лишние сигналы.
Для каждой посадочной страницы желательно формировать уникальные элементы, которые помогают раскрыть её назначение:
- понятный заголовок, соответствующий выбранным характеристикам;
- title и description без бессмысленного перечисления всех значений;
- хлебные крошки с логичной иерархией;
- короткое полезное описание, если оно помогает выбрать товар;
- корректное название категории при удалении или добавлении фильтра.
Уникальный текст сам по себе не превращает бесполезную комбинацию в качественную посадочную страницу. Главные критерии — самостоятельный спрос, отличающийся ассортимент и удобство выбора.
Шаг 5. Реализуйте правила и проверьте результат
Сначала изменения безопаснее развернуть на тестовой среде. Проверять нужно не несколько выбранных URL, а все типы страниц и граничные сценарии.
- Соберите выборку адресов. Добавьте индексируемые комбинации, noindex-страницы, сортировки, пагинацию, пустые результаты, разный порядок параметров и ошибочные значения.
- Проверьте коды ответа. Основные URL должны отдавать 200, постоянные дубли — 301, несуществующие комбинации — предусмотренный проектом код.
- Сверьте редиректы. Перенаправление должно вести сразу на конечный канонический URL без цепочек и циклов.
- Проверьте canonical. В коде должна быть одна корректная ссылка на абсолютный основной адрес. Canonical не должен вести на редирект, ошибку или noindex-страницу.
- Проверьте robots. Индексируемые URL должны быть доступны для обхода. Страницы с noindex также нельзя преждевременно блокировать в robots.txt.
- Протестируйте внутренние ссылки. Каталог не должен генерировать альтернативные порядки параметров и ненужные служебные URL.
- Сверьте XML-карту. В sitemap должны остаться только канонические страницы, разрешённые для индексации.
- Запустите обход сайта. Краулер поможет найти дубли title, одинаковые наборы товаров, некорректные canonical и бесконечные цепочки параметров.
После публикации изменения оценивают не сразу по одной проверке URL. Необходимо наблюдать за отчётами по индексированию, статистикой обхода, количеством найденных параметрических страниц и показами целевых посадочных URL. Старые дубли могут сохраняться в отчётах до повторного обхода.
Если страницы фильтров уже создают большой массив дублей, сначала стоит сохранить список URL и входящих внутренних ссылок. Резкое закрытие шаблона без инвентаризации может удалить из поиска полезные посадочные страницы или оборвать ссылки, которые уже передают внутренние сигналы.
Чек-лист настройки фильтров без дублей
- Все свойства и комбинации разделены на индексируемые, сервисные и недопустимые.
- Для индексируемых страниц подтверждён самостоятельный поисковый интент.
- Установлен единственный порядок параметров и формат значений.
- Альтернативные URL перенаправляются на основной адрес.
- Пустые и повторяющиеся параметры не создают страницы с кодом 200.
- Индексируемые фильтры имеют собственный canonical и доступны для обхода.
- Сервисные комбинации закрыты от индексации без преждевременной блокировки обхода.
- Сортировки и режимы отображения не образуют отдельные посадочные страницы.
- Пагинация не канонизируется автоматически на первую страницу.
- Внутренние ссылки ведут на нормализованные URL.
- XML-карта содержит только канонические индексируемые страницы.
- Правила протестированы на комбинациях, ошибках и граничных состояниях.
Если фильтры затрагивают большую часть каталога, настройку стоит рассматривать вместе с архитектурой, перелинковкой и посадочными страницами. В рамках SEO-продвижения сайта можно провести технический аудит и подготовить требования к индексации фасетной навигации с учётом структуры конкретного проекта.
Частые вопросы
Нужно ли закрывать все страницы фильтров от индексации?
Нет. Фильтры, которые отвечают на самостоятельный спрос и формируют полезную товарную подборку, могут стать посадочными страницами. Закрывать следует сервисные, дублирующие, пустые и чрезмерно узкие комбинации.
Достаточно ли поставить canonical на основную категорию?
Нет. Canonical является сигналом выбора предпочтительного URL, а не запретом обхода или индексации. Кроме того, canonical на родительскую категорию может быть проигнорирован, если набор товаров существенно отличается.
Можно ли закрыть параметры фильтров в robots.txt?
Можно ограничить обход устойчивых технических шаблонов, но robots.txt не удаляет уже известный URL из индекса и мешает роботу увидеть noindex. Решение принимают после классификации страниц, а не как универсальную настройку.
Что делать со страницами, на которых нет товаров?
Постоянно невозможная комбинация должна возвращать 404 или 410 либо не создаваться. Временно пустую посадочную страницу можно сохранить, если ассортимент ожидаемо вернётся и URL имеет самостоятельную ценность.
Нужен ли уникальный текст на каждой странице фильтра?
Нет. Текст полезен только тогда, когда помогает пользователю понять подборку и выбрать товар. Для индексации важнее самостоятельное назначение страницы, стабильный ассортимент, корректные метаданные и отсутствие технических дублей.
Сколько комбинаций фильтров можно разрешить для индексации?
Универсального количества нет. Лимит зависит от спроса, ассортимента, структуры каталога, числа характеристик и способности сайта поддерживать уникальные посадочные страницы. Каждую группу комбинаций нужно оценивать отдельно.
