Как отключить индексацию пагинации в WordPress

|

Если в поиске начали появляться страницы вида /page/2/, /page/3/ и похожие URL архивов, это обычно не ошибка WordPress, а следствие того, что поисковик видит пагинацию как отдельные страницы. Для сайта с большим количеством записей такие адреса часто создают лишний шум в индексе: дублируют контент архива, расходуют краулинговый бюджет и мешают продвигать более полезные страницы.

Полностью «запретить» поисковику заходить на пагинацию и при этом не сломать навигацию на сайте — задача решаемая. Но важно понимать разницу между индексацией и обходом: чаще всего нужно не закрывать доступ пользователю, а дать поисковику сигнал не добавлять такие страницы в индекс.

Что именно нужно отключать

В WordPress пагинация встречается в архивах записей, рубрик, меток, авторов и иногда в результатах поиска. Типичный пример — /category/news/page/2/. Это не отдельная уникальная страница, а продолжение списка материалов. Если такие URL индексируются, в выдаче могут оказаться страницы, которые сами по себе не несут самостоятельной ценности.

Для большинства сайтов правильная цель выглядит так:

  • оставить пагинацию рабочей для посетителей;
  • убрать её из индекса поисковых систем;
  • не ломать канонические адреса и внутреннюю перелинковку;
  • не закрывать от индексации сами архивы целиком, если они нужны для SEO.

Самый практичный способ: мета-тег robots noindex для страниц пагинации

Самый безопасный и понятный вариант — добавить для страниц пагинации директиву noindex. Тогда поисковик сможет пройти по ссылкам, но не будет хранить такие страницы в индексе. Для WordPress это обычно делают через SEO-плагин или кодом в теме/дочернем шаблоне.

Если у вас уже установлен SEO-плагин, сначала проверьте его настройки. Многие плагины умеют отдельно задавать правила для архивов и пагинации. Это удобнее, чем править код вручную, потому что настройка сохраняется при обновлениях и не зависит от темы.

Если плагина нет или он не даёт нужной гибкости, можно добавить правило через хук wp_robots. Это штатный механизм WordPress, который формирует robots-мета для страницы.

Пример кода, который добавляет noindex, follow только для пагинированных архивов:

add_filter( 'wp_robots', function( array $robots ) : array {
    if ( is_paged() && ( is_home() || is_archive() ) ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
} );

Этот вариант подходит для обычных архивов записей, рубрик, меток и страниц автора. Он не трогает остальные страницы сайта. Если у вас нестандартная структура или отдельные шаблоны архивов, логику условия можно уточнить, но делать это стоит аккуратно: слишком широкое правило легко заденет не те страницы.

Почему лучше не ставить просто noindex без follow

Для пагинации обычно полезно оставить follow. Тогда поисковик сможет переходить по ссылкам на следующие страницы архива и находить материалы глубже в структуре сайта. Если убрать и follow, это не всегда критично, но пользы от такой страницы для обхода сайта станет меньше. В большинстве случаев для пагинации достаточно именно noindex, follow.

Когда стоит использовать robots.txt, а когда не стоит

Иногда пытаются закрыть пагинацию через robots.txt. Для этой задачи это не лучший путь. Запрет в robots.txt мешает обходу, но не гарантирует удаление URL из индекса. Более того, если поисковик уже знает адрес, он может продолжать показывать его в выдаче без содержимого или с фрагментом из внешних ссылок.

Поэтому для пагинации обычно выбирают именно noindex, а не блокировку в robots.txt. Robots.txt имеет смысл только в редких случаях, когда нужно ограничить обход по техническим причинам, но это уже другая задача.

Если используете SEO-плагин

В популярных SEO-плагинах обычно есть настройка для архивов и мета-роботов. Названия пунктов отличаются, но логика одна: нужно найти раздел, отвечающий за индексацию архивов, и проверить, не включена ли пагинация в индекс по умолчанию.

Что важно проверить после настройки:

  • на страницах /page/2/ и дальше в исходном коде есть мета-робот с noindex;
  • основная страница архива, например /category/news/, не получила лишний noindex;
  • канонический URL у пагинированной страницы не указывает на случайный адрес;
  • внутренние ссылки на следующую страницу архива продолжают работать.

Если плагин позволяет отдельно управлять архивами рубрик, меток и авторов, не отключайте всё подряд без проверки. На небольших сайтах иногда достаточно закрыть только метки или только пагинацию архивов записей, но это уже зависит от структуры контента.

Как проверить, что пагинация действительно закрыта от индексации

После настройки не ограничивайтесь визуальной проверкой страницы. Нужно убедиться, что поисковику отдается нужный сигнал.

Проверьте несколько адресов вручную:

  1. Откройте страницу архива с пагинацией, например /category/news/page/2/.
  2. Посмотрите исходный код страницы и найдите строку с robots.
  3. Убедитесь, что там есть noindex.
  4. Проверьте, что первая страница архива не закрыта ошибочно.

Если сайт уже добавлен в Google Search Console или Яндекс Вебмастер, можно проверить конкретный URL через инструменты проверки страниц. Это полезно, когда нужно понять, как поисковик видит страницу сейчас, а не только что отдал сервер.

Имейте в виду: даже после правильной настройки страницы могут оставаться в индексе какое-то время. Это нормально. Поисковику нужно переобойти URL и учесть новый сигнал. Обычно удаление не происходит мгновенно.

Типичные ошибки, из-за которых пагинация всё равно попадает в поиск

На практике проблемы повторяются почти всегда одни и те же.

  • Закрыли не ту страницу. Например, поставили noindex на весь архив рубрики, хотя нужно было только на /page/2/ и дальше.
  • Смешали noindex и robots.txt. Если страница закрыта от обхода, поисковик может не увидеть мета-тег noindex.
  • Проверили только визуально. На экране всё выглядит нормально, но в исходном коде нет нужного robots-мета.
  • Не учли кэш. После изменения настроек старый HTML может ещё отдаваться из кэша плагина, сервера или CDN.
  • Поставили noindex на все архивы без разбора. Это уже может ударить по видимости сайта сильнее, чем сама пагинация.

Если на сайте используется кэширование, после изменения настроек очистите кэш плагина, сервера и CDN, если он есть. Иначе вы будете проверять старую версию страницы и решите, что правило не сработало.

Что делать, если нужно убрать из индекса только часть пагинации

Иногда проблема касается не всех архивов, а только отдельных разделов. Например, у сайта есть рубрики, которые полезны для поиска, и есть служебные или слабые архивы, которые лучше не показывать в выдаче. В этом случае не стоит применять грубое правило ко всему сайту.

Логика должна быть точечной: закрывайте только те типы архивов и только те страницы пагинации, которые действительно не должны конкурировать в поиске. Для этого удобнее использовать код с условиями или настройки SEO-плагина, если он умеет работать на уровне конкретных таксономий.

Если вы не уверены, что именно закрывать, начните с пагинации самых больших архивов: рубрик, меток и страниц автора. Это обычно и есть основной источник мусорных URL вида /page/2/.

Когда задача решена правильно, пагинация остаётся удобной для посетителей, а поисковик перестаёт считать её отдельными ценными страницами. Для сайта с большим количеством материалов это обычно самый аккуратный способ убрать лишние URL из индекса без побочных эффектов для навигации и внутренней структуры.

⭐⭐⭐⭐⭐