В WordPress дубли чаще появляются не из-за «плохого SEO», а из-за штатной логики: архивы авторов, дат, рубрик, пагинация, страницы вложений, поиск по сайту, теги, а иногда и служебные URL плагинов. Если сайт небольшой, это может быть незаметно. Но когда контента становится больше, в индексе начинают жить страницы, которые не дают трафик и размывают релевантность.
Задача здесь не в том, чтобы «закрыть всё подряд», а в том, чтобы оставить в индексе полезные страницы и убрать технический шум. Ниже — рабочая схема: как диагностировать проблему, что именно закрывать, чем отличается noindex от robots.txt, и как проверить, что после правок сайт не потерял важные URL.
Как понять, что у вас именно дубли, а не просто мало страниц в индексе
Сначала стоит посмотреть не на количество страниц в индексе вообще, а на типы URL. Типичная картина: в отчёте поисковой системы есть архивы авторов, страницы тегов с одним-двумя постами, пагинация рубрик, страницы поиска вида ?s=, вложения изображений и иногда страницы с параметрами сортировки или фильтрации.
Проверка занимает несколько минут:
- введите в поиск по сайту запросы вида
site:example.ru author,site:example.ru tag,site:example.ru ?s=; - посмотрите отчёт по страницам в Google Search Console или Яндекс Вебмастере;
- сравните, какие URL реально нужны пользователю, а какие существуют только технически;
- проверьте, не индексируются ли страницы вложений изображений отдельно от самих записей.
Если в индексе много страниц, которые не несут самостоятельной ценности, это хороший кандидат на чистку. Но не надо закрывать архивы только потому, что они «похожи на дубли». Иногда архив рубрики — это нормальная посадочная страница, особенно если на неё есть внутренние ссылки и она собирает трафик.
Что закрывать в первую очередь
Ниже — практичный список того, что обычно можно убрать из индекса без ущерба для сайта. Но решение всё равно зависит от структуры проекта.
Архивы авторов
На блоге с одним автором архив автора почти всегда дублирует главную ленту или рубрики. В этом случае архив автора лучше закрыть от индексации, а если он вообще не нужен — отключить вывод.
Страницы вложений
WordPress может создавать отдельную страницу для каждого изображения. Если на ней нет уникального контента, это технический дубль. Обычно такие URL либо редиректят на файл, либо закрывают от индекса.
Поиск по сайту
Страницы результатов поиска почти никогда не должны попадать в индекс. Они нестабильны, зависят от запроса и часто создают тонны мусора.
Теги и служебные архивы
Если тегов много, а постов в каждом мало, теги начинают конкурировать с рубриками. То же касается архивов по датам: если вы не ведёте новостной сайт, они редко нужны в поиске.
Диагностика: где именно появляется дубль
Перед правкой полезно понять, на каком уровне возникает проблема: в шаблоне темы, в SEO-плагине или на уровне сервера. Это важно, потому что noindex и robots.txt решают разные задачи.
| Подход | Когда использовать | Минус |
|---|---|---|
| Плагин SEO | Нужно быстро закрыть архивы, теги, автора, поиск | Зависите от настроек плагина |
| Код в теме/плагине | Нужна точечная логика под конкретный сайт | Требует поддержки при обновлениях |
robots.txt | Нужно ограничить обход, а не индексацию уже известных URL | Не гарантирует удаление из индекса |
Если URL уже в индексе, одного robots.txt часто недостаточно. Поисковик может продолжать показывать страницу без сниппета, если она уже известна. Для удаления из индекса нужен noindex или редирект, а не только запрет обхода.
Пошаговое решение: закрываем лишнее без поломки сайта
Шаг 1. Определите, что оставить открытым
Сначала отметьте страницы, которые должны индексироваться: записи, важные рубрики, лендинги, страницы услуг, иногда отдельные теги. Всё остальное — кандидат на закрытие или редирект.
Полезный чек-лист:
- есть ли у страницы уникальный текст и поисковый спрос;
- ведёт ли на неё внутренняя перелинковка;
- может ли страница конкурировать с более важным URL;
- нужна ли она пользователю как отдельная посадочная;
- не создаёт ли она дубли через пагинацию или параметры.
Шаг 2. Закройте архивы и поиск через SEO-плагин или код
Если у вас уже стоит SEO-плагин, проще всего использовать его настройки. Но если нужна точечная логика, можно добавить фильтры в functions.php дочерней темы или в небольшой mu-plugin.
Пример: закрыть архивы авторов, даты и поиск от индексации через wp_robots:
add_filter('wp_robots', function ($robots) {
if (is_author() || is_date() || is_search()) {
$robots['noindex'] = true;
$robots['nofollow'] = true;
}
return $robots;
});Этот вариант хорош тем, что он работает на уровне мета-роботов и не ломает доступность страницы для пользователя. Но если у вас уже есть SEO-плагин, проверьте, не конфликтуют ли его настройки с кодом. Два источника noindex обычно не критичны, но путаница в логике потом мешает отладке.
Шаг 3. Уберите страницы вложений
Если изображения открываются как отдельные страницы, можно сделать редирект на сам файл или на родительскую запись. Для большинства сайтов безопаснее редиректить вложения на файл изображения, если отдельная страница не нужна.
add_action('template_redirect', function () {
if (is_attachment()) {
$url = wp_get_attachment_url(get_queried_object_id());
if ($url) {
wp_redirect($url, 301);
exit;
}
}
});Если на сайте есть медиа-раздел с осмысленными описаниями, такой редирект может быть лишним. Тогда лучше оставить страницу, но закрыть её от индексации и проверить, не создаёт ли она дубли с постами.
Шаг 4. Настройте robots.txt только для обхода мусора
robots.txt полезен для экономии краулингового бюджета, но не как единственный способ удаления дублей. Его стоит использовать для технических URL, которые не должны массово обходиться ботами.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: /author/
Disallow: /date/Важно: если вы закрываете URL в robots.txt, но он уже в индексе, поисковик может не увидеть мета-тег noindex на самой странице. Поэтому для уже проиндексированных дублей сначала лучше поставить noindex или редирект, а потом при необходимости ограничить обход.
Когда лучше не кодить, а использовать плагин
Если задача типовая и сайт ведётся не разработчиком, удобнее вынести управление дублями в SEO-плагин или инструмент для техочистки. Это снижает риск, что при обновлении темы код потеряется.
Например, если нужен не только noindex, но и чистка лишних мета-тегов, отключение архивов, удаление дублей Open Graph и других служебных элементов, имеет смысл смотреть в сторону Clearfy Pro. Для редакторских сайтов это часто удобнее, чем собирать всё вручную по кускам.
Как проверить, что решение сработало
После внедрения не ограничивайтесь визуальной проверкой страницы. Нужно убедиться, что поисковик видит именно то, что вы задумали.
- Откройте проблемный URL и проверьте исходный код страницы: должен быть мета-тег
noindex, если вы его ставили. - Проверьте заголовки ответа, если используете серверные правила или плагины, которые добавляют
X-Robots-Tag. - В Search Console или Вебмастере отправьте URL на переобход, если он уже был в индексе.
- Через несколько дней проверьте, изменился ли статус страницы в отчётах по индексации.
- Убедитесь, что важные записи и рубрики не получили случайный
noindexиз-за слишком широкого условия.
Если вы закрывали архивы авторов, проверьте не только страницу автора, но и ссылки на неё в хлебных крошках, блоках «об авторе» и виджетах. Иногда URL продолжает активно использоваться внутри сайта, хотя уже закрыт от индексации.
Частые ошибки и как их исправить
Закрыли страницу в robots.txt, но она всё ещё в индексе
Это ожидаемое поведение. robots.txt ограничивает обход, а не гарантирует удаление из индекса. Для удаления нужен noindex или 301-редирект.
Поставили noindex на всё подряд
Такое часто случается, когда условие написано слишком широко: например, закрыли не только архивы, но и записи, потому что проверка сработала на шаблон страницы. После этого сайт может потерять видимость по нормальным страницам. Всегда тестируйте на одном типе URL и проверяйте исходный код.
Сделали редирект вложений на главную
Это плохая практика: пользователь и бот попадают не туда, куда ожидают. Если уж редиректить вложения, то на сам файл или на родительскую запись, если это действительно логично для структуры сайта.
Оставили теги без контроля
Теги полезны только тогда, когда они собраны в осмысленную таксономию. Если тегов много и каждый содержит один пост, они начинают конкурировать с рубриками и размывают структуру. В таком случае лучше либо закрыть теги от индекса, либо сократить их количество.
Безопасность и производительность: что учесть до и после правок
Любые изменения в functions.php лучше вносить не в основную тему, а в дочернюю или в отдельный мини-плагин. Так правки не исчезнут после обновления. Если сайт на продакшене, сначала проверьте изменения на staging-копии.
Ещё два практических момента:
- не добавляйте десятки правил в
robots.txtбез необходимости — файл должен оставаться читаемым; - не закрывайте от индексации страницы, которые реально получают трафик или служат посадочными под запросы;
- если используете SEO-плагин и ручной код, документируйте, кто за что отвечает, иначе через месяц будет сложно понять источник
noindex.
Для сайтов с большим количеством служебных страниц полезно периодически пересматривать индексируемые типы URL. Структура проекта меняется: то, что было мусором на старте, позже может стать нормальной страницей категории или архива.
Если нужен более системный подход к техочистке, имеет смысл собрать его в одном месте: убрать дубли мета-тегов, отключить лишние архивы, почистить служебные элементы и не держать это в голове как набор разрозненных правок. Тогда проблема дублей перестаёт возвращаться после каждого обновления темы или плагина.