robots.txt для разных CMS: WordPress, Битрикс, Tilda

Общие принципы независимо от CMS

Базовый синтаксис директив и логика правил одинаковы для любой платформы — подробно разбирали в статье robots.txt и sitemap.xml: как не закрыть сайт от поиска. Разница в том, какие именно разделы конкретной CMS являются служебными и не должны попадать в индекс.

WordPress

Типичный набор для закрытия:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /*?replytocom=
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.by/sitemap.xml

Частая ошибка — закрыть весь /wp-content/, включая /wp-content/uploads/: так поисковик перестаёт индексировать изображения, что бьёт по трафику из картиночного поиска. Закрывать нужно только служебные подпапки темы и плагинов, не медиатеку.

1С-Битрикс

У Битрикса много системных разделов и генерируемых параметров URL (сортировки каталога, сравнение товаров, действия корзины):

User-agent: *
Disallow: /bitrix/
Disallow: /personal/
Disallow: /search/
Disallow: /*?PAGEN_
Disallow: /*?sort=
Disallow: /*?COMPARE_
Sitemap: https://site.by/sitemap.xml

Для крупных каталогов на Битрикс отдельная головная боль — фильтры и сортировки, генерирующие тысячи технических URL-комбинаций. Их лучше не только закрывать в robots.txt, но и обрабатывать через canonical на страницах фильтрации — подробнее в услуге SEO для e-commerce и в сравнении Битрикс или WordPress.

Tilda и другие конструкторы

В конструкторах вроде Tilda нет прямого доступа к файлу robots.txt в привычном виде — вместо этого нужные параметры (индексация, noindex отдельных страниц) настраиваются через панель SEO-настроек проекта. Важно: на многих конструкторах по умолчанию включена индексация тестового/черновика проекта — это стоит проверить до публикации.

Самописные сайты и другие CMS

Для нестандартных решений главное правило — не копировать чужой robots.txt «как есть», а разобраться, какие URL реально генерирует именно эта система: админка, поиск по сайту, служебные API-эндпоинты, параметры пагинации и фильтров. Слепое копирование шаблона с другого сайта — частая причина, почему часть нужных страниц случайно оказывается закрыта.

Как проверить, что всё настроено верно

1. Инструмент «Проверка robots.txt» в Google Search Console и Яндекс.Вебмастере — тестирует конкретные URL против текущих правил;
2. Отчёт «Покрытие» / «Индексирование» — показывает, какие страницы исключены и по какой причине;
3. Ручная проверка через site:вашсайт.by в поиске — быстро видно, не попали ли в выдачу служебные разделы.

Дальше — общий чек-лист технической части: Техническое SEO: чек-лист перед продвижением, а разбор конкретно вашей CMS — на техническом аудите.

Нужна помощь с SEO? Напишите — разберём ваш сайт.