Может ли robots.txt случайно закрыть весь сайт от индексации?

Да — одна строка Disallow: /, забытая после переноса с тестового домена на боевой, полностью выключает сайт из индекса поисковиков.

В чём разница между robots.txt и sitemap.xml?

robots.txt управляет доступом краулера — что можно сканировать, а что нет. sitemap.xml — не команда, а подсказка поисковику, где искать реальные, индексируемые страницы сайта.

Как проверить, что robots.txt и sitemap.xml настроены правильно?

Через инструмент «Проверка robots.txt» и раздел «Файлы Sitemap» в Google Search Console и Яндекс.Вебмастере — они показывают, обработана ли карта сайта без ошибок и не блокирует ли robots.txt нужные страницы.

robots.txt и sitemap.xml: как не закрыть сайт от поиска

Зачем нужен robots.txt

robots.txt — текстовый файл в корне сайта (site.by/robots.txt), который сообщает поисковым роботам, какие разделы можно сканировать, а какие — нет. Он не скрывает страницы из выдачи напрямую (для этого есть noindex), а управляет тем, куда краулер вообще заходит и тратит crawl budget.

Базовый синтаксис

User-agent: * — правила для всех роботов (можно задавать отдельно для конкретных, например Yandex);
Disallow: /admin/ — запрет сканирования раздела;
Allow: /admin/public/ — исключение из запрета;
Sitemap: https://site.by/sitemap.xml — прямая ссылка на карту сайта, полезно указывать явно.

Частые ошибки

Забыли снять запретDisallow: / остаётся после переноса с тестового домена на прод

Заблокированы CSS/JSПоисковик не может корректно отрендерить страницу и оценить вёрстку

Несколько версий sitemapСтарая карта с 404-ссылками сбивает краулер после миграции

Самая дорогая ошибка — первая: после разработки на тестовом поддомене строку Disallow: / ставят специально, чтобы черновик не попал в индекс, и забывают убрать при переносе на боевой домен. Это разбирали и в чек-листе по миграции сайта — проверка robots.txt входит в обязательный smoke-test в день запуска.

sitemap.xml: что внутри и как проверить

sitemap.xml — список URL сайта в машиночитаемом формате, часто с датой последнего изменения (lastmod). Это не команда «проиндексируй всё немедленно», а подсказка поисковику, где искать страницы — особенно полезно для крупных или редко обновляемых разделов. Карта должна содержать только реальные, индексируемые, отдающие 200 страницы — без 404, редиректов и дублей с разными параметрами.

Как проверить, что всё в порядке

Откройте ваш-сайт.by/robots.txt в браузере — файл должен открываться и не содержать случайного Disallow: /;
В Google Search Console: раздел «Индексирование → Файлы Sitemap» — проверьте, что карта отправлена и обработана без ошибок;
В Яндекс.Вебмастере — аналогичный раздел «Индексирование → Файлы Sitemap», плюс отчёт «Обход» покажет, что реально сканирует робот;
Инструмент «Проверка robots.txt» в обоих сервисах — можно протестировать конкретный URL до публикации изменений.

Если после проверки часть страниц всё равно не в индексе спустя недели — вероятно, дело не в этих двух файлах, а в качестве контента, дублях или внутренней перелинковке. Более широкий разбор — в техническом чек-листе SEO или на техническом аудите.

Нужна помощь с SEO? Напишите — разберём ваш сайт.