Файл robots.txt — это текстовый документ, расположенный в корневой директории сайта. Он сообщает поисковым системам, какие разделы или страницы можно сканировать, а какие следует исключить из индексации. В WordPress этот файл может генерироваться автоматически или быть созданным вручную.

По умолчанию WordPress разрешает доступ к /wp-admin/admin-ajax.php, но может ограничивать другие служебные директории, такие как /wp-includes/ или /wp-content/plugins/. Важно правильно настроить robots.txt, чтобы не блокировать важные для индексации страницы.

Проблемы могут возникнуть, если виртуальный файл robots.txt переопределяет физический. В таких случаях требуется дополнительная настройка через хуки или плагины. Корректная конфигурация улучшает SEO и предотвращает ошибки сканирования.