El archivo robots.txt es un componente fundamental para el SEO técnico en WordPress. Este archivo, ubicado en el directorio raíz de tu sitio, proporciona instrucciones a los motores de búsqueda sobre qué áreas del sitio pueden rastrear y cuáles deben ignorar.

En WordPress, el archivo robots.txt puede generarse de forma virtual o física. La versión virtual es creada automáticamente por WordPress y puede incluir reglas predeterminadas como permitir el acceso a /wp-admin/admin-ajax.php o bloquear directorios sensibles.

Es importante personalizar este archivo según las necesidades de tu sitio. Puedes editar el robots.txt directamente si está en formato físico, o usar filtros como wp_robots para modificar las reglas programáticamente. Algunas configuraciones comunes incluyen bloquear el acceso a archivos de plugins, temas o directorios temporales.

Problemas frecuentes incluyen conflictos entre el robots.txt virtual y físico, bloqueos accidental de contenido importante, o adición automática de parámetros como crawl-delay. Es crucial verificar regularmente este archivo en herramientas como Google Search Console para asegurar un rastreo óptimo del sitio.