Robots.txt reprezintă un fișier standard utilizat pe site-urile web pentru a comunica motoarelor de căutare care părți ale site-ului pot fi accesate sau indexate. În WordPress, acest fișier este localizat în directorul root al site-ului și joacă un rol esențial în gestionarea vizibilității conținutului.

Prin intermediul instrucțiunilor precum "Allow" și "Disallow", administratorii pot controla accesul crawler-ilor la anumite secțiuni ale site-ului. De exemplu, se poate restricționa accesul la zonele administrative sau la fișierele temporare.

WordPress generează automat un fișier robots.txt virtual dacă nu există unul fizic în directorul root. Acesta conține setări implicite care permit accesul la majoritatea conținutului, cu excepția zonelor sensibile.

Este important de menționat că robots.txt nu este o metodă de securitate, ci mai degrabă un ghid pentru motoarele de căutare. Fișierele blocate prin robots.txt pot fi în continuare accesate dacă se cunoaște URL-ul exact.