Robots.txt

Archivo colocado en la raíz de un sitio web que indica a los bots de los motores de búsqueda qué páginas pueden rastrear y cuáles no.