#-------------------------------------------------------------------- # Fichero: robots.txt # Objetivo: Dirigir a los robots que visitan la sede # Autor: Pedro Reina # Fecha: J.23.2.2017 #-------------------------------------------------------------------- # NingĂșn robot puede seguir los programas cgi-bin User-agent: * Disallow: /cgi-bin/ # Los robots deben esperar 10 segundos entre peticiones Crawl-delay: 10