# robots.txt for http://www.beispiel.de/ # Zugriff auf alle Dateien erlauben User-Agent: * Crawl-delay: 20