# robots.txt von 17-8 Uhr # Allow anything ############################################### Googlebot ################################################ User-agent: Googlebot Disallow: /*sitemap* ############################################### Robots die nicht surfen duefen ########################### # email Sammler draussenbleiben User-agent:EmailCollector Disallow: / # Robots die durchdrehen fliegen raus User-agent: GagaRobot Disallow: / ############################################# Slurp/Yahoo ############################################### User-agent: Slurp Crawl-delay: 180 Disallow: /servlet/PB/-s/ #Aussperren von Robots die mit Session surfen ############################################# MSNBot ################################################### User-agent: msnbot Crawl-delay: 180 Disallow: /servlet/PB/-s/ #Aussperren von Robots die mit Session surfen ############################################# Lycos ##################################################### User-agent: lycos Crawl-delay: 180 Disallow: /servlet/PB/-s/ #Aussperren von Robots die mit Session surfen ########################################### Restliche Crawler ########################################### User-agent: * Disallow: /servlet/PB/-s/ Crawl-delay: 300