# robots.txt @ www.heise-WebIT.de - Stand: 15.10.2004 # Die Regeln für die Robots und Spiders der Suchmaschinen. # Hier wird festgelegt, was nicht durchsucht werden darf # (und nicht) ! # # Systax: # ---------------------------------- # (Verbietet allen Spidern den Pfad /beispiel/ und erlaubt /beispiel2/ ) # User-agent: * # Disallow: /beispiel/ # Allow: /beispiel2/ # # (Verbietet Google nichts) # User-agent: Googlebot # Disallow: # # (Vebietet Lycos alles) # User-agent: Lycos_Spider_(T-Rex) # Disallow: / # ---------------------------------- # # Eine ausführliche Anleitung gibt es hier: # http://www.searchcode.de/robotstxt.php # # Sebastian Heise - heise-it.de User-agent: * Allow: *