# Massendownloader vom CGI Verzeichnis fernhalten, Fehlercode 404 vermeiden User-agent: * Disallow: /temp/ # Die Dateien sind sehr kurzlebig Disallow: /logfiles/ # Die ändern sich jeden Tag Disallow: /bilder/ # Bilder nicht downloaden Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren Disallow: /wetter # Die news.html ändert sich täglich Disallow: /frjava # Frames Disallow: /coolframe.js/ # frame Disallow: /head # Headlines Disallow: /format.css/ # Css Disallow: /joac1000.css/ # Css Disallow: /cframe.js/ # frame Disallow: /kinobj8.mpg/ # film Disallow: /cache/ # cache Disallow: /.ht # ht Disallow: /WS_FTP # FTP-Logs Disallow: /mj # Mail Disallow: /tn_ # Thumbs Disallow: /menu_ex4.html/ # Menue Disallow: /statistik.js/ # Statistik Disallow: /impressum.htm/ # Impressum Disallow: /reports/ # Reports #Disallow: /index.html/ # reports/index.html Disallow: /main # Hauptseite Disallow: /pngbehavior #Login Disallow: /navilinks # Links Disallow: /links # Links User-agent: BearShare/2.9.1 User-agent: BearShare/2.9.0 User-agent: LimeWire/4.8.2 User-agent: BearShare/ User-agent: LimeWire/ #deaktiviert #Disallow: / # alles