# robots.txt fuer http://www.steffen-noe.de/ und http://www.noe-steffen.de/
# Wie kann man nur so neugierig sein, in so einer Datei rumzustoebern? Tststs.... :-)

# Emailschnueffler will ich nicht haben... auch wenn diese sich vermutlich kein bisschen fuer diese 'Bitte' interessieren...

User-agent: EmailCollector
User-agent: CollectMyMail
User-agent: Floodgate
User-agent: HS-Crawler
User-agent: e-collector
User-agent: WebsiteWiki

Disallow: /

# Einfach mal eben alles auf die Platte ziehen? Bitte nicht...

User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /

# Google unterstuetzt sogar Filter nach Dateinamen!

User-agent: googlebot
Disallow: *.gif
Disallow: *.mpg
Disallow: *.avi
Disallow: *.jpg
Disallow: *.zip
Disallow: *.wmv
Disallow: *.avi
Disallow: /Buttons/
Disallow: /dvds/
Disallow: /vids/
Disallow: /email.htm
Disallow: /email.gif


# Alle anderen:

User-agent: *

Disallow: /email.htm
Disallow: /email.gif