# Alle Roboter spidern die Domain
User-agent: *
Disallow:

# Verzeichnis soll nicht von Infoseek Sidewinder/0.9 gespidert werden 
User-agent: Infoseek Sidewinder/0.9
Disallow: 

# Verzeichnis soll nicht von FAST-WebCrawler/2.2-pre41 (crawler@fast.no; http://www.fast.no/faq/ faqfastwebsearch/faqfastwebcrawler.html) gespidert werden 
User-agent: FAST-WebCrawler/2.2-pre41 (crawler@fast.no; http://www.fast.no/faq/ faqfastwebsearch/faqfastwebcrawler.html)
Disallow: 

# Verzeichnis soll nicht von Slurp/2.0 gespidert werden 
User-agent: Slurp/2.0
Disallow: