# robots.txt zu http://www.3-links.de/ (+http://directory.kilu.de)
# Folgenden robots ist der Zugriff total gesperrt:
# 	ia_archiver	-> http:/www.alexa.com		-> Spam-Eintäge
# 	MJ12bot		-> http://www.majestic12.co.uk	-> Contentklau/Spam-Einträge
# 	TurnitinBot	-> http://www.turnitin.com	-> Agessiv?
#
# Allen anderen robots (*) ist der Zugriff auf die unter Disallow definierten
# Verzeichnissen untersagt.

User-agent: ia_archiver
User-agent: MJ12bot
User-agent: TurnitinBot
Disallow: /

User-agent: *
Disallow: /admin/
Disallow: /22prs6/
Disallow: /bots/
Disallow: /backup/
Disallow: /documentation/
Disallow: /install/
Disallow: /temp/
Disallow: /test3/

User-agent: googlebot
Disallow: /bots/