# ROBOTS.TXT FUER UNITYMEDIA-TV.DE
#


#
# GRUNDEINSTELLUNGEN FUER ALLE BOTS
#

User-agent: *
Crawl-delay: 60		 	
# Crawl-delay Parameter, hier stellt man die Anzahl der Anfragen pro Sekunde zwischen erfolgreichen Requests auf die Domain ein. Manche Bots unterstützen das.
Request-rate: 1/60              
# Die maximale Rate beträgt 1/20 Sekunden  

#
# Sitemap
#
Sitemap: http://www.unitymedia-tv.de/sitemap.xml


#
# EINSTELLUNGEN FÜR UNITYMEDIA-TV.DE
#

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */comments
Allow: /wp-content/uploads


#
# ABGEWIESENE BOTS
#

# Bots die Probleme machen oder bekannt sind das sie zum Content kopieren genutzt werden

User-agent: ia_archiver
Disallow: /
 
User-agent: duggmirror
Disallow: /

User-agent: sitecheck.internetseer.com
Disallow: /

User-agent: Zealbot
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Fetch
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: linko
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Xenu
Disallow: /

User-agent: larbin
Disallow: /

User-agent: libwww
Disallow: /

User-agent: ZyBORG
Disallow: /

User-agent: Download Ninja
Disallow: /

#
# Sorry, wget bleibt auch draussen.
#
User-agent: wget
Disallow: /

#
# Der 'Grub' Client fliegt auch.
#
User-agent: grub-client
Disallow: /

#
# Und zu Guter letzt ...
#
User-agent: k2spider
Disallow: /

#
# Einen hab ich noch!
# http://www.nameprotect.com/botinfo.html
#
User-agent: NPBot
Disallow: /

# Und noch ein Bot der Seiten speichert ohne sinnvollen Nutzen für die Menschheit
# http://www.webreaper.net/
#
User-agent: WebReaper
Disallow: /