So sieht eine gute Robots.txt aus!!
Irgendwie gehört eine Robots.txt zu den absoluten Basics eines Seo´s. Vermutlich genau deswegen, wird er von diesen Seo´s nicht beachtet. Dabei sind es doch oftmals nur ein paar Zeilen die kopiert werden müssen um wenigstens den einfachsten Contentdieben den Saft abzudrehen.
Ich habe mir daher selbst in den letzten Jahren eine schöne Robots.txt zusammengebaut. Natürlich ist nicht alles auf meinen Mist gewachsten, sondern ich konnte viel aus ettlichen Archiven fischen. Welche nun genau aber zur entstehung meiner Robots.txt beigetragen haben, kann ich heute leider nicht mehr nachvollziehen, daher gibt es auch keine Quellenangabe.
Trozdem wollte ich sie euch nicht vorenthalten.
Viel Erfolg wünscht euch der Münsteraner
Gerald
#Robots.txt Vorlage
# Siehe Blogbeitrag http://gerald-mann.com
#
User-agent: grub-client
Disallow: /User-agent: grub
Disallow: /User-agent: looksmart
Disallow: /User-agent: WebZip
Disallow: /User-agent: larbin
Disallow: /User-agent: b2w/0.1
Disallow: /User-agent: psbot
Disallow: /User-agent: Python-urllib
Disallow: /User-agent: NetMechanic
Disallow: /User-agent: URL_Spider_Pro
Disallow: /User-agent: CherryPicker
Disallow: /User-agent: EmailCollector
Disallow: /User-agent: EmailSiphon
Disallow: /User-agent: WebBandit
Disallow: /User-agent: EmailWolf
Disallow: /User-agent: ExtractorPro
Disallow: /User-agent: CopyRightCheck
Disallow: /User-agent: Crescent
Disallow: /User-agent: SiteSnagger
Disallow: /User-agent: ProWebWalker
Disallow: /User-agent: CheeseBot
Disallow: /User-agent: LNSpiderguy
Disallow: /User-agent: ia_archiver
Disallow: /User-agent: ia_archiver/1.6
Disallow: /User-agent: Teleport
Disallow: /User-agent: TeleportPro
Disallow: /User-agent: MIIxpc
Disallow: /User-agent: Telesoft
Disallow: /User-agent: Website Quester
Disallow: /User-agent: moget/2.1
Disallow: /User-agent: WebZip/4.0
Disallow: /User-agent: WebStripper
Disallow: /User-agent: WebSauger
Disallow: /User-agent: WebCopier
Disallow: /User-agent: NetAnts
Disallow: /User-agent: Mister PiX
Disallow: /User-agent: WebAuto
Disallow: /User-agent: TheNomad
Disallow: /User-agent: WWW-Collector-E
Disallow: /User-agent: RMA
Disallow: /User-agent: libWeb/clsHTTP
Disallow: /User-agent: asterias
Disallow: /User-agent: httplib
Disallow: /User-agent: turingos
Disallow: /User-agent: spanner
Disallow: /User-agent: InfoNaviRobot
Disallow: /User-agent: Harvest/1.5
Disallow: /User-agent: Bullseye/1.0
Disallow: /User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /User-agent: CherryPickerSE/1.0
Disallow: /User-agent: CherryPickerElite/1.0
Disallow: /User-agent: WebBandit/3.50
Disallow: /User-agent: NICErsPRO
Disallow: /User-agent: Microsoft URL Control – 5.01.4511
Disallow: /User-agent: DittoSpyder
Disallow: /User-agent: Foobot
Disallow: /User-agent: WebmasterWorldForumBot
Disallow: /User-agent: SpankBot
Disallow: /User-agent: BotALot
Disallow: /User-agent: lwp-trivial/1.34
Disallow: /User-agent: lwp-trivial
Disallow: /User-agent: BunnySlippers
Disallow: /User-agent: Microsoft URL Control – 6.00.8169
Disallow: /User-agent: URLy Warning
Disallow: /User-agent: Wget/1.6
Disallow: /User-agent: Wget/1.5.3
Disallow: /User-agent: Wget
Disallow: /User-agent: LinkWalker
Disallow: /User-agent: cosmos
Disallow: /User-agent: moget
Disallow: /User-agent: hloader
Disallow: /User-agent: humanlinks
Disallow: /User-agent: LinkextractorPro
Disallow: /User-agent: Offline Explorer
Disallow: /User-agent: Mata Hari
Disallow: /
User-agent: grub-client
Disallow: /User-agent: grub
Disallow: /User-agent: looksmart
Disallow: /User-agent: WebZip
Disallow: /User-agent: larbin
Disallow: /User-agent: b2w/0.1
Disallow: /User-agent: psbot
Disallow: /User-agent: Python-urllib
Disallow: /User-agent: NetMechanic
Disallow: /User-agent: URL_Spider_Pro
Disallow: /User-agent: CherryPicker
Disallow: /User-agent: EmailCollector
Disallow: /User-agent: EmailSiphon
Disallow: /User-agent: WebBandit
Disallow: /User-agent: EmailWolf
Disallow: /User-agent: ExtractorPro
Disallow: /User-agent: CopyRightCheck
Disallow: /User-agent: Crescent
Disallow: /User-agent: SiteSnagger
Disallow: /User-agent: ProWebWalker
Disallow: /User-agent: CheeseBot
Disallow: /User-agent: LNSpiderguy
Disallow: /User-agent: ia_archiver
Disallow: /User-agent: ia_archiver/1.6
Disallow: /User-agent: Teleport
Disallow: /User-agent: TeleportPro
Disallow: /User-agent: MIIxpc
Disallow: /User-agent: Telesoft
Disallow: /User-agent: Website Quester
Disallow: /User-agent: moget/2.1
Disallow: /User-agent: WebAuto
Disallow: /User-agent: WebZip/4.0
Disallow: /User-agent: WebStripper
Disallow: /User-agent: WebSauger
Disallow: /User-agent: WebCopier
Disallow: /User-agent: NetAnts
Disallow: /User-agent: Mister PiX
Disallow: /User-agent: TheNomad
Disallow: /User-agent: WWW-Collector-E
Disallow: /User-agent: RMA
Disallow: /User-agent: libWeb/clsHTTP
Disallow: /User-agent: asterias
Disallow: /User-agent: httplib
Disallow: /User-agent: turingos
Disallow: /User-agent: spanner
Disallow: /User-agent: InfoNaviRobot
Disallow: /User-agent: Harvest/1.5
Disallow: /User-agent: Bullseye/1.0
Disallow: /User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /User-agent: CherryPickerSE/1.0
Disallow: /User-agent: CherryPickerElite/1.0
Disallow: /User-agent: WebBandit/3.50
Disallow: /User-agent: NICErsPRO
Disallow: /User-agent: Microsoft URL Control – 5.01.4511
Disallow: /User-agent: DittoSpyder
Disallow: /User-agent: Foobot
Disallow: /User-agent: WebmasterWorldForumBot
Disallow: /User-agent: SpankBot
Disallow: /User-agent: BotALot
Disallow: /User-agent: lwp-trivial/1.34
Disallow: /User-agent: lwp-trivial
Disallow: /User-agent: BunnySlippers
Disallow: /User-agent: Microsoft URL Control – 6.00.8169
Disallow: /User-agent: URLy Warning
Disallow: /User-agent: Wget/1.6
Disallow: /User-agent: Wget/1.5.3
Disallow: /User-agent: Wget
Disallow: /User-agent: LinkWalker
Disallow: /User-agent: cosmos
Disallow: /User-agent: moget
Disallow: /User-agent: hloader
Disallow: /User-agent: humanlinks
Disallow: /User-agent: LinkextractorPro
Disallow: /User-agent: Offline Explorer
Disallow: /User-agent: Mata Hari
Disallow: /User-agent: BuiltBotTough
Disallow: /User-agent: LexiBot
Disallow: /User-agent: Web Image Collector
Disallow: /User-agent: The Intraformant
Disallow: /User-agent: True_Robot/1.0
Disallow: /User-agent: True_Robot
Disallow: /User-agent: BlowFish/1.0
Disallow: /User-agent: JennyBot
Disallow: /User-agent: MIIxpc/4.2
Disallow: /User-agent: ProPowerBot/2.14
Disallow: /User-agent: BackDoorBot/1.0
Disallow: /User-agent: toCrawl/UrlDispatcher
Disallow: /User-agent: WebEnhancer
Disallow: /User-agent: suzuran
Disallow: /User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /User-agent: VCI
Disallow: /User-agent: Szukacz/1.4
Disallow: /User-agent: QueryN Metasearch
Disallow: /User-agent: Openfind data gathere
Disallow: /User-agent: Openfind
Disallow: /User-agent: Xenu’s Link Sleuth 1.1c
Disallow: /User-agent: Xenu’s
Disallow: /User-agent: Zeus
Disallow: /User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /User-agent: RepoMonkey
Disallow: /User-agent: Microsoft URL Control
Disallow: /User-agent: Openbot
Disallow: /User-agent: URL Control
Disallow: /User-agent: Zeus Link Scout
Disallow: /User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /User-agent: EroCrawler
Disallow: /User-agent: LinkScan/8.1a Unix
Disallow: /User-agent: Keyword Density/0.9
Disallow: /User-agent: Kenjin Spider
Disallow: /User-agent: Iron33/1.0.2
Disallow: /User-agent: Bookmark search tool
Disallow: /User-agent: GetRight/4.2
Disallow: /User-agent: FairAd Client
Disallow: /User-agent: Gaisbot
Disallow: /User-agent: Aqua_Products
Disallow: /User-agent: Radiation Retriever 1.1
Disallow: /User-agent: Webster Pro
Disallow: /User-agent: Flaming AttackBot
Disallow: /User-agent: Oracle Ultra Search
Disallow: /User-agent: MSIECrawler
Disallow: /User-agent: PerMan
Disallow: /User-agent: searchpreview
Disallow: /User-agent: LexiBot
Disallow: /User-agent: Web Image Collector
Disallow: /User-agent: The Intraformant
Disallow: /User-agent: True_Robot/1.0
Disallow: /User-agent: True_Robot
Disallow: /User-agent: BlowFish/1.0
Disallow: /User-agent: JennyBot
Disallow: /User-agent: MIIxpc/4.2
Disallow: /User-agent: BuiltBotTough
Disallow: /User-agent: ProPowerBot/2.14
Disallow: /User-agent: BackDoorBot/1.0
Disallow: /User-agent: toCrawl/UrlDispatcher
Disallow: /User-agent: WebEnhancer
Disallow: /User-agent: suzuran
Disallow: /User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /User-agent: VCI
Disallow: /User-agent: Szukacz/1.4
Disallow: /User-agent: QueryN Metasearch
Disallow: /User-agent: Openfind data gathere
Disallow: /User-agent: Openfind
Disallow: /User-agent: Xenu’s Link Sleuth 1.1c
Disallow: /User-agent: Xenu’s
Disallow: /User-agent: Zeus
Disallow: /User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /User-agent: RepoMonkey
Disallow: /User-agent: Microsoft URL Control
Disallow: /User-agent: Openbot
Disallow: /User-agent: URL Control
Disallow: /User-agent: searchpreview
Disallow: /User-agent: Zeus Link Scout
Disallow: /User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /User-agent: Webster Pro
Disallow: /User-agent: EroCrawler
Disallow: /User-agent: LinkScan/8.1a Unix
Disallow: /User-agent: Keyword Density/0.9
Disallow: /User-agent: Kenjin Spider
Disallow: /User-agent: Iron33/1.0.2
Disallow: /User-agent: Bookmark search tool
Disallow: /User-agent: GetRight/4.2
Disallow: /User-agent: FairAd Client
Disallow: /User-agent: Gaisbot
Disallow: /User-agent: Aqua_Products
Disallow: /User-agent: Radiation Retriever 1.1
Disallow: /User-agent: Flaming AttackBot
Disallow: /User-agent: Oracle Ultra Search
Disallow: /User-agent: MSIECrawler
Disallow: /User-agent: PerMan
Disallow: /
Danke an Gerald für den Themenaufgriff.
Oktober 22nd, 2007 at 13:42
[...] hat auf Gerald aus Münster verwiesen, da der eine sehr umfangreiche robots.txt aus seinem Foren-Alltag online [...]
Oktober 22nd, 2007 at 22:01
Quellenangabe ist ja auch nicht nötig da ja fast jeder von uns schon die gleichen Inhalte bei sich drin hat
Oktober 22nd, 2007 at 22:23
Hüstel Hüstel: http://www.cs-internet.de/robots.txt
Oktober 22nd, 2007 at 22:31
Die Rede war ja auch von fast jeder
Oktober 29th, 2007 at 17:18
Für solche Dummdeppen wie mich, könnte man die einzeln mal erläutern was genau da ausgeschlossen und erlaubt wird mit?
November 6th, 2007 at 13:19
Hallo.
Hält das einen echten Contentdieb wirklich ab?
@Conny: Den genannten Spidern wird alles verboten.
November 6th, 2007 at 21:40
Das weiß ich auch, aber welche Spider es sind, das wäre interessant. Also was genau die Spider einsammeln.
November 28th, 2007 at 19:38
Hi Gerald!
Danke für die tolle Liste! Auch wenn bei mir noch kein Bot aus dieser Liste da war (Glück gehabt), habe ich die Einträge direkt in meine robots.txt eingepflegt. Nur der http://tool.motoricerca.info/robots-checker.phtml Robots.txt Validator zeigte eine Überraschung: Alle Einträge doppelt!
Ich hab die Dubletten bei mir rausgefischt – kannst du dir ja rauskopieren.
Viele Grüße!
Februar 15th, 2008 at 07:41
Wie wärs einfach damit?
User-agent: *
Disallow: /
Juli 10th, 2008 at 20:15
wenn ich ein Spider hätt. Ich geb ihm einfach neuen Namen. lööööl. Ich benutze Captcha, bis jetzt keine negativen Erfahrungen. Aber ma schaun. Irgendwann packt es jeden
September 3rd, 2008 at 11:53
[...] ich vor ettlichen Monaten bereits die perfekt Robots.txt beschrieben habe, ist nun eine extra Robotx.txt für Wordpress dran. Diese sollte folgenden [...]