Kommentare zu: So sieht eine gute Robots.txt aus!! http://gerald-mann.com/so-sieht-eine-gute-robotstxt-aus/ der Möchtegern aus Münster Thu, 04 Mar 2010 10:15:11 +0000 http://wordpress.org/?v=2.9.2 hourly 1 Von: robots.txt für wordpress » Gerald Mann http://gerald-mann.com/so-sieht-eine-gute-robotstxt-aus/comment-page-1/#comment-8385 robots.txt für wordpress » Gerald Mann Wed, 03 Sep 2008 09:53:23 +0000 http://gerald-mann.com/seo/so-sieht-eine-gute-robotstxt-aus/#comment-8385 [...] ich vor ettlichen Monaten bereits die perfekt Robots.txt beschrieben habe, ist nun eine extra Robotx.txt für Wordpress dran. Diese sollte folgenden [...] [...] ich vor ettlichen Monaten bereits die perfekt Robots.txt beschrieben habe, ist nun eine extra Robotx.txt für Wordpress dran. Diese sollte folgenden [...]

]]> Von: Rudi Ratlos http://gerald-mann.com/so-sieht-eine-gute-robotstxt-aus/comment-page-1/#comment-6384 Rudi Ratlos Thu, 10 Jul 2008 18:15:39 +0000 http://gerald-mann.com/seo/so-sieht-eine-gute-robotstxt-aus/#comment-6384 wenn ich ein Spider hätt. Ich geb ihm einfach neuen Namen. lööööl. Ich benutze Captcha, bis jetzt keine negativen Erfahrungen. Aber ma schaun. Irgendwann packt es jeden :-) wenn ich ein Spider hätt. Ich geb ihm einfach neuen Namen. lööööl. Ich benutze Captcha, bis jetzt keine negativen Erfahrungen. Aber ma schaun. Irgendwann packt es jeden :-)

]]> Von: josef http://gerald-mann.com/so-sieht-eine-gute-robotstxt-aus/comment-page-1/#comment-4402 josef Fri, 15 Feb 2008 06:41:37 +0000 http://gerald-mann.com/seo/so-sieht-eine-gute-robotstxt-aus/#comment-4402 Wie wärs einfach damit? User-agent: * Disallow: / Wie wärs einfach damit?

User-agent: *
Disallow: /

]]> Von: Felix http://gerald-mann.com/so-sieht-eine-gute-robotstxt-aus/comment-page-1/#comment-2771 Felix Wed, 28 Nov 2007 18:38:50 +0000 http://gerald-mann.com/seo/so-sieht-eine-gute-robotstxt-aus/#comment-2771 Hi Gerald! Danke für die tolle Liste! Auch wenn bei mir noch kein Bot aus dieser Liste da war (Glück gehabt), habe ich die Einträge direkt in meine robots.txt eingepflegt. Nur der http://tool.motoricerca.info/robots-checker.phtml Robots.txt Validator zeigte eine Überraschung: Alle Einträge doppelt! :D Ich hab die Dubletten bei mir rausgefischt - kannst du dir ja rauskopieren. Viele Grüße! Hi Gerald!

Danke für die tolle Liste! Auch wenn bei mir noch kein Bot aus dieser Liste da war (Glück gehabt), habe ich die Einträge direkt in meine robots.txt eingepflegt. Nur der http://tool.motoricerca.info/robots-checker.phtml Robots.txt Validator zeigte eine Überraschung: Alle Einträge doppelt! :D

Ich hab die Dubletten bei mir rausgefischt – kannst du dir ja rauskopieren.

Viele Grüße!

]]> Von: Conny http://gerald-mann.com/so-sieht-eine-gute-robotstxt-aus/comment-page-1/#comment-2408 Conny Tue, 06 Nov 2007 20:40:41 +0000 http://gerald-mann.com/seo/so-sieht-eine-gute-robotstxt-aus/#comment-2408 Das weiß ich auch, aber welche Spider es sind, das wäre interessant. Also was genau die Spider einsammeln. Das weiß ich auch, aber welche Spider es sind, das wäre interessant. Also was genau die Spider einsammeln.

]]> Von: Leo http://gerald-mann.com/so-sieht-eine-gute-robotstxt-aus/comment-page-1/#comment-2399 Leo Tue, 06 Nov 2007 12:19:48 +0000 http://gerald-mann.com/seo/so-sieht-eine-gute-robotstxt-aus/#comment-2399 Hallo. Hält das einen echten Contentdieb wirklich ab? @Conny: Den genannten Spidern wird alles verboten. Hallo.

Hält das einen echten Contentdieb wirklich ab?

@Conny: Den genannten Spidern wird alles verboten.

]]>