Tag's Archiv
So sieht eine gute Robots.txt aus!!
Irgendwie gehört eine Robots.txt zu den absoluten Basics eines Seo´s. Vermutlich genau deswegen, wird er von diesen Seo´s nicht beachtet. Dabei sind es doch oftmals nur ein paar Zeilen die kopiert werden müssen um wenigstens den einfachsten Contentdieben den Saft abzudrehen.
Ich habe mir daher selbst in den letzten Jahren eine schöne Robots.txt zusammengebaut. Natürlich [...]