Skip to main content

robots.txt

Die robots.txt

Zu aller erst: es gibt keine pauschale Vorlage die man einfach so verwenden kann. 

Passt auf, wenn ihr Seiten über die robots.txt ausschließen möchtet, jede Seite ist anders aufgebaut und selbst die kleinste Abweichung reicht aus, um mit der robots.txt mehr Schaden als Optimierung zu verursachen. Fragt im Zweifel einen erfahrenden SEO um Rat.

Dennoch geben wir euch einige „Vorschläge“ mit. Überprüft diese auf Anwendbarkeit des konkreten Projektes und überarbeitet diese.

Die robots.txt gehört in das Root-Verzeichnis einer Website. Dort liegt mitunter die .htaccess ab und kann jederzeit über domain.de/robots.txt von Usern und Bots abgefragt werden. 😉

WP-robots

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*tag*/
Disallow: /*author*/
Disallow: /*category*/
 
Sitemap: https://domain.de/sitemap.xml

Contao-robots

User-agent: *
Disallow: /check/
Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /vendor/
Disallow: /share/index.php
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md

Sitemap: http://www.domain.de/share/sitemap.xml