Zu aller erst: es gibt keine pauschale Vorlage die man einfach so verwenden kann.
Passt auf, wenn ihr Seiten über die robots.txt ausschließen möchtet, jede Seite ist anders aufgebaut und selbst die kleinste Abweichung reicht aus, um mit der robots.txt mehr Schaden als Optimierung zu verursachen. Fragt im Zweifel einen erfahrenden SEO um Rat.
Dennoch geben wir euch einige „Vorschläge“ mit. Überprüft diese auf Anwendbarkeit des konkreten Projektes und überarbeitet diese.
Die robots.txt gehört in das Root-Verzeichnis einer Website. Dort liegt mitunter die .htaccess ab und kann jederzeit über domain.de/robots.txt von Usern und Bots abgefragt werden. 😉