{"id":233936,"date":"2022-01-26T10:30:00","date_gmt":"2022-01-26T08:30:00","guid":{"rendered":"https:\/\/devowl.io\/?p=233936"},"modified":"2024-10-08T16:18:19","modified_gmt":"2024-10-08T14:18:19","slug":"robots-txt","status":"publish","type":"blog","link":"https:\/\/devowl.io\/de\/wordpress\/robots-txt\/","title":{"rendered":"robots.txt \u2013 das musst du wissen!"},"content":{"rendered":"<section class=\"l-section wpb_row height_medium\"><div class=\"l-section-h i-cf\"><div class=\"g-cols vc_row via_flex valign_top type_default stacking_default\"><div class=\"vc_col-sm-12 wpb_column vc_column_container\"><div class=\"vc_column-inner\"><div class=\"wpb_wrapper\"><div class=\"wpb_text_column\"><div class=\"wpb_wrapper\"><p>Bestimmt hast du bereits schon einmal von dieser Datei geh\u00f6rt. Doch was genau\u00a0verbirgt sich eigentlich hinter der robots.txt-Datei? Wie funktioniert sie und welche Auswirkungen hat sie auf deine Website?<\/p>\n<p>We&#8217;ll tell you!<\/p>\n<\/div><\/div><div class=\"wpb_text_column\"><div class=\"wpb_wrapper\">\n<\/div><\/div><div class=\"wpb_text_column\"><div class=\"wpb_wrapper\"><h2>robots.txt &#8211; what is it?<\/h2>\n<p>Bei einer robots.txt-Datei handelt es sich um eine Textdatei. Diese ist eine Art Anleitung f\u00fcr Bots und Crawler (z.B. Googlebot), in der steht, welche Verzeichnisse einer Website gelesen werden d\u00fcrfen und welche nicht. So k\u00f6nnen zum Beispiel auch doppelte Dateien von der Indexierung ausgeschlossen werden.<\/p>\n<p>Without such a robots.txt file, the crawler or bot searches the entire website &#8211; potentially every single file. These can then all end up in Google search, for example, even if they shouldn&#8217;t end up there at all (e.g. private admin area of the website). This can also have a negative impact on your search engine optimization, as subpages are crawled that are not optimized for search engines.<\/p>\n<\/div><\/div><div class=\"w-iconbox us_custom_8551abba iconpos_left style_outlined color_primary align_left no_title\"><div class=\"w-iconbox-icon\" style=\"font-size:18px;\"><i class=\"fas fa-lightbulb\"><\/i><\/div><div class=\"w-iconbox-meta\"><div class=\"w-iconbox-text\"><p class=\"translation-block\">Ein <strong>Crawler<\/strong> ist ein Computerprogramm oder auch Bot, der automatisch das World Wide Web nach Daten durchsucht, Websites analysiert und indexiert.<\/p>\n<\/div><\/div><\/div><div class=\"wpb_text_column\"><div class=\"wpb_wrapper\"><h3>Beispiel f\u00fcr eine robots.txt-Datei<\/h3>\n<\/div><\/div><div class=\"w-image us_custom_4f24afa8 align_none\"><a ref=\"magnificPopup\" href=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-datei-devowl.png\" aria-label=\"robots.txt Datei devowl\" class=\"w-image-h\"><img decoding=\"async\" width=\"788\" height=\"256\" src=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-datei-devowl.png\" class=\"attachment-large size-large\" alt=\"robots.txt Datei devowl\" loading=\"lazy\" srcset=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-datei-devowl.png 788w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-datei-devowl-326x106.png 326w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-datei-devowl-18x6.png 18w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-datei-devowl-652x212.png 652w\" sizes=\"auto, (max-width: 788px) 100vw, 788px\" \/><\/a><\/div><div class=\"wpb_text_column\"><div class=\"wpb_wrapper\"><p class=\"translation-block\">In dem Screenshot siehst du die txt-Datei der devowl.io-Website. Im Folgenden dr\u00f6seln wir den Aufbau der <code>robots.txt<\/code>-Datei einmal auf.<\/p>\n<ul>\n<li class=\"translation-block\"><code>User-agent: *: <\/code>Hier wird festgelegt, welche Bots und Crawler die Website durchsuchen d\u00fcrfen. Das Sternchen (*) bedeutet, dass s\u00e4mtliche Bots\/Crawler Zugriff haben. Alternativ k\u00f6nnte hier auch <code>User-agent:<\/code> Googlebot stehen, damit ausschlie\u00dflich der Google Bot die Website durchsucht.<\/li>\n<li class=\"translation-block\"><code>Disallow: \/wp-admin\/:<\/code> In Disallow legst du fest, welche Verzeichnisse, Seiten und Dateien nicht von denen im User-agent festgelegten Bots\/Crawlern ausgelesen werden d\u00fcrfen. In unserem Fall handelt es sich um Seiten, die mit devowl.io\/wp-admin\/ beginnen \u2013 sprich dem Admin-Login. Sollte anstelle von <code>\/wp-admin\/<\/code> einfach nur <code>\/<\/code> stehen w\u00fcrde das bedeuten, dass kein Verzeichnis durchsucht werden darf. Das hei\u00dft, Bots w\u00fcrden die Website gar nicht durchsuchen. Tr\u00e4gst du hinter <code>Disallow:<\/code> nichts ein, werden alle Seiten gecrawlt.<\/li>\n<li class=\"translation-block\"><code>Allow: \/wp-admin\/admin-ajax.php:<\/code> Alle Bots d\u00fcrfen die konkrete PHP-Datei durchsuchen. Auch hier gilt wieder, dass der Seitenname dem im Browser angezeigten entsprechen muss.<\/li>\n<li class=\"translation-block\"><code>Sitemap: https:\/\/devowl.io\/sitemaps.xml:<\/code> In manchen F\u00e4llen \u2013 wie bei uns \u2013 findest du auch einen Sitemap-Eintrag in der <code>robots.txt<\/code>-Datei. Dieser Eintrag verr\u00e4t dir, wo genau du die Sitemap der entsprechenden Website findest. Den Link kannst du kopieren und in einem neuen Tab einf\u00fcgen. In einer XML-Sitemap sind alle URLs einer Website aufgelistet.<\/li>\n<\/ul>\n<h3>Regul\u00e4re Ausdr\u00fccke in der robots.txt<\/h3>\n<p>Sometimes it is impractical to always specify the full directory, page or file names. For example, if you want to exclude all .pdf files in all subdirectories from crawling. Therefore, there are regular expressions &#8211; dynamic rules &#8211; that you can use.<\/p>\n<ul>\n<li class=\"translation-block\"><strong><code>*<\/code>:<\/strong> Das <code>*<\/code>-Symbol \u2013 auch als Wildcard bekannt \u2013 kommt zum Einsatz, wenn du beliebige Zeichen innerhalb einer Zeichenkette haben m\u00f6chtest. Zum Beispiel, in <code>disallow: \/uploads\/product\/*\/*.jpg<\/code> werden alle JPG-Bilder (zweites Sternchen f\u00fcr den Bildnamen), die in einem Unterverzeichnis (erstes Sternchen) von uploads\/product\/ stecken, nicht mehr gecrawlt.<\/li>\n<li class=\"translation-block\"><code>$<\/code>: Au\u00dferdem gibt es noch das Dollar-Zeichen. Dieses kommt zus\u00e4tzlich zum Wildcard-Symbol zum Einsatz, wenn du URLs ausschlie\u00dfen m\u00f6chtest, die eine bestimmte Endung haben. Beispielsweise <code>disallow: *.pdf$<\/code> sagt aus, dass alle <code>.pdf<\/code>-Dateien nicht gecrawlt werden sollen.<\/li>\n<\/ul>\n<h3>Crawl-Delay: Entscheide, wie schnell der Crawler arbeitet!<\/h3>\n<p class=\"translation-block\">Die Crawl-Delay gibt an, mit welcher Verz\u00f6gerung in Sekunden der Bot die Seiten crawlen soll. <code>Crawl-Delay: 10<\/code> bedeutet, dass der Bot Crawling-Vorg\u00e4nge jeweils in einem Abstand pro Datei\/Seite von 10 Sekunden durchgef\u00fchrt werden soll.<\/p>\n<h3>Wie sieht eine komplexe robots.txt-Datei aus<\/h3>\n<p class=\"translation-block\">Theoretisch kannst du deine <code>robots.txt<\/code>-Datei auch ausweiten und mehrere Eintr\u00e4ge aufnehmen. Das k\u00f6nnte dann etwa so aussehen:<\/p>\n<pre><code class=\"language-\">User-Agent: Googlebot\n<\/code><code class=\"language-\">Disallow: \/*.pdf$\nUser-Agent: Adsbot-Google\nDisallow: \/\nUser-Agent: *\nDisallow: \/wp-admin\/\n<\/code><\/pre>\n<p>In diesem Beispiel geschieht Folgendes:<\/p>\n<ul>\n<li class=\"translation-block\">Google Bot: Darf alles crawlen, au\u00dfer <code>.pdf<\/code>-Dateien.<\/li>\n<li>Google Ads Bot: Darf die Website gar nicht crawlen.<\/li>\n<li class=\"translation-block\">Alle anderen Bots: D\u00fcrfen die gesamte Website crawlen, au\u00dfer das <code>\/wp-admin\/<\/code>-Verzeichnis.<\/li>\n<\/ul>\n<\/div><\/div><div class=\"wpb_text_column\"><div class=\"wpb_wrapper\"><h2>Wo finde ich die robots.text-Datei meiner Website?<\/h2>\n<p class=\"translation-block\">Die <code>robots.txt<\/code>-Datei befindet sich im Stammverzeichnis \u2013 auch Root-Verzeichnis genannt \u2013 deiner Website. Die Datei kannst du aufrufen, indem du in deinem Browser die Domain der Website mit dem Zusatz <code>\/robots.txt<\/code> aufrufst. <strong>Beispiel:<\/strong><code>devowl.io\/robots.txt<\/code><\/p>\n<p>Genauso findest du die robots.txt Datei im Stammverzeichnis, wenn du dich per FTP mit deinem Webspace verbindest.<\/p>\n<p class=\"translation-block\">M\u00f6chte ein Webcrawler oder Bot deine Website durchsuchen, ist die <code>robots.txt<\/code>-Datei im Stammverzeichnis dessen erste Anlaufstelle. Nachdem er wei\u00df, was er \u00fcberhaupt crawlen darf, durchsucht er die Website erst weiter.<\/p>\n<\/div><\/div><div class=\"wpb_text_column\"><div class=\"wpb_wrapper\"><h2>Wie kann ich eine robots.txt-Datei erstellen?<\/h2>\n<p class=\"translation-block\">Um eine <code>robots.txt<\/code>-Datei ohne viel M\u00fche zu kreieren, gibt es mittlerweile einige Tools, die du zur Hilfe nehmen kannst. Eines dieser Tools ist der <a href=\"https:\/\/de.ryte.com\/free-tools\/robots-txt-generator\/\" target=\"_blank\" rel=\"noopener\">robots.txt-Generator von ryte<\/a>.<\/p>\n<\/div><\/div><div class=\"w-image us_custom_4f24afa8 align_none\"><a ref=\"magnificPopup\" href=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/ryte-robots-txt-generator.png\" aria-label=\"RYTE robots txt Generator\" class=\"w-image-h\"><img decoding=\"async\" width=\"890\" height=\"498\" src=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator-ryte.png\" class=\"attachment-large size-large\" alt=\"RYTE robots txt Generator\" loading=\"lazy\" srcset=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator-ryte.png 2832w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator-ryte-326x159.png 326w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator-ryte-890x434.png 890w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator-ryte-18x9.png 18w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator-ryte-652x318.png 652w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator-ryte-1780x869.png 1780w\" sizes=\"auto, (max-width: 890px) 100vw, 890px\" \/><\/a><\/div><div class=\"wpb_text_column\"><div class=\"wpb_wrapper\"><p class=\"translation-block\">Der <code>robots.txt<\/code>-Generator ist sehr anf\u00e4ngerfreundlich aufgebaut. Du kannst dir deine <code>robots.txt<\/code>-Datei in wenigen Schritten zusammenschustern. Nachdem du alles eingestellt hast, dr\u00fcckst du auf erstellen und kannst die fertige Datei herunterladen. Diese musst du dann nur noch z.B. via FTP in das Stammverzeichnis deiner Website hochladen.<\/p>\n<p class=\"translation-block\">Eine weitere M\u00f6glichkeit ist der <a href=\"https:\/\/smallseotools.com\/robots-txt-generator\/\" target=\"_blank\" rel=\"noopener\">robots.text-Generator von SEO-Ulm<\/a>.<\/p>\n<\/div><\/div><div class=\"w-image us_custom_4f24afa8 align_none\"><a ref=\"magnificPopup\" href=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator-settings.png\" aria-label=\"robots.txt Generator Settings\" class=\"w-image-h\"><img decoding=\"async\" width=\"890\" height=\"710\" src=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator.png\" class=\"attachment-large size-large\" alt=\"robots.txt Generator Settings\" loading=\"lazy\" srcset=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator.png 1862w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator-326x273.png 326w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator-890x745.png 890w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator-14x12.png 14w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator-652x546.png 652w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/robots-txt-generator-1780x1489.png 1780w\" sizes=\"auto, (max-width: 890px) 100vw, 890px\" \/><\/a><\/div><div class=\"wpb_text_column\"><div class=\"wpb_wrapper\"><p>This generator is also similar to the one from ryte. You can make different settings &#8211; like defining the different bots. Then you can create and download the file.<\/p>\n<\/div><\/div><div class=\"w-iconbox us_custom_8551abba iconpos_left style_outlined color_primary align_left no_title\"><div class=\"w-iconbox-icon\" style=\"font-size:18px;\"><i class=\"fas fa-lightbulb\"><\/i><\/div><div class=\"w-iconbox-meta\"><div class=\"w-iconbox-text\"><p class=\"translation-block\"><strong>Wichtig:<\/strong> Damit deine <code>robots.txt<\/code>-Datei problemlos funktioniert, solltest du auf folgende Aspekte achten:<\/p>\n<ul>\n<li>Klein- und Gro\u00dfschreibung<\/li>\n<li>Abspeichern im Stammverzeichnis<\/li>\n<li>Auf korrekte Anweisungen achten (Sind die richtigen Verzeichnisse oder Seiten disallowed\/allowed?)<\/li>\n<\/ul>\n<\/div><\/div><\/div><div class=\"wpb_text_column\"><div class=\"wpb_wrapper\"><h2>Wie kann ich die robots.txt hochladen?<\/h2>\n<p class=\"translation-block\">Wenn du keine Lust hast, die <code>robots.txt<\/code>-Datei mittels FTP-Client (z.B. <a href=\"https:\/\/filezilla-project.org\/download.php?type=client\" target=\"_blank\" rel=\"noopener\">Filezilla<\/a>) hochzuladen, bleiben dir zwei weitere Optionen: Entweder du wendest dich an deinen Hosting-Anbieter (wenn du keinen direkten Zugriff auf den Webserver hast) oder du verwendest ein WordPress-Plugin. Eines dieser Plugins ist <a href=\"https:\/\/de.wordpress.org\/plugins\/wp-robots-txt\/\" target=\"_blank\" rel=\"noopener\">WP Robots Txt<\/a>.<\/p>\n<\/div><\/div><div class=\"w-image us_custom_4f24afa8 align_none\"><a ref=\"magnificPopup\" href=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/wordpress-wo-robots-txt-plugin.png\" aria-label=\"WP Robots TXT Plugin\" class=\"w-image-h\"><img decoding=\"async\" width=\"890\" height=\"407\" src=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/wp-robots-txt-plugin.png\" class=\"attachment-large size-large\" alt=\"WP Robots TXT Plugin\" loading=\"lazy\" srcset=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/wp-robots-txt-plugin.png 2862w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/wp-robots-txt-plugin-326x164.png 326w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/wp-robots-txt-plugin-890x448.png 890w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/wp-robots-txt-plugin-18x9.png 18w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/wp-robots-txt-plugin-652x329.png 652w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/wp-robots-txt-plugin-1780x897.png 1780w\" sizes=\"auto, (max-width: 890px) 100vw, 890px\" \/><\/a><\/div><div class=\"wpb_text_column\"><div class=\"wpb_wrapper\"><p class=\"translation-block\">Das Plugin ist kostenlos. Nach der Installation findest du es links in der Men\u00fcleiste unter <em>Einstellungen &gt; Lesen<\/em>. Scrollst du hier nach unten, findest du nun den Eintrag <em>Robots.txt Content<\/em>. Hier kannst du in WordPress die <code>robots.txt<\/code>-Datei bearbeiten. In das entsprechende Feld kannst du den Code eintragen, den wir im vorherigen Schritt generiert haben. Vergiss nicht, die \u00c4nderungen im Anschluss abzuspeichern.<\/p>\n<p class=\"translation-block\">Aber auch mithilfe des <a href=\"https:\/\/de.wordpress.org\/plugins\/wordpress-seo\/\" target=\"_blank\" rel=\"noopener\">Yoast SEO-Plugins<\/a> kannst du eine <code>robots.txt<\/code>-Datei hinzuf\u00fcgen.<\/p>\n<\/div><\/div><div class=\"w-image us_custom_4f24afa8 align_none\"><a ref=\"magnificPopup\" href=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/tools-yoast-seo-wpdev-wordpress.png\" aria-label=\"Yoast SEO robots txt\" class=\"w-image-h\"><img decoding=\"async\" width=\"890\" height=\"519\" src=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/yoast-seo-werkzeuge.png\" class=\"attachment-large size-large\" alt=\"Yoast SEO robots txt\" loading=\"lazy\" srcset=\"https:\/\/devowl.io\/wp-content\/uploads\/blog\/yoast-seo-werkzeuge.png 2188w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/yoast-seo-werkzeuge-326x192.png 326w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/yoast-seo-werkzeuge-890x524.png 890w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/yoast-seo-werkzeuge-18x12.png 18w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/yoast-seo-werkzeuge-652x384.png 652w, https:\/\/devowl.io\/wp-content\/uploads\/blog\/yoast-seo-werkzeuge-1780x1048.png 1780w\" sizes=\"auto, (max-width: 890px) 100vw, 890px\" \/><\/a><\/div><div class=\"wpb_text_column\"><div class=\"wpb_wrapper\"><p class=\"translation-block\">Um deine erstellte <code>robots.txt<\/code>-Datei zu importieren, gehst du nach der Installation links im Men\u00fc auf <em>Werkzeuge &gt; Datei-Editor<\/em>. Hier findest du die Option, die Datei hochzuladen.<\/p>\n<\/div><\/div><div class=\"w-iconbox us_custom_8551abba iconpos_left style_outlined color_primary align_left no_title\"><div class=\"w-iconbox-icon\" style=\"font-size:18px;\"><i class=\"fas fa-lightbulb\"><\/i><\/div><div class=\"w-iconbox-meta\"><div class=\"w-iconbox-text\"><p class=\"translation-block\"><strong>Tipp:<\/strong> Um die \u00c4nderungen der <code>robots.txt<\/code>-Datei zu testen, kannst du beispielsweise den <a href=\"https:\/\/support.google.com\/webmasters\/answer\/6062598?hl=de\" target=\"_blank\" rel=\"noopener\">robots.txt-Tester von Google<\/a> \n verwenden.<\/p>\n<\/div><\/div><\/div><div class=\"wpb_text_column\"><div class=\"wpb_wrapper\"><h2>robots.txt und SEO<\/h2>\n<p class=\"translation-block\">Was hat die <code>robots.txt<\/code>-Datei eigentlich mit der Suchmaschinenoptimierung zu tun? Nicht gerade wenig. Mittels der <code>robots.txt<\/code>-Datei kannst du grunds\u00e4tzlich besser steuern, welche Seiten von den Bots gecrawlt und indexiert werden sollen. Das spart nicht nur Google beim Crawlen Zeit, sondern tr\u00e4gt dazu ein, dass nur relevante Seiten deiner Website in Google landen. Dies kann positiven Einfluss auf deine Platzierung im Google-Ranking haben.<\/p>\n<\/div><\/div><\/div><\/div><\/div><\/div><\/div><\/section>","protected":false},"author":1,"featured_media":234984,"template":"","meta":{"_acf_changed":false,"_seopress_robots_primary_cat":"","_seopress_titles_title":"","_seopress_titles_desc":"What is a robots.txt file? How does it work? Where can you find it? And how does it influence search engine optimization? Learn more!","_seopress_robots_index":"","inline_featured_image":false,"restrictTranslations":["en_US","de_DE"],"footnotes":""},"class_list":["post-233936","blog","type-blog","status-publish","has-post-thumbnail","hentry","content-cluster-wordpress"],"acf":[],"_links":{"self":[{"href":"https:\/\/devowl.io\/de\/wp-json\/wp\/v2\/blog\/233936","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/devowl.io\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/devowl.io\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/devowl.io\/de\/wp-json\/wp\/v2\/users\/1"}],"version-history":[{"count":12,"href":"https:\/\/devowl.io\/de\/wp-json\/wp\/v2\/blog\/233936\/revisions"}],"predecessor-version":[{"id":235703,"href":"https:\/\/devowl.io\/de\/wp-json\/wp\/v2\/blog\/233936\/revisions\/235703"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/devowl.io\/de\/wp-json\/wp\/v2\/media\/234984"}],"wp:attachment":[{"href":"https:\/\/devowl.io\/de\/wp-json\/wp\/v2\/media?parent=233936"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}