{"id":69602,"date":"2022-07-31T06:09:58","date_gmt":"2022-07-31T04:09:58","guid":{"rendered":"https:\/\/rmarketingdigital.com\/wiki\/robots-txt-2\/"},"modified":"2024-10-28T22:48:28","modified_gmt":"2024-10-28T21:48:28","slug":"robots-txt-2","status":"publish","type":"glossary","link":"https:\/\/rmarketingdigital.com\/de\/wiki\/robots-txt-2\/","title":{"rendered":"Robots.txt"},"content":{"rendered":"<p><\/p>\n<div id=\"mw-content-text\" lang=\"es\" dir=\"ltr\" class=\"mw-content-ltr\">\n<p>Das <b>robots.txt Datei<\/b> ist ein Dokument, das festlegt, welche Teile einer Domain von Suchmaschinen-Crawlern analysiert werden k\u00f6nnen, und einen Link zu <i>XML-Sitemap<\/i>.\n<\/p>\n<h2>\n<span class=\"mw-headline\" id=\"Estructura\">Struktur<\/span><br \/>\n<\/h2>\n<p>Der Anruf <i>&quot;Robots Exclusion Standard Protocol&quot;<\/i>, <b>Standardprotokoll f\u00fcr Roboterausschl\u00fcsse<\/b>Dieses Protokoll definiert, dass Suchmaschinen-Crawler die genannte Datei finden und lesen m\u00fcssen <b>&quot;Robots.txt&quot;<\/b> bevor Sie mit der Indizierung beginnen. Aus diesem Grund sollte es im Stammverzeichnis der Dom\u00e4ne abgelegt werden. Trotz allem m\u00fcssen wir uns daran erinnern, dass nicht alle Tracker der gleichen Regel folgen und daher die <b>&quot;Robots.txt&quot;<\/b> Sie versprechen keinen 100%-Zugang und keinen Datenschutz. Einige Suchmaschinen indizieren weiterhin blockierte Seiten und zeigen sogar solche ohne Beschreibung in den SERPs an. Dies ist insbesondere bei Websites der Fall, die zu viele Links enthalten. Unabh\u00e4ngig davon m\u00f6gen die gro\u00dfen Suchmaschinen <b> Google, Yahoo<\/b> y <b>Bing<\/b> Ja, sie entsprechen den Protokollregeln <b>&quot;Robots.txt&quot;<\/b>.\n<\/p>\n<h2>\n<span class=\"mw-headline\" id=\"Creaci.C3.B3n_y_control_del_.E2.80.9Crobots.txt.E2.80.9C\">Erstellung und Kontrolle der &quot;robots.txt&quot;<\/span><br \/>\n<\/h2>\n<p>Es ist einfach, eine zu erstellen <b>&quot;Robots.txt&quot;<\/b> mit Hilfe eines Texteditors. Gleichzeitig finden Sie im Internet kostenlose Tools, die detaillierte Informationen zum Generieren einer Datei bieten. <b>&quot;Robots.txt&quot;<\/b> oder dass sie es sogar automatisch f\u00fcr Sie erstellen. Jede Datei enth\u00e4lt 2 Bl\u00f6cke. Im ersten wird angegeben, f\u00fcr welche Benutzer die Anweisungen g\u00fcltig sind. Im zweiten Block werden die Anweisungen geschrieben, aufgerufen <i>&quot;Nicht zulassen&quot;<\/i>, mit der Liste der auszuschlie\u00dfenden Seiten. Es wird empfohlen, sorgf\u00e4ltig zu \u00fcberpr\u00fcfen, ob die Datei korrekt geschrieben wurde, bevor Sie sie in das Verzeichnis herunterladen, da Sie mit einem winzigen Syntaxfehler die Anweisungen und Indexseiten falsch interpretieren k\u00f6nnen, die theoretisch nicht in den Suchergebnissen erscheinen sollten. Um zu \u00fcberpr\u00fcfen, ob die Datei <b>&quot;Robots.txt&quot;<\/b> funktioniert einwandfrei Sie k\u00f6nnen das Webmaster-Tool von Google verwenden und eine Analyse zu \u201eStatus\u201c -&gt; \u201eBlockierte URLs\u201c durchf\u00fchren.\n<\/p>\n<p><a rel=\"nofollow noopener noreferrer\" target=\"_blank\" data-bs-title=\"Archivo:600x400-robotstxt-es-01.png\" data-bs-filetimestamp=\"20180423165522\"><img loading=\"lazy\" decoding=\"async\" alt=\"600x400-robotstxt-de-01.png\" src=\"https:\/\/rmarketingdigital.com\/wp-content\/uploads\/2020\/05\/600x400-robotstxt-es-01.png\" width=\"600\" height=\"400\"><\/a>\n<\/p>\n<h2>\n<span class=\"mw-headline\" id=\"Exclusi.C3.B3n_de_p.C3.A1ginas\">Seitenausschluss<\/span><br \/>\n<\/h2>\n<p>Die einfachste Struktur einer Datei <b>robots.txt<\/b> erscheint wie folgt:\n<\/p>\n<pre>User-Agent: Googlebot Disallow:\n<\/pre>\n<p>Mit diesem Code kann Googlebot alle Seiten analysieren. Das Gegenteil, wie das vollst\u00e4ndige Verbot des Webportals, lautet wie folgt: &#039;\n<\/p>\n<pre>User-Agent: Googlebot Disallow:\n<\/pre>\n<p>In die Zeile &quot;User-Agent&quot; schreibt der Benutzer, an wen er adressiert ist. Die folgenden Begriffe k\u00f6nnen verwendet werden:\n<\/p>\n<ul>\n<li> Googlebot (Google-Suchmaschine)<\/li>\n<li> Googlebot-Image (Google-Bildsuche)<\/li>\n<li> Adsbot-Google (Google AdWords)<\/li>\n<li> Slurp (Yahoo)<\/li>\n<li> Bingbot (Bing)<\/li>\n<\/ul>\n<p>Wenn die Bestellung an verschiedene Benutzer gerichtet ist, hat jeder Roboter eine eigene Linie. Im <i>mindshape.de<\/i> Sie finden eine Zusammenfassung der h\u00e4ufigsten Auftr\u00e4ge und Parameter zum Erstellen eines <b>robots.txt<\/b>. Dar\u00fcber hinaus kann ein Link zu einer XML-Sitemap wie folgt hinzugef\u00fcgt werden:\n<\/p>\n<pre>Sitemap: http:\/\/www.domain.de\/sitemap.xm\n<\/pre>\n<h2>\n<span class=\"mw-headline\" id=\"Ejemplo\">Beispiel<\/span><br \/>\n<\/h2>\n<pre>\n# robots.txt f\u00fcr http:\/\/www.example.com\/ Benutzeragent: UniversalRobot \/ 1.0 Benutzeragent: my-robot Nicht zulassen: \/ sources \/ dtd \/ Benutzeragent: * Nicht zulassen: \/ nonsense \/ Nicht zulassen: \/ temp \/ Nicht zulassen: \/newsticker.shtml\n<\/pre>\n<h2>\n<span class=\"mw-headline\" id=\"Relevancia_para_el_SEO\">Relevanz f\u00fcr SEO<\/span><br \/>\n<\/h2>\n<p>Die Verwendung des Protokolls <b>robots.txt<\/b> beeinflusst den Zugriff von Crawlern auf das Webportal. Es gibt zwei verschiedene Befehle: <i>&quot;Zulassen&quot; und &quot;Nicht zulassen&quot;<\/i>. Es ist sehr wichtig, dieses Protokoll korrekt zu verwenden, da die Crawler es nicht lesen oder indizieren k\u00f6nnen, wenn der Webmaster versehentlich - mithilfe des Befehls &quot;disallow&quot; - wichtige Dateien und Inhalte des Webportals blockiert. Unabh\u00e4ngig davon k\u00f6nnen Webmaster bei korrekter Verwendung Crawler dar\u00fcber informieren, wie sie die interne Struktur ihres Webportals \u00fcberpr\u00fcfen k\u00f6nnen.\n<\/p>\n<h2>\n<span class=\"mw-headline\" id=\"Enlaces_web\">Web-Links<\/span><br \/>\n<\/h2>\n<ul>\n<li>\n<a rel=\"nofollow noopener noreferrer\" target=\"_blank\" class=\"external text\" href=\"https:\/\/support.google.com\/webmasters\/answer\/6062608?hl=es\">Informationen zu robots.txt-Dateien<\/a> support.google.com<\/li>\n<\/ul>\n<ul>\n<li>\n<a rel=\"nofollow noopener noreferrer\" target=\"_blank\" class=\"external text\" href=\"http:\/\/ignaciosantiago.com\/archivo-robots-txt\/\">Robots.txt-Datei: Was es ist, wof\u00fcr es ist und wie man es erstellt<\/a> Blog ignaciosantiago.com<\/li>\n<\/ul>\n<p><!-- \nNewPP limit report\nCached time: 20200502053241\nCache expiry: 86400\nDynamic content: false\nCPU time usage: 0.008 seconds\nReal time usage: 0.009 seconds\nPreprocessor visited node count: 59\/1000000\nPreprocessor generated node count: 108\/1000000\nPost\u2010expand include size: 0\/2097152 bytes\nTemplate argument size: 0\/2097152 bytes\nHighest expansion depth: 2\/40\nExpensive parser function count: 0\/100\n--><!-- \nTransclusion expansion time report (%,ms,calls,template)\n100.00%    0.000      1 - -total\n--><!-- Saved in parser cache with key es_:stable-pcache:idhash:15-0!*!0!!es!5!* and timestamp 20200502053241 and revision id 2769\n -->\n<\/div>","protected":false},"excerpt":{"rendered":"<p>El archivo robots.txt es un documento que establece qu\u00e9 partes de un dominio pueden ser analizadas por los rastreadores de los motores de b\u00fasqueda y proporciona un link al XML-sitemap&#8230;.<\/p>","protected":false},"author":1,"featured_media":69604,"parent":0,"template":"","glossary-cat":[],"class_list":["post-69602","glossary","type-glossary","status-publish","has-post-thumbnail"],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v27.0 (Yoast SEO v28.2) - https:\/\/yoast.com\/product\/yoast-seo-premium-wordpress\/ -->\n<title>Robots.txt - R Marketing Digital<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/rmarketingdigital.com\/de\/wiki\/robots-txt-2\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Robots.txt\" \/>\n<meta property=\"og:description\" content=\"El archivo robots.txt es un documento que establece qu\u00e9 partes de un dominio pueden ser analizadas por los rastreadores de los motores de b\u00fasqueda y proporciona un link al XML-sitemap....\" \/>\n<meta property=\"og:url\" content=\"https:\/\/rmarketingdigital.com\/de\/wiki\/robots-txt-2\/\" \/>\n<meta property=\"og:site_name\" content=\"R Marketing Digital\" \/>\n<meta property=\"article:modified_time\" content=\"2024-10-28T21:48:28+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/rmarketingdigital.com\/wp-content\/uploads\/2020\/05\/600x400-robotstxt-es-01.png\" \/>\n\t<meta property=\"og:image:width\" content=\"600\" \/>\n\t<meta property=\"og:image:height\" content=\"400\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/rmarketingdigital.com\\\/wiki\\\/robots-txt-2\\\/\",\"url\":\"https:\\\/\\\/rmarketingdigital.com\\\/wiki\\\/robots-txt-2\\\/\",\"name\":\"Robots.txt - R Marketing Digital\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/rmarketingdigital.com\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/rmarketingdigital.com\\\/wiki\\\/robots-txt-2\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/rmarketingdigital.com\\\/wiki\\\/robots-txt-2\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/rmarketingdigital.com\\\/wp-content\\\/uploads\\\/2020\\\/05\\\/600x400-robotstxt-es-01.png\",\"datePublished\":\"2022-07-31T04:09:58+00:00\",\"dateModified\":\"2024-10-28T21:48:28+00:00\",\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/rmarketingdigital.com\\\/wiki\\\/robots-txt-2\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/rmarketingdigital.com\\\/wiki\\\/robots-txt-2\\\/#primaryimage\",\"url\":\"https:\\\/\\\/rmarketingdigital.com\\\/wp-content\\\/uploads\\\/2020\\\/05\\\/600x400-robotstxt-es-01.png\",\"contentUrl\":\"https:\\\/\\\/rmarketingdigital.com\\\/wp-content\\\/uploads\\\/2020\\\/05\\\/600x400-robotstxt-es-01.png\",\"width\":600,\"height\":400,\"caption\":\"600x400-robotstxt-es-01-5764978-png\"},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/rmarketingdigital.com\\\/#website\",\"url\":\"https:\\\/\\\/rmarketingdigital.com\\\/\",\"name\":\"R Marketing Digital\",\"description\":\"Agencia SEO | Publicidad redes sociales | Community Management\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/rmarketingdigital.com\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Robots.txt - R Marketing Digital","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/rmarketingdigital.com\/de\/wiki\/robots-txt-2\/","og_locale":"de_DE","og_type":"article","og_title":"Robots.txt","og_description":"El archivo robots.txt es un documento que establece qu\u00e9 partes de un dominio pueden ser analizadas por los rastreadores de los motores de b\u00fasqueda y proporciona un link al XML-sitemap....","og_url":"https:\/\/rmarketingdigital.com\/de\/wiki\/robots-txt-2\/","og_site_name":"R Marketing Digital","article_modified_time":"2024-10-28T21:48:28+00:00","og_image":[{"width":600,"height":400,"url":"https:\/\/rmarketingdigital.com\/wp-content\/uploads\/2020\/05\/600x400-robotstxt-es-01.png","type":"image\/png"}],"twitter_card":"summary_large_image","schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/rmarketingdigital.com\/wiki\/robots-txt-2\/","url":"https:\/\/rmarketingdigital.com\/wiki\/robots-txt-2\/","name":"Robots.txt - R Marketing Digital","isPartOf":{"@id":"https:\/\/rmarketingdigital.com\/#website"},"primaryImageOfPage":{"@id":"https:\/\/rmarketingdigital.com\/wiki\/robots-txt-2\/#primaryimage"},"image":{"@id":"https:\/\/rmarketingdigital.com\/wiki\/robots-txt-2\/#primaryimage"},"thumbnailUrl":"https:\/\/rmarketingdigital.com\/wp-content\/uploads\/2020\/05\/600x400-robotstxt-es-01.png","datePublished":"2022-07-31T04:09:58+00:00","dateModified":"2024-10-28T21:48:28+00:00","inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/rmarketingdigital.com\/wiki\/robots-txt-2\/"]}]},{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/rmarketingdigital.com\/wiki\/robots-txt-2\/#primaryimage","url":"https:\/\/rmarketingdigital.com\/wp-content\/uploads\/2020\/05\/600x400-robotstxt-es-01.png","contentUrl":"https:\/\/rmarketingdigital.com\/wp-content\/uploads\/2020\/05\/600x400-robotstxt-es-01.png","width":600,"height":400,"caption":"600x400-robotstxt-es-01-5764978-png"},{"@type":"WebSite","@id":"https:\/\/rmarketingdigital.com\/#website","url":"https:\/\/rmarketingdigital.com\/","name":"R Digitales Marketing","description":"SEO Agentur | Werbung f\u00fcr soziale Netzwerke | Community Management","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/rmarketingdigital.com\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"}]}},"_links":{"self":[{"href":"https:\/\/rmarketingdigital.com\/de\/wp-json\/wp\/v2\/glossary\/69602","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/rmarketingdigital.com\/de\/wp-json\/wp\/v2\/glossary"}],"about":[{"href":"https:\/\/rmarketingdigital.com\/de\/wp-json\/wp\/v2\/types\/glossary"}],"author":[{"embeddable":true,"href":"https:\/\/rmarketingdigital.com\/de\/wp-json\/wp\/v2\/users\/1"}],"version-history":[{"count":0,"href":"https:\/\/rmarketingdigital.com\/de\/wp-json\/wp\/v2\/glossary\/69602\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/rmarketingdigital.com\/de\/wp-json\/wp\/v2\/media\/69604"}],"wp:attachment":[{"href":"https:\/\/rmarketingdigital.com\/de\/wp-json\/wp\/v2\/media?parent=69602"}],"wp:term":[{"taxonomy":"glossary-cat","embeddable":true,"href":"https:\/\/rmarketingdigital.com\/de\/wp-json\/wp\/v2\/glossary-cat?post=69602"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}