Konzept nicht zulassen
Was ist nicht erlaubt?
Das Nicht verbieten, dessen wörtliche Übersetzung "Ablehnen" lautet, dient dazu Verweigern Sie den Zugriff auf eine bestimmte Seite oder ein bestimmtes Verzeichnis. Es ist mit der Datei Robots.txt verknüpft und wird als bezeichnet Roboter-Ausschlussprotokoll, welche verhindert, dass die Roboter einiger Suchmaschinen Inhalte crawlen, die sie nicht in ihren Ergebnissen indizieren sollen.
Am entgegengesetzten Punkt befindet sich Zulassen, mit dem der Crawler eine URL oder ein Verzeichnis angeben kann, in die er indizieren oder crawlen kann. Beide enthalten spezifische Regeln, die nur für Agenten gelten, die wir oben angegeben haben. Es ist möglich, mehrere Disallow-Zeilen für verschiedene Benutzeragenten einzuschließen.
Um in robots.txt ein Disallow All zu erstellen, werden der User-Agent (*) und das Disallow (/) verwendet. Die erste macht die Anweisung für alle Roboter anwendbar. Die zweite Methode blockiert den Zugriff auf alle Seiten, die in der Webdomäne verfügbar sind.
Der Nachteil ist, dass bei Verwendung der App die eingegebenen Regeln nicht obligatorisch sind. Trotz der Programmierung des Disallow kann der Roboter wählen, ob er aufpassen möchte oder nicht. Daher können einige Browser die Seite oder den Link indizieren, obwohl sie etwas anderes angeben. Um eine gute Blockierung aller Roboter zu gewährleisten, können Sie die Meta-Tags verwenden und die Codes in bestimmten Vorlagen hinzufügen.
Wofür ist Disallow?
Es funktioniert für alles Jemand, der ein Projekt oder ein Web-Venture entwickelt und in der Entwicklungsphase zu sein, Sie möchten nicht, dass die Links angezeigt und angehängt werden in Suchmaschinen. Durch diese Dynamik können Sie die Privatsphäre Ihrer Arbeit garantieren, bis sie für die Öffentlichkeit freigegeben werden kann.
Auch wenn das Webportal bestimmte Informationen enthält, die nur einige Benutzer eingeben können, oder wenn Sie unter anderem eine selektive Zielgruppe nach Land, Region und Alter erreichen möchten. Es kann mehrere Gründe geben, warum Sie sich für diese Anweisung entscheiden. Idealerweise sollten Sie wissen, wofür bestimmte Codes bestimmt sind und wie Sie sie richtig verwenden.
Beispiele nicht zulassen
Es gibt verschiedene Arten von Disallow um einen Link, eine Seite oder ein Webportal ganz oder teilweise zu blockieren. Einer von ihnen ist der Disallow / adminDies schließt das Crawlen des Administratorverzeichnisses eines Webportals aus. Es gibt auch Disallow / * .gif, das den Zugriff auf die GIF-Dateien im Webportal verhindert.
Jeder hinzugefügte Code verfügt über verschiedene Funktionen, von der Blockierung von Bildern bis zur Blockierung des Zugriffs auf ganze Verzeichnisse.
Weitere Informationen zu Disallow
Wenn Sie lernen möchten, wie Sie die Datei robot.txt verwenden und die Sperrcodes korrekt codieren, empfehlen wir Ihnen, den folgenden Beitrag zu lesen:
