Semantic Health Crawler
Toggle Dark/Light/Auto mode Toggle Dark/Light/Auto mode Toggle Dark/Light/Auto mode
  1. Semantic Health Crawler
  2. /
  3. Crawler Ethik
  4. /
  5. Besuch verhindern
  6. /
  7. Robots.txt Standard

Robots.txt Standard

User-Agent

Der User-Agent unseres Web-Crawlers lautet:

Semantic Health Web Crawler (shc-info.zml.hs-heilbronn.de)

Beispiele

Sie können entscheiden, ob Ihre gesamte Webseite (A) oder nur Webseiten eines bestimmten Pfades (b) ausgeschlossen werden sollen.

Variante A

Ein möglicher Eintrag in der robots.txt Datei zum vollständigen Ausschluss der Webseiten Ihres Webservers lautet:

User-agent: Semantic Health Web Crawler (shc-info.zml.hs-heilbronn.de)
Disallow: /
Variante B

Ein möglicher Eintrag in der robots.txt Datei zum Ausschluss der Webseiten eines bestimmten Pfades, zum Beispiel /my-site/private, Ihrer Website lautet:

User-agent: Semantic Health Web Crawler (shc-info.zml.hs-heilbronn.de)
Disallow: /my-site/private

Weitere Hinweise

Bitte bedenken Sie, dass eine Änderung in der robots.txt Datei Ihres Servers erst dann eine Änderung bewirkt, wenn unser Web-Crawler eine Aktualisierung des Indexes vornimmt.