Web-Roboter

Autoren, Administratoren

(Edit Section ↓)

Nofollow links

Das Standard-PmWiki-Skin fügt zu allen verfügbaren Aktionen (Anzeigen, Bearbeiten, Versionen, Anhängen, Druckansicht und Backllinks) "rel=nofollow" hinzu. Das ist eine Vereinbarung, die von Google eingeführt wurde und die Web-Robotern anweist, den Verweisen nicht zu folgen und den Inhalten, auf die mit dem Verweis zugegriffen wird, keine Bedeutung zuzumessen. [1]

Beachten Sie, dass viele Roboter, einschließlich Yahoo! Slurp und msnbot, das "nofollow"-Attribut in den Verweisen vollständig missachtet.

Die Anti-Spam-Vereinbarung, die "nofollow" zuerst eingeführt hat, sagte nichts aus darüber, dass Roboter dem Verweis nicht folgen, sondern nur, dass Verweise mit "rel=nofollow" in Suchergebnissen keine Gewichtung erhalten sollen.

Sie können selbst rel=nofollow zu jedem ihrer Verweise hinzufügen, indem Sie die Wikistile verwenden:

%rel=nofollow$[[Ihr Verweis]]%%
(Edit Section ↓)

Die Datei robots.txt

Hier ist ein Beispiel für den Inhalt einer robots.txt-Datei, das vor Allem den Robotern sagt, sie mögen Verweisen mit 'action=' nicht folgen: 

User-agent: *
Disallow: /pmwiki.php/Main/AllRecentChanges
Disallow: /pmwiki.php/
Disallow: */search
Disallow: SearchWiki
Disallow: *RecentChanges
Disallow: RecentChanges
Disallow: *action=
Disallow: action=
User-Agent: W3C-checklink
Disallow:
(Edit Section ↓)

Roboter Variablen

Wir können nun bessere Kontrolle über Roboter(webcrawler)-Interaktionen mit einer Site unterstützen, um die Serverlast zu verringern.

$RobotPattern
wird genutzt, um Roboter auf Basis des user-agent strings zu identifizieren.
$RobotActions
Jede Aktion, die nicht in dieser Liste enthalten ist, führt zu einer 403 Forbidden response to robots-Meldung
$EnableRobotCloakActions
Setzen dieses Flags eliminiert jede verbotene Aktion (?action=values) von den Seitenverweisen, die an die Roboter gemeldet werden, was die Bandbreitenbelastung durch Roboter noch weiter reduzieren wird (PITS:00563).
(Edit Section ↓)

Siehe auch

Originalseite auf PmWikiDe.Robots - Rückverweise
Zuletzt geändert:
PmWikiDe.Robots am 26.09.2013