SEO-Unterstützung dank CMS kinderleicht
Pflege von robots.txt und sitemap.xml mit einem Content Management System
Mit der Erstellung und Pflege der robots.txt sowie sitemap.xml waren ursprünglich Webmaster einer Website betraut. Gab es Änderungen wurde i.d.R. der jeweilige technische Ansprechpartner mit Bitte um Aktualisierung kontaktiert. Mittlerweile ist das Hin und Her zwischen Redakteuren und Webmastern jedoch unnötig, da Content Management Systeme hierbei unterstützen.
Was sind robots.txt und sitemap.xml?
Die robots.txt gibt an, welche Seiten nicht in Suchmaschinen wie Google oder Bing indexiert werden sollen. Doch es können auch Crawler, die Websites möglicherweise nur auf der Suche nach E-Mail-Adressen durchstöbern, abgewiesen werden.
Seiten, die in der robots.txt aufgelistet werden sollten, da sie (noch) nicht für die Öffentlichkeit bestimmt sind, wären z.B.
Seiten, die in der robots.txt aufgelistet werden sollten, da sie (noch) nicht für die Öffentlichkeit bestimmt sind, wären z.B.
- unfertige Seiten
- private Seiten wie Profile
- passwortgeschützte Portale
Mit der sitemap.xml kann ein Verzeichnis aller Seiten einer Website erstellt werden. Suchmaschinen können so eine Übersicht erhalten und die Strukturierung der Website erfassen. Metadaten und zusätzliche Informationen zu einer Seite können Suchmaschinen weitere hilfreiche Hinweise für die Indexierung geben. So werden nicht-textbasierte Inhaltstypen wie Bilder und Videos besser auffindbar. Ebenso werden Hinweise gegeben, wann die Seite erneut indexiert werden soll.
Die Sitemap ist interessant für- Websites mit vielen versteckten Unterseiten
- regelmäßig aktualisierte und wechselnde Inhalte (wie auf Blogs, etc.)
- neue, noch unbekannte Websites,
Unterstützung durch ein Content Management System
Ein Content Management System kann bei der aufwändigen Erstellung und Pflege der Verzeichnisse helfen.
Dafür müssen lediglich Felder im CMS hinterlegt werden, die ein Redakteur bei der Erstellung von Inhalten einfach ausfüllen kann, wie es im Beispiel der Fall ist.
Neben oftmals standardisierten Angaben zu Keywords und zur Meta-Description können auch Informationen zum Autor, den robots, der Priorität der Seite sowie der Indexierungsfrequenz angegeben werden:
Dafür müssen lediglich Felder im CMS hinterlegt werden, die ein Redakteur bei der Erstellung von Inhalten einfach ausfüllen kann, wie es im Beispiel der Fall ist.
Neben oftmals standardisierten Angaben zu Keywords und zur Meta-Description können auch Informationen zum Autor, den robots, der Priorität der Seite sowie der Indexierungsfrequenz angegeben werden:
- Ein Autor kann beispielsweise bei der Suche über Google angezeigt werden. Blog-Einträge erhalten somit gleich ein Gesicht, sofern ein Google+-Profil hinterlegt ist.
- Im Feld "Indexierung für Suchmaschinen" wird zugewiesen, ob Crawler von der Seite ausgeschlossen werden. In diesem Fall ist die Seite für alle Crawler freigegeben.
- Die Priorität der Seite wird von 0.0 (unwichtig) bis 1.0 (sehr wichtig) bewertet. Nicht jede Seite sollte hierbei auf 1.0 stehen. Die Priorität gibt an, wie wichtig eine Seite im Verhältnis zu anderen Seiten der Website ist. Die Wertigkeit sollte also sinnvoll vergeben werden.
- Die Besuchfrequenz weist daraufhin, dass und wie häufig die Website geändert wird und neu indexiert werden sollte. Zwar haben die Suchmaschinen ein eigenes Indexierungsintervall, doch der Algorithmus kann sich durch solche Angaben anpassen.
- In dem Feld "Letzte Änderung" wird das Datum angegeben, an dem die URL zuletzt geändert wurde. Das Format des Zeitwertes ist optional.
Tipp zur Indexierung
Wenn eine Seite explizit nicht indexiert werden soll, so kann sie bei Google dennoch gefunden werden. Es fehlt dann aber ein beschreibender Text.
Wer Wert auf "gutes Aussehen" legt oder eine Seite wirklich nicht im Index der Suchmaschine sehen möchte, sollte daher den noindex-Tag im HTML Code aufnehmen:
<meta name="robots" content="noindex">
Um Spam zu unterdrücken, sollten private Bereiche außerdem mit Passwort geschützt werden.
<meta name="robots" content="noindex">
Um Spam zu unterdrücken, sollten private Bereiche außerdem mit Passwort geschützt werden.
Scrivito CMS: der Content-Hub für Ihre Websites und Apps
Scrivito CMS ist unsere komplette Unternehmenslösung für Digital-Experience-Plattformen, Websites und Webanwendungen der nächsten Generation. Als Software as a Service benötigt Scrivito keine IT-Wartung. Das Content-Management-System ist äußerst flexibel und erfüllt höchste Sicherheitsstandards.
302014
Weitere Tags
