Indexierung

Die Indexierung einer Webseite ist eine notwendige Voraussetzung, wenn eine Webseite in den Suchergebnislisten (SERPs) der großen Suchmaschinen erscheinen soll. Ohne Indexierung ist keine Sichtbarkeit in den Suchmaschinen möglich.

Die Indexierung ist allerdings nur ein Punkt, aber ein sehr wichtiger Punkt, um Traffic von Suchmaschinen auf die eigene Website zu bekommen.

Davon ist das eigentliche Ranking in den Suchergebnislisten zu unterscheiden. Dies wird durch viele weitere Faktoren bestimmt. Die Indexierung ist aber zumindest die formale Voraussetzung, um überhaupt in die Suchergebnislisten aufgenommen zu werden.

Was bedeutet Indexierung?

Ein Index ist ein Verzeichnis, in dem Inhalte nach bestimmten Kriterien geordnet werden.

Suchmaschinen nutzen einen solchen Index, um Webseiten anhand verschiedener Kriterien einzuordnen.

Die Einordnung einer Webseite in den Suchmaschinen-Index nennt man Indexierung.

Damit eine Aufnahme in den Index überhaupt erfolgen kann, muss eine Webseite zuvor nach bestimmten Kriterien durchsucht werden. Diese Aufgabe bewerkstelligen die sog. Crawler. Das sind Programme, die die Inhalte einer Webseite auslesen und anhand vieler verschiedener Kriterien bewerten. Anschließend wird jede Webseite verschiedenen Keywords zugeordnet und alles in den Index abgelegt.

Wenn nun ein Suchmaschinennutzer einen Suchbegriff in die Suchmaschine eingibt, durchsucht die Suchmaschinen ihren eigenen Index und gibt die nach dem Algorithmus errechnete Rangfolge von Webseiten in der Search Engine Result Page (SERP) aus.

Wie führt man die Indexierung einer Webseite herbei?

Damit eine neue oder überarbeitete Webseite indexiert werden kann, müssen zwei grundlegende Voraussetzungen erfüllt sein.

Die Webseite und deren Inhalte sollten für Crawler zugänglich sein und die Erlaubnis zur Indexierung geben. Daher darf die Webseite

• nicht durch die robots.txt ausgenommen werden
• nicht mit „noindex“ getaggt werden

Sind beide Voraussetzungen erfüllt, kann man nun theoretisch einfach abwarten, bis die Crawler der Suchmaschinen bei der Webseite vorbeischauen um sie zu indexieren.

Voraussetzung dafür ist aber, dass eine Verlinkung von einer anderen Webseite zu der zu indexierenden Webseite besteht. Denn ohne eine Verlinkung über die die Crawler zur Webseite gelangen können. können sie sie auch nicht finden.

Sind Crawler auf dieser anderen Webseite unterwegs, so werden sie auch diesen Link sehen und ihm folgen. Daher gilt: Je mehr Links auf eine Webseite führen, desto eher wird sie auch von den Suchmaschinen wahrgenommen. Auf diesem Wege kann eine Indexierung auch herbeigeführt werden.

Dies Methode der Indexierung kann aber unter Umständen ein paar Wochen oder Monaten dauern. Aber wer möchte schon so lange auf die Indexierung seiner Webseite warten?

Will man aber schneller den Traffic von den Suchmaschinen erhalten, so muss man der Indexierung auf die Sprünge helfen.

Daher sollten Sie die Suchmaschinen aktiv auf die neue Webseite aufmerksam machen, indem Sie folgende Dinge umsetzen:

• die Suchmaschinen „anpingen“. Damit ist gemeint, dass man den Suchmaschinen aktiv einen Hinweis gibt, dass eine neue Website nun zur Indexierung bereitsteht. Dies kann bei Google mit Hilfe der Google Search Console erfolgen oder alternativ auch mit SEO-Plugins. Ob und wann die Suchmaschine der Bitte nachkommt, ist ganz ihr überlassen.
• die Webseite sollte auf der XML-Sitemap enthalten sein und per Google Search Console hochgeladen werden. Eine XML-Sitemap kann ganz einfach mit einem SEO-Plugin wie RankMath oder Yoast oder mit Online-Tools aus dem Netz erstellt werden.
• Inhalte der Webseite, die kein Text sind (insb. Bilder und Videos) sollten mit Meta-Texten versehen sein, damit dieser leichter und besser indexiert werden können.

Wann erfolgt die Indexierung einer neuen oder überarbeiteten Webseite?

Hat man die Suchmaschine auf eine neu zu indexierende Webseite aufmerksam gemacht, wird der Crawler der Suchmaschinen auch zu der Webseite geschickt werden.

Doch wann der Crawler vorbeischaut lässt sich nicht pauschal sagen. Dies hängt von vielen Faktoren ab, die ganz allein von der Suchmaschine bestimmt werden.

Wenn eine stark frequentierte große Plattform wie Amazon eine neue Webseite launcht, dann besucht der Google Crawler diese Seite normalerweise bereits nach wenigen Minuten um sie zu indexieren.

Handelt es sich aber um eine kleine Website die kaum Traffic hat, dann kann eine Indexierung auch schon mal mehr als ein Monat dauern. In Einzelfällen kann es auch noch länger dauern, das ist aber eher selten der Fall.

Wie verhindert man eine Indexierung?

Um die Indexierung einzelner Webseiten zu verhindern, nutzt man das Meta-Tag „noindex“ im HTML-Header der jeweiligen Webseite.

Dieses Meta-Tag kann man manuell per HTML-Editor in den HTML-Header einfügen. Das sieht dann folgendermaßen aus:

<head>
<meta name="robots" content="noindex" />
</head>

Ist das „noindex“-Tag gesetzt, so erhält der Crawler beim Besuch der Webseite zuerst den Hinweis, dass diese Webseite nicht indexiert werden soll.

Allerdings sind die Suchmaschinen nicht verpflichtet, dass „noindex“ auch zu beachten und dementsprechend zu handeln. Jedoch sagen die großen Suchmaschinen wie Google und Bing von sich, dass sie das Meta-Tag „noindex“ auch beachten.

Ist die Indexierung per robots.txt verhinderbar?

Will man eine Indexierung verhindern, so sollte man dies NICHT mit Hilfe der robots.txt umsetzen.

Die robots.txt soll die Crawler steuern, damit sie nur die wichtigen Inhalte einer Website crawlen. Die Indexierung wird dadurch aber nicht sicher verhindert!

Dass liegt daran, dass die per robots.txt ausgenommene Webseite auch über Links von anderen Webseiten gefunden werden kann und der Crawler die Webseite dann trotzdem crawlt und indexiert.

NUR wenn die Webseite mit dem Meta-Tag „noindex“ markiert wird, wird der Crawler die Webseite auch nicht indexieren!

Indexierbarkeit einer Website / Webseite in WordPress einstellen

Um eine komplette Website oder eine einzelne Webseite von den Suchmaschinen indexieren zu lassen, muss im Content Management System sichergestellt werden, dass das Attribut “noindex” nicht aktiviert ist. Ist es aktiviert, werden die Suchmaschinen-Crawler die Website / Webseite nicht indexieren.

Man kann das “noindex”-Attribut z.B. bei WordPress über 2 Wege einstellen:

• Globale Einstellung (komplette Website)
• Lokale Einstellung (einzelne Webseiten)

Globale Einstellung der Indexierbarkeit

In WordPress können Sie die gesamte Website an der Indexierung hindern oder diese wieder komplett freigeben.

Das Verhindern der Indexierung einer kompletten Website kann z.B. dann Sinn machen, wenn man gerade dabei ist die Website zu erstellen und verhindern möchte, dass die Suchmaschinen bereits die unvollständigen Webseiten indexieren.

Dazu müssen Sie im WordPress Menü unter dem Punkt “Einstellungen > Lesen” prüfen, ob dort das Häkchen im Kasten (Check Box) bei “Sichtbarkeit für Suchmaschinen” (im folgenden Bild rot markiert) gesetzt ist oder eben nicht.

Im WordPress Menü sieht dies folgendermaßen aus:

Ist das Häkchen gesetzt, so wird die komplette Website vor der Indexierung abgehalten.

Ist das Häkchen nicht gesetzt, so ist die komplette Website zur Indexierung freigegeben.

Lokale Einstellung der Indexierbarkeit

Die Indexierung kann neben der globalen Einstellung auch noch für jede einzelne Webseite eingestellt werden (lokale Einstellung).

Dazu müssen Sie die entsprechende Webseite im Bearbeitungsmodus von WordPress öffnen. Auf der rechten Seite finden Sie das Menü für die Einstellungen der einzelnen Webseite, direkt neben dem “Aktualisieren”-Button.

Wenn Sie auf den Punkt “Beitrag” klicken, und dort auf den Punkt “Sichtbarkeit” (im folgenden Bild rot markiert), dann öffnet sich ein Fenster mit 3 Auswahlmöglichkeiten:

Die 3 Auswahlmöglichkeiten haben folgende Bedeutung:

• Öffentlich (“index”): Die Webseite steht für die Indexierung durch Suchmaschinen bereit. Zudem ist sie für alle Seitenbesucher uneingeschränkt sichtbar.
• Privat (“noindex”): Die Webseite wird von den Suchmaschinen nicht indexiert werden. Zudem ist sie nur für Personen mit Administratorrechten einsehbar.
• Passwortgeschützt (“noindex”): Die Webseite kann nicht indexiert werden. Zudem ist sie nur für Seitenbesucher die das entsprechende Passwort haben einsehbar.

Alle Webseiten, die lokal auf “index” gestellt sind, werden durch die globale “noindex”-Einstellung dennoch nicht indexiert werden, da die globale Einstellung Vorrang hat vor den lokalen Einstellungen auf den einzelnen Webseiten.

Daneben kann auch noch mit Hilfe von SEO-Plugins wie RankMath oder Yoast jede einzelne Webseite per Checkbox auf “index” oder “Noindex” gesetzt werden. Auch hierauf sollte man bei Problemen mit der Indexierbarkeit mal ein Blick werfen.

Wie findet man heraus, ob eine Webseite indexiert wurde?

Sie wollen wissen, ob eine neue Webseite in den Index der Suchmaschinen aufgenommen wurde? Kein Problem! Man kann dies sehr einfach auf zwei möglichen Wegen überprüfen.

Indexierung per Browser und “site:”-Befehl überprüfen

Eine Möglichkeit ist, die Indexierung mit Hilfe eines Webbrowsers und der Suchmaschine des jeweiligen Suchmaschinenbetreibers zu überprüfen, z.B. mit Google Chrome für den Google Index und Microsoft Bing für den Microsoft Index.

Geben Sie dazu ganz einfach in das Suchfeld des jeweiligen Internetbrowsers, z.B. Google Chrome, den Befehl „site:“ gefolgt von der Webseiten-URL ein.

site:www.ihredomain.de

Dies sieht dann in der Suchmaschine Google folgendermaßen aus:

Nachdem Sie die Suche mit “Enter” bestätigt haben, wird Ihnen die Suchergebnisliste (SERP) angezeigt. Diesmal zeigt die Suchergebnisliste allerdings nur die Webseiten ihrer Website, die bei der Suchmaschine bereits im Index sind.

Alle Webseiten die sich noch nicht im Index der Suchmaschine aufgenommen wurden werden auch nicht aufgelistet.

Gleiches können Sie mit dem Internet-Browser „Edge“ von Microsoft machen, um eine erfolgte Indexierung von der Suchmaschine Bing zu überprüfen.

Indexierung per Google Search Console überprüfen

In der Google Search Console gibt es ebenfalls die Möglichkeit, die von Google indexierten Webseiten angezeigt zu bekommen.

Dazu müssen Sie sich bei der Google Search Console anmelden und, falls Sie es noch nicht gemacht haben, eine Property von Ihrer Webseite anlegen.

Anschließend rufen Sie den Menüpunkt “Indexierung” den Punkt “Seiten” auf.

Wenn Sie auf das Feld “Daten zu indexierten Seiten ansehen” anklicken, dann sehen Sie unter dem Punkt “Beispiele” die Liste mit den von Google indexierten Webseiten ihrer Domain.

Gleiches können Sie auch mit den Bing Webmster Tools machen, um die Indexierung bei Microsoft`s Suchmaschine Bing zu ermitteln.

Wie macht man eine bereits erfolgte Indexierung rückgängig?

Um eine Webseite aus dem Index, respektive aus den Suchergebnislisten (SERP) zu entfernen, hat man verschiedene Möglichkeiten.

Löschung der Webseite

Als erste Möglichkeit kann man natürlich eine Webseite auch einfach löschen. Dies ist allerdings die radikalste Option.

Dann wird für alle Seitenbesucher und auch die Suchmaschinen ein 404-Fehlercode (Not found) zurückgegeben.

Allerdings wird die Seite erst aus dem Index und damit aus den Suchergebnislisten genommen, wenn die Suchmaschine die Webseite erneut gecrawlt hat und den 404-Fehler wahrgenommen hat. Bis dahin erscheint die Webseite weiterhin in den Suchergebnissen, sie ist lediglich nicht mehr aufrufbar.

Änderung der URL

Daneben besteht auch noch die Möglichkeit, die URL zu ändern.

Die neue URL muss dann allerdings auch auf „noindex“ gesetzt werden, damit diese nicht wiederum in den Index aufgenommen wird und erneut, nur unter anderer URL wieder in den Suchergebnissen auftaucht.

Ist die URL geändert, so wird unter der alten URL ein 404-Fehlercode ausgegeben. Dadurch wird die Webseite nach einem erneutem Crawling aus den Suchergebnissen herausgenommen. Bis das Crawling erfolgt, taucht das Suchergebnis weiterhin noch auf, aber sie Seite kann nicht mehr aufgerufen werden.

Nutzung des Meta-Tags „noindex“

Auch wenn eine Webseite bereits indexiert wurde, lässt sich auch nachträglich noch eine „Deindexierung“ durchführen.

Dazu einfach das Meta-Tag „noindex“ auf der entsprechenden Webseite wieder aktivieren.

Allerdings kann das Meta-Tag auch erst wahrgenommen werden, wenn der Crawler die Seite wieder besucht. Erst nach erneutem Crawling der Webseite wird das „noindex“ berücksichtigt werden und eine Herausnahme der Webseite aus den Suchergebnislisten erfolgen.

Sofortige Entfernung einer Webseite aus der Bing Suchergebnisliste

Möchte man eine bereits indexierte Webseite schnellstmöglich (innerhalb von 24 Stunden) aus den Suchergebnislisten (SERP) entfernen, so bieten die Bing Webmaster Tools die Möglichkeit, diese Webseite aus den SERP der Suchmaschine Bing zu entfernen. Das entsprechende Tool nennt sich Block URLs Tool.

Diese Blockierung ist aber nur vorübergehend für maximal 90 Tage möglich. Danach ist allerdings auch eine Verlängerung möglich.

Dazu loggt man sich in die Bing Webmaster Tools ein und geht dann zum Menüpunkt „Configuration > Block URLs“. Nun wählt man die Art der zu blockierenden URL (URL type: Directory oder Page) und den Umfang (Block type: URL&Cache oder Cache only) aus.

Anschließend trägt man dann die URLs der Webseiten ein, die nicht mehr in den Suchergebnissen angezeigt werden sollen.

Nun noch auf den Button „Add URL to block“ klicken und die Webseite wird nicht mehr in den Ergebnissen der Suchmaschine Bing angezeigt werden.

Fazit

Zusammenfassend kann gesagt werden, dass die Indexierung ein elementar wichtiger Grundstein für die Sichtbarkeit einer Website in den Suchmaschinen ist. Denn ohne Indexierung erscheint eine Webseite erst gar nicht in den Suchergebnislisten (SERPs).

Überprüfen sie daher, ob alle ihre Webseiten von den großen Suchmaschinen indexiert werden kann und ob alle Webseiten auch indexiert wurden.

Fehlen Webseiten im Index, sollten die Gründe überprüft werden und anschließend die Webseiten über die Webmaster Tools der Suchmaschinen hinzugefügt werden.

Weiterführende Informationen:

Google Informationen zu Crawling und Indexierung: https://developers.google.com/search/docs/crawling-indexing

Google`s Bericht zur Seitenindexierung: https://support.google.com/webmasters/answer/7440203

Aufnahme in den Suchindex mithilfe von noindex blockieren: https://developers.google.com/search/docs/crawling-indexing/block-indexing

Website aus dem Bing Index entfernen: https://www.bing.com/webmasters/help/?topicid=37c07477

Bing Block URLs Tool Hilfe: https://www.bing.com/webmasters/help/block-urls-264e560b

FAQ – Häufige gestellte Fragen & Antworten