Google crawlt meinen Blog nicht! Was nun?: Dieser Blog ist jetzt genau ein Woche alt und deshalb möchte ich diesen Post einer ganz besonderen Spezies im Web widmen, dem Googlebot. Der Googlebot ist der Webcrawler von Google und eigentlich auf jeder Website oder jedem Blog ein gern gesehener Gast, sorgt er doch dafür, dass frischer Inhalt in den Suchergebnissen von Google (SERP’s) erscheint. Was aber tun, wenn Google den eigenen Blog nicht crawlt? Nun, zuerst einmal heißt die oberste Direktive “Ruhe bewahren” und nicht in überstürzte Aktionen ausbrechen, die das vermeintliche Problem am Ende noch verschlimmern.

Man sollte die Situation schon über ein paar Tage, wenn nicht sogar Wochen beobachten, ehe man sich Gedanken über ein ernsthaftes Problem machen sollte. In diesem Fall heißt es dann Ursachenforschung betreiben. Dazu sollte man sich folgende Fragen stellen: Hat man, bevor Google das Crawlen des Blogs eingestellt hat, grundlegendes am Webauftritt verändert? Kann man diese Frage mit ja beantworten, könnte es daran liegen, muss aber nicht. Wenn die Antwort auf diese Frage jedoch nein heißt, muss man wohl weiter suchen.

Ein weiterer Grund für eine geringere Tätigkeit seitens der Google-Crawler könnte ein anstehendes PageRank-Update sein. Es ist bekannt, dass Google vor größeren Update die Kapazitäten anders verteilt, so dass für den Bot weniger übrig bleibt und er so auch nur weniger bzw. langsamer crawlen kann. Bei neueren Blogs kann es schon mal vorkommen, dass die Verlinken des eigenen Blogs einfach noch nicht ausreicht, um ein durchgehendes Crawlen zu gewährleisten.

Man mache doch einfach mal folgendes Gedankenexperiment (dazu muss man wissen, dass Links quasi Wegweiser für einen Crawler darstellen und diese über Links erst auf einen neuen Blog aufmerksam werden): Das gesamt Web besteht aus Milliarden von Websites und jeden Tag kommen Tausende dazu. Wenn ein Blog jetzt wenig bis gar keine eingehenden Links auf seine Website hat, dann ist die Wahrscheinlichkeit, dass sich ein Bot auf einen Blog verirrt auch entsprechend gering.

Natürlich gibt es noch einige weitere Möglichkeiten, wie zum Beispiel eine fehlende oder fehlerhafte Robot.txt. Desweiteren ist es auch möglich, dass serverseitige Probleme den Googlebot behindern. Wenn man einen solchen Fall vermutet sollte man sich an seinen Hoster wenden und seinen Verdacht äußern. Das schlimmste, was einem passieren kann, ist aber eine Strafe durch Google, die bis zur kompletten entfernen aus dem Index führen kann. Hat man sich aber die Richtlinien für Webmaster gehalten kann, das eigentlich nicht der passieren.

Was man also tun sollte, wenn der Googlebot den eigenen Blog nicht crawlt, ist in der Regel nicht ganz einfach zu sagen. In den meisten Fällen hilft nur die Ruhe bewahren und vielleicht für den ein oder anderen neuen Backlink zu sorgen.