Transkript:
Hi und herzlich willkommen zur vierten Folge von Serious SEO. Hier auf Semrush Deutschland. Heute werden wir vor allen Dingen über das Thema Indexierungsmanagement reden. Und hier fangen wir am Anfang einmal kurz an, darüber zu reden. Was versteht man unter Indexierungsmanagement? Dann reden wir über das Thema noindex auf Pagination, ja oder nein, was ja immer ein heißes Thema ist. Und am Ende will ich noch einmal kurz über das X-Robots-Tag reden. Fangen wir also an. Thema Nummer eins.
Was ist Indexierungsmanagement? Im SEO verstehen wir unter Indexierungsmanagement ganz allgemein die aktive Steuerung von Inhalten für den Index. Das heißt, wir entscheiden sehr bewusst Was wollen wir für die Suchmaschinen indexieren lassen und was nicht? Denn nicht alle Inhalte auf der Webseite sind gleichwertig. Es gibt teilweise inhaltlich sehr, sehr dünne Seiten, die wir nicht drin haben wollen. Es gibt vielleicht URLs, die über lange Zeit keinen Traffic generieren, die wir dann aktiv aus dem Index nehmen. Es gibt aber auch so systembedingte URLs wie Sortierfunktionen, Parameterfunktionen oder auch Paginationen, die im Prinzip eine Art Reduplizierung von Inhalten sind, vielleicht anders sortiert, die wir nicht aktiv drin haben wollen. Und einer der Gründe, warum wir das bewusst so machen und machen wollen, ist, weil wir wissen, dass nur indexierte Inhalte am Ende auch wirklich bewertet werden. Wir versuchen also, die interne Konkurrenz hier schon auszuschließen und nur mit dem bestmöglichen Set an URLs in den externen Wettbewerb zu gehen. Das ist im Prinzip eine der wichtigen Voraussetzungen oder eine der wichtigen Aufgaben für das Thema Indexierungsmanagement.
Wichtig ist jetzt hier aber dabei eine Sache, und zwar, dass das Thema Indexierungsmanagement nicht mit dem Thema Crawling vermischt wird. Auch wenn eine URL auf noindex gesetzt wird, wird sie natürlich von Google verarbeitet. Also nur weil eine URL ein noindex-Tag hat oder auch eine Canonical Tag hat, wird sie verarbeitet. Sie wird aber im besten Fall nicht indexiert. Das muss man gedanklich so ein bisschen auseinanderhalten und ich glaube, viele von uns kennen das in Diskussionen vielleicht auch eher aus der Beratung heraus. Wenn man mit jemandem redet und sagt, hey, ihr müsst euer Crawling verbessern. Und die Antwort ist, ja, ja, wir haben Seiten auf noindex gesetzt. Das ist nicht so ganz, das Richtige sozusagen. Das ist nicht das, was wir meinen, wenn wir über Indexierung Management reden, sondern hier geht es erstmal um die bewusste Entscheidung was geht in den Index und was nicht. So, das vielleicht ganz kurz als Anreißer zum ersten Thema, damit jeder weiß, worüber wir beim Thema Indexierungsmanagement reden. Und dann gehen wir rüber zum zweiten Thema.
Pagination und noindex ja oder nein? Ich greife das Thema auf, weil es im Laufe der letzten Wochen ein, zwei richtig gute Artikel zu dem Thema gab. Und zwar einmal den Artikel von Stefan Vorwerk, der über das Thema Pagination eher allgemein im E Commerce Bereich geredet hat. Und einmal von Stephan Keil, der sich explizit dieses Thema, noindex leads to long term nofollow vorgenommen hat. So, das ist ja ein Stück weit ein immer wieder heiß diskutiertes Thema. Ja, diese Aussage von Google existiert ja seit 2017. Dass eine Seite, die lange auf noindex gestellt wird, dann eventuell am Ende eben auch ein nofollow Signal mitkriegt. Und ich habe schon 2020, glaube ich war das mal auf Twitter eine Umfrage gemacht und einfach mal ins Blaue gefragt. In die Bubble rein. Wie seht ihr das eigentlich? Wer glaubt daran? Wer glaubt nicht daran? Und das Ergebnis war so ein bisschen eigentlich auch wie erwartet. Ja, die eine Hälfte im Prinzip sagt fast, nö, glaube ich nicht dran. Ist totaler Schwachsinn. Ja, die zweite Hälfte sagt, nö, ich glaube daran und ich betone wirklich das Glauben, weil da ging es sozusagen nicht. Darum habe ich Daten, das sind ja die die anderen. Es gibt dann halt auch die, die sagen ja, ich sehe das in den Daten und ich sehe das nicht in den Daten. Also wirklich ziemlich, fast 50, 50 gesplittet an der Stelle. So, und das Interessante hierbei ist ja eben auch, dass. Wir es eben nicht wirklich greifen können, dieses Thema. Ja, und deswegen gehe ich so ein bisschen auf den Artikel von von Stephan Keil eher ein, der sich diesem Thema angenommen hat. Ich will aber auch so ein paar Sachen quer vielleicht mal kommentieren von dem, was Stefan Vorwerk geschrieben hat. Aber zuallererst erstmal an euch beide Danke für diese Artikel. Wir packen die auch später in die Shownotes rein, weil das sind zwei richtig gute Artikel. Ich kann dir nur jeden empfehlen zu lesen. Stefan Vorwerk wie gesagt, hat sich mehr damit beschäftigt, allgemein um Pagination auch mit dem Thema Crawling. Wie kann ich damit umgehen und und all dem. Und Stefan wie gesagt eher am Ende um das Thema so Indexierungsmanagement und hat im Prinzip auch Googles Art und Weise, wie sie das kommunizieren, da ein Stück weit kritisieren. Und darauf will ich gerne vielleicht mal an der einen oder anderen Stelle irgendwie eingehen, weil dieses dieses Thema noindex oder Long term noindex zu nofollow. Ich persönlich mag diesen Begriff nofollow nicht so richtig an der Stelle. Ja, und das ist glaube ich schon einer der der ersten Vorwürfe nenne ich es mal, die Stefan Keil da auch hat und die er anbringt ist sie mischen Direktiven und dazu haben sie auch noch so eine relativ weiche, blumige Sprache. Also wir haben ja zwei Direktiven. Wir haben das noindex Direktiv und wir haben das dass das Nofollow Direktiv und beides im Prinzip hat für sich Standalone eine Aussage. So und was wir nun machen ist, dass sie das eben ein Stück weit mischen, indem sie halt sagen naja, das eine kann langfristig zu dem anderen führen, das müsste man ja gar nicht tun. Und wenn man ehrlich ist ich glaube, bis heute gibt es keinen geschriebenen Bereich im Search, im Google Search Central, auf den References, gibt es glaube ich keinen keinen Abschnitt dazu, sondern es bleibt immerhin klar noindex ist noindex, Nofollow ist nofollow und der Rest ist halt it depends in the long run. Ja, wo also wirklich unklar ist, was das eigentlich bedeutet. Und trotzdem folgen viele Leute diesen Anweisungen. Ja, ohne vielleicht noch mal einen Schritt weiter zu denken. Was das, was das auch bedeuten kann für für den Rest der Architektur. Und da bin ich sehr, sehr nah an Stephan Keil, wo ich ja sage, Das finde ich halt schwierig in der Kommunikation. Ich finde es halt ein bisschen ungünstig und das ist auf jeden Fall etwas, wo ich auch so die Kritik an dem Thema so ein bisschen verstehen kann. So.
Dann der nächste Punkt, der ganz spannend ist, der auch von beiden aufgegriffen worden ist, ist das ganze Thema Pagination im Zusammenhang mit der Webseitenstruktur, ganz allgemein. Also brauche ich überhaupt eine Pagination? Ja, der Hinweis ist ja völlig berechtigt, wenn man sagt na ja, deine Verlinkung deiner Inhalte, ob das jetzt Produkte sind, ob das Artikel sind, das sollte gar nicht von einer Pagination abhängig sein. Ja, das heißt für euch, die sich vielleicht noch nie mit dem Thema beschäftigt haben, macht mal einen Crawl mit Ausschluss der Pagination, macht man einen Crawl, sozusagen komplett, vergleicht die beiden URLs Sets und wenn ihr da Unterschiede habt, natürlich sozusagen müsste die Pagination Seiten per se schon mal dann rausnehmen. Aber wenn ihr dann seht, dass ihr unterschiedliche Anzahlen in Produkten habt, oder sonst irgendwas. Dann habt ihr eine Struktur, wo definitiv noch Koordination zumindest für die Accessibility eine Rolle spielen. Aber genau das ist ja der Punkt. Das soll im Best Case gar nicht sein, darauf weisen beide hin. Und ich finde auch zu Recht. Ja, das sehe ich genauso. Aber dahin zu kommen ist halt auch nicht so einfach. Ich glaube, Stefan Vorwerk hat ein Beispiel gebracht, wo er gesagt hat, hey, wenn wir jetzt mal sagen, 30 Produkte auf einer Kategorie, du hast 1600 Categories, dann kriegst du so und so viele Produkte darauf verlinkt. Ich glaube, Otto war in dem Punkt das Beispiel. Und wenn du das aber so baust, also erstmal out of the box, glaube ich, sind die wenigsten Systeme so. Das heißt, du musst ja über über Themenwelten, über Subkategorien musst du ja erstmal theoretisch dahin kommen, das so zu machen.
Und das Zweite ist dann, du brauchst auch eine Systemintelligenz. Das heißt also, wenn du das wirklich so eins zu eins umsetzt, dass dann jedes Produkt vielleicht nur einmal irgendwo verlinkt ist, unabhängig davon, ob das dann sinnvoll ist, von der Priorisierung her, aber auch so eine Intelligenz brauchst du dann, die kommt ja auch nicht out of the box von irgendwelchen Systemen. Also da gehört schon glaube ich noch ein bisschen mehr darein, um seine um seine Architektur am Ende sauber zu machen. Das Ziel ist aber aus meiner Sicht völlig richtig. Und da haben sie, da haben Sie auch recht. Stefan Vorwerk hat, glaube ich, in seinem Artikel noch was Spannendes gesagt, und zwar, dass ich glaube, ich blende das mal ganz kurz ein, dass in Bezug auf Pagination, die werden ja sowieso nicht geklickt, also nicht mehr als Seite zwei oder drei und das hat er, glaube ich gesagt. Sowohl für Bots als auch für User. Für User unterschreibe ich das sofort. Da braucht jeder nur mal in Analytics gucken, sich seine Pagination rausnehmen und gucken, wie tief geht da rein. Ich würde sagen vier fünf. Da ist dann wirklich irgendwann am Ende Schicht im Schacht. Also totale Zustimmung. Bei den Bots wäre ich mir also nicht so ganz sicher. Da würde ich sagen, da sehe ich zumindest in den Daten, die ich mir so angucken kann, dass sie, dass sie auch schon weiter reingehen. Ja, aber da reden wir vielleicht über ein paar Prozentverschiebungen oder so. Also in Summe, ich glaube schon, dass Paginationszeiten immer noch deutlich verarbeitet werden. Ja, was eben auch ja zu diesem Zweifel an diesem Long Term Nofollow führt. Und auch, glaube ich Stefan Keil hat ja ein Beispiel gebracht, zusammen mit Holger Etzel aus der aus der GSC, wo halt die verweisende Seite irgendwie eine Paginationsseite ganz weit hinten war, wo ja irgendwie auch klar war, okay, diese URL hat scheinbar den Link von der Seite gekriegt. Aber unterm Strich Zustimmung zu beidem. Das ganze Thema Seitenarchitektur sollte unabhängig sein von Pagination, aber eben in the long run, würde ich mal so sagen. Ja. Und nicht so, nicht so, nicht so einfach von von von vornherein so.
Und dann ist sicherlich sozusagen der nächste Punkt und den hat Stefan Keil, glaube ich, noch mal deutlich herausgearbeitet ist wenn wir das nämlich nicht machen, also angenommen, wir folgen jetzt dieser Idee und sagen wir setzen sie nicht auf den Index und wir indexieren die ganzen Paginationsseiten, dann ist der zu erwartende Schaden, sag ich einfach mal so ja das Chaos, das da entsteht im Indexierungsmanagement ist viel größer als der Nachteil, den man hat durch dieses long term no index nofollow. Vorausgesetzt natürlich, man hat eine gute Architektur. Das darf man, glaube ich, nicht vergessen. So, das ist wichtig an dem Punkt, dass man das noch mal sagt. Und von daher ist es auch, glaube ich, ich bin bis heute ganz klar der Meinung, Paginationsseiten gehören auf den noindex. Und interessanterweise und deswegen auch noch mal danke an dich, Stefan Vorwerk mit dem Artikel. Du hast ja schön runtergebrochen, welche Domains ich glaube, du hast die größten 25 genommen oder so, welche Domains verhalten sich wie? Ja so und da war ja glaube ich irgendwie so 12/25 haben Zeiten auf dem Index. 5/25 haben eine Maskierung und dann sozusagen noch eine zusätzliche Kombination mit mehr Buttons. Also du hast dich ja auch sehr, sehr viel mit dem ganzen Thema, muss das überhaupt gekrault werden am Ende, beschäftigt, was ja eigentlich schon next step ist. Also ich will eigentlich gerade nur noch mal zu dem Thema Indexierungsmanagement etwas sagen. Das Thema Crawling kommt ja dann noch mal on top. Ich glaube, das hat auch Stefan Keil erwähnt. Ob man das dann sozusagen noch einen Schritt weiter geht ob jetzt PRG-Pattern, ob jetzt JavaScript oder was auch immer, das ist ein Stück weit next step.
Es gibt aber eine Sache und da wollte ich noch mal ganz kurz, wie gesagt, eben mit Blick auf das Indexierungsmanagement vielleicht einhaken. Und zwar, es gibt eine schöne Übersicht in dem Artikel, die Folgende und das einzige Kleine, wo ich gerne was ergänzen wollen würde, weil es mich vielleicht sozusagen von der Thematik her stört, ist eine Maskierung ist kein Mittel zur Indexierungssteuerung. So. Das heißt also, wenn jetzt beispielsweise eine Pagination mit einem PRG-Pattern oder mit einem JavaScript maskiert wird und Google kann das nicht mehr crawlen, dann können diese Seiten natürlich trotzdem noch indexiert werden. Vorausgesetzt, sie sind für die Indexierung freigegeben. Die Discovery kann ja beispielsweise erfolgen über eine falsch generierte Sitemap, über externe Verlinkungen. Also wenn man dieses sozusagen Konstrukt angeht, dann glaube ich, da muss man eben beides machen. Da muss man einmal das Thema Indexierungsmanagement behandeln und dann muss man das Thema Crawling sich angucken. Und ich glaube, es gibt auch, also die Schnittmenge wäre eigentlich noch mal so zu sagen, interessant. Ich glaube, Kaufland beispielsweise war angegeben als Maskierung, die haben alle ihre Seiten auf noindex so und das ist also das ist glaube ich dann noch mal ein wichtiger Punkt, den ich aber noch mal ergänzen wollte, weil ich wie gesagt, die beiden Themen einfach da vielleicht auch ein bisschen strikter trenne. Das ganze Thema Crawling und das ganze Thema Indexierungsmanagement. Beide haben übrigens auf den Artikel da noch mal von von Tobias Schwarz und Sören hingewiesen in Bezug auf das ganze Thema Isolation und auch den kann ich nur noch mal empfehlen, werden wir auch in die Shownotes packen, den Ultimativen Guide Zu Pagination. Also da gibt es ja noch mal ein eigenes Thema mit Pagination als solches, das ich gar nicht berühren wollte. Aber in Bezug auf das ganze Thema Finanzierung und Organisation in der noindex, ja nein, bin ich sehr, sehr nah bei Stefan Vorwerk und sozusagen bzw. bei Stefan Keil, in dem Falle, der ja mehr darüber geschrieben hat, dass ich würde die Dinge auf noindex setzen weiterhin ich sehe sozusagen diese diese Gefahr des long term follows bei einer guten Indexierungssteuerung sehe ich das einfach geringer. So und das was zu dem Thema, ja, ich bin mir sicher, da gibt es viele Diskussionen drüber, da kann man auch sicherlich drüber diskutieren und da freue ich mich auch drauf, wenn es jetzt hier Diskussionen gibt. Ansonsten vielleicht auf der SEO.com oder wo auch immer. Und von daher spannendes, spannendes Thema. Auch wenn einige sagen, es ist so ein bisschen für Esoteriker, weil wenn du das einmal richtig gemacht hast, dann ist es kein Thema mehr. Fair enough ja, aber da musst du halt auch erstmal einmal hinkommen. So.
Und dann habe ich als drittes Thema noch mal mitgebracht das ganze Thema X-Robots-Tag, weil es einfach gut in das Thema Indexierungsmanagement reinpasst und weil es ja auch so ein bisschen so ein Spezial-Spezial-Ding ist. Dass X-Robots-Tag ist ja auch eine Möglichkeit, wie wir vor allen Dingen zwei Signale übermitteln können. Das eine ist das Thema noindex und das andere ist das Thema Canonical. Und was ist das Besondere an dem X-Robot-Tag? Naja, dass wir eben nicht HTML-Formate damit steuern können oder die Indexierung davon steuern können. Denn das ist, glaube ich immer noch vielen gar nicht so bewusst. Google indexiert nicht nur HTML-Dokumente. Sie können auch PDFs indexieren. Sie können auch Word-Dokumente indexieren. Sie können auch Excel-Listen indexieren. Und es gibt einen schönen Podcast von den Kollegen von Google, wo sie sich ja regelmäßig treffen. Der ist jetzt glaube ich aus dem Oktober letzten Jahr, wo ab Minute zwölf über Caffeine gesprochen wird. Und genau dieses Thema, Indexierung von nicht HTML-Dokumenten. Und da können wir halt aus SEO Sicht reingehen wenn wir halt wollen und sagen, okay, wenn wir das nicht im Index haben wollen, dann können wir halt den X-Robots-Tag nehmen. Bei PDFs könnte man sogar überlegen ein Canonical-Tag zu nehmen, wenn es gleich ist mit dem HTML-Inhalt. So, aber was halt eben spannend ist bei dem ganzen X-Robots-Tag ist, wie kann man das entdecken? Ja und jetzt zeige ich euch ganz kurz mal den Screen halt aus der aus der GSC. Ja, Das heißt, wenn ihr da eine URL habt und ihr setzt sie in den Expektor, ihr seht es ja im Zweifel gar nicht. Im ersten Moment ist da ein X-Robots-Tag beispielsweise drauf, dann würdet ihr das hier sehen, in der GSC, dann würde euch das hier angegeben werden. Ja, also da müsstet ihr beispielsweise drauf achten, wenn ihr eine Seite mit einem X-Robots-Tag auszeichnet. Manchmal hat man ja auch das Gefühl, hey, die Seite wird nicht interessiert. Warum? Wieso? Weshalb? Ja, checkt das ab und zu mal, weil es gibt gerne auch ITler, die das Ding nutzen, weil es für sie einfacher ist zu implementieren. Ja und schwupps, auf einmal sind irgendwelche Seiten auf noindex, die du gar nicht auf einem noindex haben wolltest.
Wir nutzen ja gerne Browser Add-Ons im Prinzip um zu gucken ist die Seite auf Index oder noindex. Und auch dazu will ich dann ganz kurz was sagen in Bezug auf das X-Robots-Tag, weil da können wir uns schnell auch verleiten lassen. Wir kennen ja alle den SeeRobots, der uns oben das grüne Kästchen zeigt noindex, nofollow. Das reagiert aber nicht auf den X-Robots-Tag und das kann sozusagen schon mal der erste Punkt sein, wo man sich selbst ein Bein stellt. Es gibt die Information, dass es das noindex sozusagen da gibt. Es wirkt sich aber nicht auf die Farbe aus. Und ich weiß es von mir selbst. Manchmal, man ist so geeicht darauf, man guckt einfach auf dieses grüne Ding. Ist es grün? Alles klar, Seite ist indexierbar. Nein, ist es nicht immer. Ja, deswegen testet auch im Zweifel mal andere. Es gibt das Ding heißt Detailed-SEO-Extension, glaube ich. Da ist es nur so, dass es hier unten aufgeführt wird. Da sieht man auch beides nebeneinander. Die haben aber keine, keine farbliche Kombination, also nicht so ein so ein, so ein Trigger wie eigentlich der SeeRobots und wer haben da halt eben mit am besten gefällt ist der Link von von Christoph Kemper, weil das Ding hat sowohl die farbliche Komponente als auch dass es die gleich hinschreibt, dass es der X-Robots-Tag ist, neben vielen anderen Informationen. Ja, also das ist wirklich eine gute Extension, wenn es um die Entdeckung von einem Tag auf einer Webseite geht. So, und wenn ihr das im Einsatz habt oder wenn ihr wisst, ihr seid auf einer Domain, ihr habt das im Einsatz, dann solltet ihr vielleicht auch euer Monitoring an dem Punkt noch mal so ein bisschen anpassen. Ich mag dafür beispielsweise Little Warden das Tool, weil man da eben in Bezug auf Indexierungsmanagement und die Checks, die es machen kann, explizit eingeben kann, hey, was ist denn mein erwartetes Meta-Robots-Tag, Was ist mein erwartetes X-Robots-Tag? Weil das muss ja nicht gleich sein, wie wir in dem einen Beispiel gerade gesehen haben. Meta-Tag ist Index, X-Robots-Tag ist noindex. So, und das sollte man vielleicht sich dann mal angucken, wenn man weiß, man ist auf einer Domain mit einem X-Robots Tag unterwegs. Ist ein spannendes Thema, vor allen Dingen wenn man sich überlegt, wie das noch so ein bisschen früher war. Wir haben mittlerweile haben wir zum Beispiel alle Crawler so eine Spalte, ich nenne es mal Indexability. Ja, die kam irgendwann mal auf, weil eben klar war okay, es gibt halt nicht nur das Meta-Robots-Tag, sondern das könnte auch das Canonical sein oder es könnte auch der X-Robots-Tag sein und deswegen haben wir mehrere Möglichkeiten Sachen aus dem Index zu halten. Man muss dann halt gucken, welche am Ende es halt auch wirklich ist. So, das war’s zum Thema Indexierungsmanagement für heute. Ich hoffe es hat euch gefallen. Drei glaube ich ziemlich spannende Themen, mit denen man sich beschäftigen kann. Nicht vergessen, wenn es euch gefallen hat, freuen wir uns über einen Daumen nach oben. Und natürlich aktiviert die Glocke, damit ihr auch die nächste Folge nicht verpasst. Ich glaube, wir haben immer noch ein paar sehr, sehr spannende Themen im Petto und vielleicht greifen wir auch das ganze Thema Crawling, da mit Pagination und Facetten und allem noch mal auf und genau, schaut in die Shownotes, Lest auf jeden Fall die Artikel von Stefan Keil und Stefan Vorwerk. Das ist klare Leseempfehlung von mir und macht’s gut und bis bald!