LLM-Tracking (auch AI Rank Tracking) verfolgt über Zeit, ob KI-Systeme ein Unternehmen bei festen Kundenfragen nennen. Weil Antworten stark schwanken, zählen Anteile über viele Fragen und Wiederholungen statt einzelner Positionen. Die wichtigsten Kennzahlen sind Nennungsrate, Anteil im Wettbewerb, Position in der Antwort und eigene Website als Quelle. Ein gutes Tracking speichert die Originalantworten und misst in festem Rhythmus.
Was bedeutet LLM-Tracking?
Der Begriff hat zwei Bedeutungen, die man auseinanderhalten sollte:
- In der Softwareentwicklung meint LLM-Tracking das Protokollieren von Anfragen an Sprachmodelle: Kosten, Antwortzeiten, Fehler. Dafür gibt es Werkzeuge wie MLflow oder Langfuse. Darum geht es hier nicht.
- Im Marketing meint LLM-Tracking das Verfolgen der eigenen Sichtbarkeit in KI-Antworten. Andere Namen dafür sind AI Rank Tracking, AI Visibility Tracking oder KI-Monitoring.
Dieser Ratgeber behandelt die zweite Bedeutung: Wie Sie über Wochen und Monate verfolgen, ob ChatGPT, Gemini, Perplexity und Google AI Overview Ihr Unternehmen bei den Fragen Ihrer Kunden nennen.
Warum es in KI-Antworten keine festen Rankings gibt
Eine Google-Ergebnisliste ist für alle Nutzer am selben Ort weitgehend gleich. KI-Antworten werden dagegen jedes Mal neu erzeugt. Sie hängen von der genauen Formulierung, vom Zeitpunkt, von den gerade gefundenen Quellen und vom Modell ab. Wie stark das schwankt, zeigt unsere eigene Messung:
In unserer Studie mit Webagenturen nannte dieselbe KI bei derselben Frage eine Woche später nur 35 Prozent der Agenturen erneut. 86 Prozent der Agenturen wurden nur von einer der drei KIs empfohlen. Zwei leicht unterschiedlich formulierte Fragen ergaben bei derselben KI nur rund 4 Prozent Überschneidung.
Die Kennzahlen, die wirklich zählen
| Kennzahl | Frage | Beispiel |
|---|---|---|
| Nennungsrate | Bei wie vielen Fragen werde ich genannt? | 4 von 20 Fragen = 20 % |
| Nennungsrate je KI-System | Wo bin ich stark, wo fehle ich? | ChatGPT 30 %, Gemini 10 % |
| Anteil im Wettbewerb | Wie oft im Vergleich zu Wettbewerbern? | 18 % aller Nennungen |
| Position in der Antwort | Werde ich zuerst oder zuletzt genannt? | im Schnitt an zweiter Stelle |
| Eigene Website als Quelle | Verlinkt die KI meine Seiten? | in 3 von 20 Antworten |
| Fragen ohne Nennung | Wo nennt die KI andere, aber nicht mich? | 12 Fragen mit Wettbewerbern |
Wichtig für ehrliche Zahlen: Zählen Sie Fragen, die Ihren Firmennamen enthalten, getrennt. Wer fragt „Was bietet Firma X?“, bekommt fast immer Firma X genannt. Solche Fragen verfälschen die Nennungsrate nach oben. Wie Sie den Anteil im Wettbewerb berechnen, zeigt der Rechner im Ratgeber Share of Voice.
LLM-Tracking in fünf Schritten aufsetzen
- Fragen auswählen. 10 bis 30 Fragen, die echte Kunden stellen, ohne Ihren Firmennamen. Gute Quellen sind Kundengespräche, Anfragen per E-Mail und die Suchanfragen in der Search Console. Hilfe bietet der KI-Prompt-Generator.
- Systeme und Markt festlegen. Welche KI-Systeme, welche Sprache, welches Land, welches Gerät? Diese Bedingungen bleiben danach gleich.
- Rhythmus bestimmen. Wöchentlich ist für die meisten Unternehmen ein guter Mittelweg. Tägliche Messungen erhöhen Kosten und Rauschen, monatliche verpassen Veränderungen.
- Originalantworten speichern. Nicht nur „genannt ja/nein“, sondern den vollen Text und die Quellen. Nur so können Sie später erklären, warum sich etwas geändert hat.
- Wettbewerber festlegen. Drei bis zehn echte Wettbewerber, deren Nennungen Sie mitzählen. So sehen Sie Ihren Anteil statt einer isolierten Zahl.
Eine ausführliche Vorlage mit Messprotokoll finden Sie im Ratgeber KI-Sichtbarkeit messen.
Ergebnisse richtig auswerten
Rohdaten werden erst nützlich, wenn Sie die richtigen Fragen stellen:
Die Nennungsrate steigt – Erfolg?
Prüfen Sie zuerst, ob sich das Fragen-Set verändert hat. Nur bei gleichen Fragen, gleichen Systemen und gleichem Markt ist ein Anstieg vergleichbar.
Eine KI nennt mich, die andere nie?
Schauen Sie auf die Quellen. Perplexity stützte sich in unserer Studie oft auf Verzeichnisse, ChatGPT eher auf Websites. Fehlende Einträge erklären viele Lücken.
Ein Wettbewerber taucht plötzlich überall auf?
Prüfen Sie, welche neuen Quellen ihn nennen: ein Fachartikel, ein Vergleichsportal, ein neues Verzeichnis. Dort liegt oft auch Ihre Chance.
Die Werte springen von Woche zu Woche?
Das ist normal. Schauen Sie auf den gleitenden Durchschnitt über vier Wochen statt auf einzelne Messungen.
Aus den Lücken leiten Sie konkrete Aufgaben ab: eine fehlende Leistungsseite, ein fehlender Verzeichniseintrag, eine Seite, die eine Kundenfrage nicht direkt beantwortet. Wie Sie solche Aufgaben priorisieren, zeigt der Ratgeber GEO-Audit.
LLM-Tracking und KI-Traffic zusammen betrachten
LLM-Tracking zeigt, ob Sie genannt werden. Ob daraus Besuche werden, zeigt Ihre Webanalyse. Im GA4-Bericht „Neu generierte Zugriffe“ lassen sich Verweise von chatgpt.com, perplexity.ai oder gemini.google.com auswerten. Die Anleitung steht im Ratgeber KI-Traffic messen.
Beide Werte zusammen ergeben ein vollständiges Bild: Steigt die Nennungsrate, aber nicht der KI-Traffic, werden Sie zwar genannt, aber nicht verlinkt. Steigt der KI-Traffic ohne mehr Nennungen, wirkt vermutlich eine einzelne starke Seite. Für den Monatsbericht hilft die Vorlage im Ratgeber GEO-Reporting.
Von Hand oder mit Werkzeug?
Für den Einstieg reicht eine Tabelle: 10 Fragen, vier Systeme, einmal pro Woche. Das sind 40 Antworten, die Sie lesen, notieren und vergleichen. Nach einigen Wochen wird das mühsam, und kleine Veränderungen gehen unter.
Nalqerio übernimmt das automatisch: Ihre Kundenfragen werden in ChatGPT, Gemini, Perplexity und Google AI Overview gemessen, die Originalantworten gespeichert und Nennungen, Wettbewerber und Quellen über Zeit ausgewertet. Bei Verlusten erhalten Sie auf Wunsch eine Benachrichtigung. Fragen mit Ihrem Firmennamen werden in den Kennzahlen getrennt gezählt. Einen ersten Eindruck für ChatGPT gibt der kostenlose KI-Check.
Häufige Fragen
Was ist LLM-Tracking?
Im Marketing bezeichnet LLM-Tracking das Verfolgen der eigenen Sichtbarkeit in KI-Antworten über Zeit: ob und wie oft ChatGPT, Gemini, Perplexity und andere ein Unternehmen bei festen Kundenfragen nennen. In der Softwareentwicklung meint der Begriff dagegen das Protokollieren von Kosten und Anfragen.
Was ist ein AI Rank Tracker?
Ein Werkzeug, das Kundenfragen regelmäßig an KI-Systeme stellt und auswertet, ob und an welcher Stelle eine Marke genannt wird. Weil KI-Antworten schwanken, zeigen gute Tracker Anteile über viele Fragen statt einzelner Positionen.
Wie oft sollte ich meine KI-Sichtbarkeit messen?
Wöchentlich ist für die meisten Unternehmen ein guter Rhythmus. Werten Sie den Durchschnitt über mehrere Wochen aus, weil einzelne Messungen stark schwanken.
Warum bekomme ich bei derselben Frage unterschiedliche Antworten?
KI-Antworten werden jedes Mal neu erzeugt und hängen von Formulierung, Zeitpunkt, gefundenen Quellen und Modell ab. In unserer Studie nannte dieselbe KI eine Woche später nur 35 Prozent derselben Anbieter.
Wie viele Fragen brauche ich für ein aussagekräftiges Tracking?
Für kleine Unternehmen reichen 10 bis 20 gut gewählte Kundenfragen. Wichtiger als die Menge ist, dass sie echte Kaufabsicht abbilden und unverändert bleiben.
Quellen und weiterführende Informationen
- Nalqerio-Studie: Welche Webagenturen empfehlen ChatGPT, Gemini und Perplexity?
- Google Analytics-Hilfe: Bericht „Neu generierte Zugriffe“
- OpenAI Help Center: Mit ChatGPT das Web durchsuchen
- Nalqerio: Methodik der Messung
Methoden, Produktumfang und Quellen entsprechen dem angegebenen Veröffentlichungsstand. Beispiele sind keine Messung Ihrer Website. Aktuelle Tarif- und Anbieterinformationen finden Sie auf den verlinkten Produktseiten.
