Was Ist Inkrementalitäts-testing?

Kurzfassung

• Incrementality-Tests messen den gesamten kausalen Einfluss eines Medienkanals: den Umsatz, der ohne den Kanal nicht entstanden wäre.
• Dabei werden eine Testgruppe (der Medienexposition ausgesetzt) und eine Kontrollgruppe (von Medien ausgeschlossen) verwendet, um den tatsächlichen Beitrag von der Basisaktivität zu isolieren.
• Die Kernformel: (Test-Conversion-Rate – Kontroll-Conversion-Rate) / Test-Conversion-Rate = Incrementality %.
• Im Gegensatz zu Plattform-Attribution oder MTA wird Incrementality nicht durch Signalverlust, Walled-Garden-Bias oder Cookie-Abschaffung beeinflusst und bildet damit die Grundlage moderner, belastbarer Marketingmessung.
• Führende Marken nutzen Incrementality-Ergebnisse, um Marketing Mix Models (MMM) zu kalibrieren, die Kanal-Performance zu validieren und Budgets mit Zuversicht umzuverteilen.

Was ist Incrementality-Testing?

Ohne Incrementality-Testing ist alles, was wir über Marketingkanäle wissen, Korrelation oder Anekdote. Incrementality-Testing ist ein kontrolliertes, randomisiertes Experiment, das den echten inkrementellen Lift eines Kanals misst: den Umsatz, der ohne ihn nicht entstanden wäre.

Warum solltest du Incrementality-Testing durchführen?

Für E-Commerce- und Retail-Marken geben unkalibrierte beobachtende Modelle systematisch zu viel für Kanäle aus, die in der Plattform gut aussehen, aber nicht inkrementell sind: Brand Search, Retargeting, Promotions, die vor allem Kund:innen belohnen, die ohnehin kurz vor dem Kauf stehen.

Wie wir bereits zuvor besprochen haben, übertreiben Werbeplattformen systematisch den gemeldeten ROAS.

Als dokumentiertes Beispiel stellte eine veröffentlichte Analyse des Incrementality-Testing-Programms von Dropbox fest, dass klickbasierte Anzeigenattribution den tatsächlichen Einfluss der bezahlten Kanäle deutlich überschätzte. Auf Basis der Incrementality-Ergebnisse konnte Dropbox Budget von Ausgaben mit geringer Incrementality abziehen und in das umschichten, was das Geschäft tatsächlich voranbrachte.

Nielsens eigene Forschung weist in die gleiche Richtung: Marketer verschieben weiterhin Budget in Richtung Performance-Kanäle auf Kosten des Markenaufbaus, was Nielsen zufolge einen „Teufelskreis“ erzeugt: Man gibt mehr aus, um einen bereits schrumpfenden Pool interessierter Kund:innen zu konvertieren.

Wo E-Commerce-Marken zuerst testen sollten

Branded Search, Retargeting, Promotions und Affiliate-Programme sind Top-Kandidaten für Incrementality-Tests. Genauer gesagt:

• Branded Search. Jemand, der nach deinem Markennamen sucht, plant oft bereits zu kaufen; ein Holdout zeigt in der Regel, dass nur ein kleiner Teil dieses Traffics wirklich inkrementell ist.
• Retargeting- und Warenkorbabbruch-Anzeigen. Diese verfolgen Käufer:innen, die bereits gestöbert oder etwas in den Warenkorb gelegt haben – viele davon wären auch ohne Hilfe zurückgekehrt, um den Kauf abzuschließen.
• Promotions und Rabattcodes. Eine gut getimte Promo kann Nachfrage vorziehen, die ohnehin ein paar Wochen später zum vollen Preis entstanden wäre, statt einen neuen Verkauf zu erzeugen.
• Affiliate-, Marketplace- und Last-Click-Kanäle. Diese liegen am nächsten am Kaufzeitpunkt und neigen dazu, sich die gesamte Customer Journey zuzuschreiben – nicht nur ihren eigenen Beitrag.

Dieser Cluster ist außerdem der schnellste Einstiegspunkt für ein Messprogramm, da er sich selbst finanziert: Budget, das aus Ausgaben mit geringer Incrementality frei wird, speist das Upper-Funnel-Prospecting.

E-Commerce-Marken mit hohem Bestellvolumen und kurzen Kaufzyklen eignen sich ebenfalls gut für Holdout- und Geo-Tests, die einen stetigen Strom an Conversions benötigen, um schnell statistische Signifikanz zu erreichen.

Wie funktioniert Incrementality Testing?

Incrementality Testing misst den gesamten kausalen Einfluss eines Kanals, indem zwei vergleichbare Personengruppen zwei unterschiedlichen Media-Behandlungen ausgesetzt werden. Die Testgruppe wird dem Kanal wie gewohnt ausgesetzt. Für die andere Gruppe, die Kontrollgruppe (auch Holdout genannt), wird der Kanal abgeschaltet.

Ein Beispiel für Incrementality Testing

Angenommen, eine Marke führt einen vierwöchigen Holdout-Test für Retargeting durch. Die Testgruppe, die weiterhin Retargeting ausgesetzt ist, konvertiert mit 3,2 %. Die Kontrollgruppe, bei der Retargeting zurückgehalten wird, konvertiert mit 2,6 %.

Incrementality % = (3,2 % – 2,6 %) / 3,2 % = 18,75 %

Rund 19 % der Conversions der Testgruppe sind inkrementell, also durch Retargeting verursacht. Die anderen 81 % hätten ohnehin konvertiert.

Wenn der In-Platform-ROAS von Retargeting bei 8x läge, wäre der tatsächlich inkrementelle ROAS eher bei 1,5x – eine ganz andere Zahl, auf deren Basis man ein Budget planen würde.

Was ist der Unterschied zwischen A/B-Testing und Incrementality Testing?

Incrementality Testing ist eine Form eines randomisierten kontrollierten Experiments, ähnlich wie A/B-Testing. Während A/B-Testing jedoch dazu dient, Features einer Website oder Aspekte einer Kampagne zu testen, geht es beim Incrementality Testing um die größeren strategischen Entscheidungen rund um Budgets sowie den gesamten Marketing- und Media-Mix.

Welche verschiedenen Arten von Inkrementalitätstests gibt es?

Es gibt zwei Hauptarten von Inkrementalitätstests: Holdout-Experimente und Scale-Experimente.

Holdout-Experimente. Ein Holdout-Experiment misst den kausalen Einfluss eines Marketingkanals, indem der Kanal für die Kontrollgruppe vollständig abgeschaltet wird und die Geschäftsergebnisse mit der Testgruppe verglichen werden, die ihn wie gewohnt weiterhin erhält.

Scale-Experimente. Wenn das Abschalten eines Kanals zu teuer oder riskant ist, bietet ein Scale-Experiment die Lösung. Anstatt einen Kanal abzuschalten, erhöht ein Scale-Test die Mediadosis (2x–4x) für die Testgruppe. Im Gegensatz zu Holdout-Experimenten, die den Gesamteinfluss eines Kanals messen, messen Scale-Experimente den marginal ROAS (mROAS) des Kanals. mROAS bestimmt den inkrementellen Ertrag des nächsten Dollars (oder der nächsten ausgegebenen Einheit).

Welche verschiedenen Möglichkeiten gibt es, Inkrementalitätstests umzusetzen?

Es gibt zwei Hauptwege, Inkrementalitätstests umzusetzen: User-Level-RCTs / Ghost Ads und Geo-Testing. User-Level-RCTs / Ghost Ads, dabei werden einzelne Nutzer von der Anzeigenexposition ausgeschlossen, und Geo-Testing / Synthetic Controls, dabei werden geografische Märkte als Holdout zurückgehalten und gegen eine synthetische Baseline modelliert.

Holdout-Gruppen auf Nutzerebene

User-Level Randomized Controlled Trials (RCTs) sind Experimente, bei denen einzelne Kunden zufällig entweder einer exponierten Testgruppe oder einer nicht exponierten Holdout-Gruppe zugewiesen werden. Dieser Test liefert einen kausalen Effekt der Behandlung.

Was ist Holdout-Kontamination?

In randomisierten kontrollierten Experimenten auf Nutzerebene führen Cookie-Ablauf, Gerätewechsel und mobile Datenschutzbeschränkungen dazu, dass Holdout-Nutzer über ein Zweitgerät exponiert werden können – ein Problem, das als Holdout-Kontamination bekannt ist.

Wie funktioniert Ghost Ad?

Ein Ghost Ad ist ein Holdout-Test auf Nutzerebene, der innerhalb einer Plattform wie Meta oder Google läuft. Wenn für einen Nutzer, der dem Holdout zugewiesen ist, eine Anzeigenauktion stattfindet, unterdrückt die Plattform die Anzeige, spielt stattdessen den nächsthöheren Bieter aus und zeichnet eine „Ghost Impression“ auf, um nachzuverfolgen, wer wäre exponiert worden. Marketer vergleichen dann das Verhalten der Testgruppe mit dem Holdout, um die echte Inkrementalität zu bestimmen.

Ghost Ads sind innerhalb einer einzelnen Plattform präzise, können jedoch ohne externe Integration keine plattformübergreifenden Interaktionseffekte, Medienkannibalisierung oder Offline-Conversions berücksichtigen.

Wie funktioniert GeoLift für Inkrementalitäts-Tests?

Durch die Aufteilung geografischer Regionen in sich nicht überschneidende Gebiete, sogenannte „Geos“, messen GeoLift-Studien den echten kausalen Effekt, indem ein Geo der Media-Maßnahme ausgesetzt wird, während einem anderen Geo die Media-Exposition vorenthalten wird. Das bietet eine Möglichkeit, den inkrementellen Einfluss eines Medienkanals zu messen.

Geo-Testing ist besonders nützlich für die Messung von Offline-Kanälen, wie wir bereits zuvor besprochen haben.

In den Vereinigten Staaten werden Geos häufig als Designated Marketing Areas (DMAs) bezeichnet, von denen es 210 gibt.

Die Schweiz und die EU haben kein DMA-Äquivalent, aber dieselbe Logik funktioniert mit Kantonen, Postleitzahlregionen oder Metropolräumen wie Zürich, Genf und Basel.

Da Geo-Testing aggregierte, nicht-personenbezogene Ergebnisse misst, statt einzelne Personen zu tracken, passt es natürlich zum Schweizer DSG sowie zur DSGVO der EU: eine belastbare Einschätzung der Kanal-Performance, ohne Kundendaten auf Individualebene anzufassen. Berücksichtigen Sie beim Design eines Geo-Tests die Saisonalität und die jeweilige Basis-Marktdurchdringung jeder Region.

Unterbrochene Zeitreihe (ITS)

Interrupted Time Series (ITS) ist eine Methode der kausalen Inferenz, die eingesetzt wird, wenn eine Standard-Kontrollgruppe nicht möglich ist. Zu einem bestimmten Zeitpunkt tritt eine klare Veränderung ein – etwa der Start einer nationalen Kampagne, das Abschalten eines bezahlten Kanals – und ein Modell sagt vorher, was passiert wäre basierend auf Trends vor der Intervention und Saisonalität. ITS eignet sich am besten für Interventionen auf Makroebene, wie landesweite Kampagnen, die sich nicht nach Geografie oder User-ID aufteilen lassen.

Inkrementellen ROAS (iROAS) definieren

Incremental Return on Ad Spend (iROAS) ist eine Kennzahl, die den netto-neuen, kausal verursachten Umsatz misst, der pro ausgegebenem Marketing-Dollar in einem bestimmten Kanal generiert wird. Inkrementalitätstests sind der Goldstandard, um iROAS experimentell zu messen.

Im Gegensatz zum standardmäßigen, von Plattformen berichteten ROAS, der die gesamten Conversions mit Anzeigenkontakt durch die Media-Ausgaben teilt, zieht iROAS die kontrafaktische Baseline ab – das Verkaufsvolumen, das auf natürliche Weise über organische Suche und Markenstärke entstanden wäre.

Wie Marketer Inkrementalitätstests nutzen

Inkrementalitätstests werden zusammen mit Marketing Mix Modeling (MMM) durchgeführt, um sicherzustellen, dass MMM-Erkenntnisse auf realen kausalen Belegen beruhen und nicht nur auf Korrelationen. Das nennt man MMM-Kalibrierung.

iROAS dient als empirische Ground Truth: Schätzungen aus einem Inkrementalitätsexperiment werden in das Bayes’sche MMM eingespeist, um es zu kalibrieren. Bei ELIYA verwenden wir iROAS als informative Bayes’sche Priors zur Kalibrierung von Top-down-MMM-Response-Kurven, die von unserem Team überprüft werden, statt unkontrolliert zu laufen. So erhalten Teams die fundierteste, evidenzbasierte Grundlage für Budgetallokation und Planung.

Attribution vs. Inkrementalität

Inkrementalitätstests sind ein randomisiertes kontrolliertes Experiment, das den echten kausalen Effekt eines Kanals misst. Multi-Touch Attribution (MTA) hingegen misst den Beitrag jedes Touchpoints zu einem Verkauf, berichtet aber keinen kausalen Lift.

Inkrementalitätstests sind außerdem nicht auf Cookie-Tracking angewiesen und werden daher nicht durch Signalverlust beeinflusst, wie es bei MTA der Fall ist: Sie belegen, dass ein Touchpoint neuen Wert schafft – nicht nur, dass er mit Verkäufen korreliert.

Kann Incrementality-Testing eine Lower-Funnel-Death-Spiral verhindern

Ja, Incrementality-Testing zeigt, welcher Kanal tatsächlich neue Nachfrage erzeugt und welche Kanäle sie abfangen, sodass die Budgetallokation ausgewogen gestaltet werden kann, indem über den gesamten Marketing-Funnel hinweg verteilt wird.

Was ist die Lower-Funnel-Death-Spiral

Eine Lower-Funnel-Death-Spiral entsteht, wenn Lower-Funnel-Kanäle den Großteil des Mediabudgets absorbieren, wodurch der Markenaufbau zunehmend untergraben und die Basisnachfrage verzerrt wird, was langfristig zu einer übermäßigen Abhängigkeit von Performance-Kanälen führt.

Unkalibrierte Attribution berichtet nicht nur die Kanal-Performance falsch; wenn sie nicht korrigiert wird, zieht sie das Budget einer Marke über mehrere Stufen in die falsche Richtung: beginnend mit Bias in beobachtender Attribution, über die Umverteilung von Kapital hin zu Lower-Funnel-Kanälen und schließlich zur Hyperinflation von Plattformauktionen.

Beobachtende Methoden sind gefährlich, selbst wenn sie korrekt wirken: Korrelationsbasierte Modelle überschätzen konsequent den durch Käufe getriebenen Conversion-Lift.

Wie lange, wie viel und wie disruptiv ist ein Test?

Vernünftigerweise sind das die ersten Fragen, die die meisten CMOs stellen, bevor sie zustimmen, die Art und Weise zu ändern, wie ein Kanal betrieben wird. Wie lange: mehrere Wochen bis ein paar Monate, abhängig vom Conversion-Volumen und der Baseline-Variation. Wie viel: in der Regel nur die während des Testzeitraums umgeschichteten Media-Ausgaben, kein großes zusätzliches Budget obendrauf; die größeren Kosten sind operativ, eine Gruppe lange genug zurückzuhalten, um eine eindeutige Antwort zu erhalten. Wie disruptiv: Ein Holdout auf einem Teil des Traffics oder in bestimmten Geos ist darauf ausgelegt, risikoarm zu sein, und ein gut konzipierter Test begrenzt, wie viel Publikum oder Budget zurückgehalten wird.

FAQ

Was ist der Unterschied zwischen Holdout- und Scale-Experimenten?

Ein Holdout-Experiment schaltet einen Kanal für einen Teil der Zielgruppe ab, um seinen gesamten Lift zu messen; ein Scale-Experiment erhöht stattdessen die Ausgaben, um den marginalen ROI zu messen. Nutze ein Holdout, um herauszufinden, ob ein Kanal überhaupt relevant ist, und einen Scale-Test, wenn du bereits weißt, dass er funktioniert, und wissen willst, wie weit du ihn pushen kannst.

Erfordert Incrementality Testing Cookies oder Tracking auf Nutzerebene?

Nein. Geo-Testing und Interrupted Time Series messen Ergebnisse auf Markt- oder Zeitperiodenebene, nicht auf individueller Ebene – daher funktionieren sie auch dann noch, wenn Cookies und Device-IDs verschwinden.

Wie hängt Incrementality Testing mit MMM zusammen?

Sie ergänzen sich. MMM modelliert den gesamten Mix anhand historischer Daten; Incrementality Testing liefert echte experimentelle Ground Truth für einzelne Kanäle, und wenn man diese Ergebnisse als Kalibrierungs-Priors einspeist, bleibt das Modell in Evidenz verankert – nicht nur in Korrelation.

Ist Incrementality Testing nur für große Marken mit großen Budgets nützlich?

Nein. Marken mit geringeren Ausgaben oder weniger Conversion-Volumen erhalten oft klarere Ergebnisse aus Geo-Tests oder Scale-Tests, die weniger Volumen benötigen, um statistische Sicherheit zu erreichen, als ein vollständiger Holdout auf Nutzerebene.

Was das für dein Budget bedeutet

Incrementality Testing wird dir allein nicht alles über deinen Marketing-Mix sagen, aber es wird dir zeigen, welche Kanäle Wachstum erzeugen und welche sich nur den Erfolg zuschreiben. Bei ELIYA führen wir Incrementality Testing und MMM-Kalibrierung gemeinsam durch, nutzen agentische KI, um schneller zu sein und zu einem Bruchteil der Kosten einer traditionellen Agentur zu arbeiten, und unser Team prüft jedes Ergebnis, bevor es eine Budgetentscheidung beeinflusst.

Bereit herauszufinden, wo dein Budget tatsächlich wirkt? Sprich mit ELIYA über die Durchführung eines Incrementality Tests für deine Marke. In einem Folge-Guide zeigen wir, wie du zwischen Incrementality Testing, MMM oder beidem entscheidest.