Was Ist Incrementality Testing?

Kurzfassung

• Incrementality-Tests messen die gesamte kausale Wirkung eines Medienkanals: den Umsatz, der ohne den Kanal nicht zustande gekommen wäre.
• Dabei werden eine Testgruppe (Medienkontakt) und eine Kontrollgruppe (ohne Medienkontakt) verwendet, um den tatsächlichen Beitrag von der Basisaktivität zu isolieren.
• Die Kernformel: (Konversionsrate der Testgruppe – Konversionsrate der Kontrollgruppe) / Konversionsrate der Testgruppe = Incrementality %.
• Im Gegensatz zu Plattform-Attribution oder MTA wird Incrementality nicht durch Signalverlust, Walled-Garden-Bias oder das Auslaufen von Cookies beeinflusst und bildet damit die Grundlage moderner, belastbarer Marketingmessung.
• Führende Marken nutzen Incrementality-Ergebnisse, um Marketing Mix Models (MMM) zu kalibrieren, die Kanal-Performance zu validieren und Budgets mit Zuversicht umzuverteilen.

Was ist Incrementality Testing?

Ohne Incrementality Testing ist alles, was wir über Marketingkanäle wissen, Korrelation oder Anekdote. Incrementality Testing ist ein kontrolliertes, randomisiertes Experiment, das den echten inkrementellen Lift eines Kanals misst: den Umsatz, der ohne ihn nicht zustande gekommen wäre.

Warum solltest du Incrementality Testing durchführen?

Für E-Commerce- und Retail-Marken geben unkalibrierte beobachtende Modelle systematisch zu viel für Kanäle aus, die in der Plattform gut aussehen, aber nicht inkrementell sind: Brand Search, Retargeting, Promotions, die größtenteils Kund:innen belohnen, die ohnehin kurz vor dem Kauf standen.

Wie wir bereits zuvor besprochen haben, übertreiben Werbeplattformen systematisch den gemeldeten ROAS.

Als dokumentiertes Beispiel stellte eine veröffentlichte Analyse des Incrementality-Testing-Programms von Dropbox fest, dass klickbasierte Anzeigenattribution die tatsächliche Wirkung der bezahlten Kanäle deutlich überschätzte. Das Handeln auf Basis der Incrementality-Ergebnisse ermöglichte es Dropbox, Budget von Ausgaben mit geringer Incrementality hin zu dem umzuschichten, was das Geschäft tatsächlich voranbrachte.

Nielsens eigene Forschung weist in die gleiche Richtung: Marketer verschieben weiterhin Budget in Richtung Performance-Kanäle auf Kosten des Markenaufbaus, was Nielsen zufolge einen „Teufelskreis“ erzeugt: Man gibt mehr aus, um einen bereits schrumpfenden Pool interessierter Kund:innen zu konvertieren.

Wo E-Commerce-Marken zuerst testen sollten

Brand Search, Retargeting, Promotions und Affiliate-Programme sind Top-Kandidaten für Incrementality-Tests. Genauer gesagt:

• Brand Search. Jemand, der nach deinem Markennamen sucht, plant oft bereits zu kaufen; eine Holdout-Gruppe zeigt in der Regel, dass nur ein kleiner Teil dieses Traffics wirklich inkrementell ist.
• Retargeting- und Warenkorbabbruch-Anzeigen. Diese verfolgen Shopper, die bereits gestöbert oder etwas in den Warenkorb gelegt haben – viele von ihnen wären auch ohne weiteres zurückgekehrt, um den Kauf abzuschließen.
• Promotions und Rabattcodes. Eine gut getimte Promo kann Nachfrage vorziehen, die ohnehin ein paar Wochen später zum vollen Preis entstanden wäre, statt einen neuen Verkauf zu erzeugen.
• Affiliate-, Marketplace- und Last-Click-Kanäle. Diese liegen am nächsten am Kaufzeitpunkt und neigen dazu, sich die Anerkennung für die gesamte Customer Journey zuzuschreiben – nicht nur für ihren eigenen Beitrag.

Dieser Cluster ist außerdem der schnellste Einstiegspunkt für ein Messprogramm, da er sich selbst finanziert: Budget, das aus Ausgaben mit geringer Incrementality freigesetzt wird, speist das Upper-Funnel-Prospecting.

E-Commerce-Marken mit hohem Bestellvolumen und kurzen Kaufzyklen eignen sich ebenfalls gut für Holdout- und Geo-Tests, die einen stetigen Strom an Conversions benötigen, um schnell statistische Signifikanz zu erreichen.

Wie funktioniert Incrementality Testing?

Incrementality Testing misst den gesamten kausalen Einfluss eines Kanals, indem zwei vergleichbare Personengruppen zwei unterschiedlichen Media-Behandlungen ausgesetzt werden. Die Testgruppe wird dem Kanal wie gewohnt ausgesetzt. Für die andere Gruppe, die Kontrollgruppe (auch Holdout genannt), wird der Kanal abgeschaltet.

Ein Beispiel für Incrementality Testing

Angenommen, eine Marke führt einen vierwöchigen Holdout-Test für Retargeting durch. Die Testgruppe, die weiterhin Retargeting ausgesetzt ist, konvertiert mit 3,2 %. Die Kontrollgruppe, bei der Retargeting zurückgehalten wird, konvertiert mit 2,6 %.

Incrementality % = (3,2 % – 2,6 %) / 3,2 % = 18,75 %

Rund 19 % der Conversions der Testgruppe sind inkrementell und werden durch Retargeting verursacht. Die anderen 81 % wären ohnehin konvertiert.

Wenn der plattforminterne ROAS von Retargeting wie 8x aussähe, liegt der tatsächliche inkrementelle ROAS eher bei 1,5x – eine ganz andere Zahl, auf deren Basis man ein Budget planen würde.

Was ist der Unterschied zwischen A/B-Testing und Incrementality Testing?

Incrementality Testing ist eine Form eines randomisierten kontrollierten Experiments, ähnlich wie A/B-Testing. Während A/B-Testing jedoch dazu dient, Features einer Website oder Aspekte einer Kampagne zu testen, geht es beim Incrementality Testing um die größeren strategischen Entscheidungen rund um Budgets sowie den gesamten Marketing- und Media-Mix.

Welche verschiedenen Arten von Inkrementalitätstests gibt es?

Es gibt zwei Hauptarten von Inkrementalitätstests: Holdout-Experimente und Scale-Experimente.

Holdout-Experimente. Ein Holdout-Experiment misst den kausalen Einfluss eines Marketingkanals, indem der Kanal für die Kontrollgruppe vollständig abgeschaltet wird und die Geschäftsergebnisse mit der Testgruppe verglichen werden, die ihn wie gewohnt weiterhin erhält.

Scale-Experimente. Wenn das Abschalten eines Kanals zu teuer oder riskant ist, bietet ein Scale-Experiment die Lösung. Anstatt einen Kanal abzuschalten, erhöht ein Scale-Test die Mediadosis (2x–4x) für die Testgruppe. Im Gegensatz zu Holdout-Experimenten, die den Gesamteinfluss eines Kanals messen, messen Scale-Experimente die marginale ROAS (mROAS) des Kanals. mROAS bestimmt den inkrementellen Ertrag des nächsten ausgegebenen Dollars (oder der nächsten Ausgabeneinheit).

Welche verschiedenen Möglichkeiten gibt es, Inkrementalitätstests umzusetzen?

Es gibt zwei Hauptwege, Inkrementalitätstests umzusetzen: Nutzerbasierte RCTs / Ghost Ads und Geo-Testing. Nutzerbasierte RCTs / Ghost Ads, dabei werden einzelne Nutzer von der Anzeigenexposition ausgeschlossen, und Geo-Testing / synthetische Kontrollen, dabei werden geografische Märkte als Holdout zurückgehalten und gegen eine synthetische Baseline modelliert.

Nutzerbasierte Holdout-Gruppen

Nutzerbasierte Randomized Controlled Trials (RCTs) sind Tests, bei denen einzelne Kunden zufällig einer exponierten Testgruppe oder einer nicht exponierten Holdout-Gruppe zugewiesen werden. Dieser Test liefert einen kausalen Effekt der Behandlung.

Was ist Holdout-Kontamination?

In nutzerbasierten randomisierten kontrollierten Experimenten führen Cookie-Ablauf, Gerätewechsel und mobile Datenschutzbeschränkungen dazu, dass Holdout-Nutzer über ein Zweitgerät exponiert werden können – ein Problem, das als Holdout-Kontamination bekannt ist.

Wie funktioniert Ghost Ad?

Ein Ghost Ad ist ein Holdout-Test auf Nutzerebene, der innerhalb einer Plattform wie Meta oder Google läuft. Wenn für einen Nutzer, der dem Holdout zugewiesen ist, eine Anzeigenauktion stattfindet, unterdrückt die Plattform die Anzeige, spielt stattdessen den nächsthöheren Bieter aus und erfasst eine „Ghost Impression“, um nachzuverfolgen, wer gewesen wäre exponiert. Marketer vergleichen dann das Verhalten der Testgruppe mit dem Holdout, um die echte Inkrementalität zu bestimmen.

Ghost Ads sind innerhalb einer einzelnen Plattform präzise, können aber ohne externe Integration keine plattformübergreifenden Interaktionseffekte, Medienkannibalisierung oder Offline-Conversions berücksichtigen.

Wie funktioniert GeoLift für Inkrementalitäts-Tests?

Durch die Aufteilung geografischer Regionen in sich nicht überschneidende Gebiete, sogenannte „Geos“, messen GeoLift-Studien den echten kausalen Effekt, indem ein Geo der Media-Behandlung ausgesetzt wird, während einem anderen Geo die Media-Exposition vorenthalten wird. Das bietet eine Möglichkeit, den inkrementellen Einfluss eines Media-Kanals zu messen.

Geo-Testing ist besonders nützlich für die Messung von Offline-Kanälen, wie wir bereits zuvor besprochen haben.

In den Vereinigten Staaten werden Geos häufig als Designated Marketing Areas (DMAs) bezeichnet, von denen es 210 gibt.

Die Schweiz und die EU haben kein DMA-Äquivalent, aber dieselbe Logik funktioniert mit Kantonen, Postleitzahlregionen oder Metropolregionen wie Zürich, Genf und Basel.

Da Geo-Testing aggregierte, nicht personenbezogene Ergebnisse misst, statt Individuen zu tracken, passt es natürlich zum Schweizer DSG sowie zur DSGVO der EU: eine belastbare Einschätzung der Kanal-Performance, ohne Kundendaten auf Individualebene anzufassen. Berücksichtige beim Design eines Geo-Tests die Saisonalität und die jeweilige Basis-Marktdurchdringung jeder Region.

Unterbrochene Zeitreihe (ITS)

Interrupted Time Series (ITS) ist eine Methode der kausalen Inferenz, die eingesetzt wird, wenn eine klassische Kontrollgruppe nicht möglich ist. Zu einem bestimmten Zeitpunkt tritt eine klare Veränderung ein – etwa der Start einer nationalen Kampagne oder das Abschalten eines bezahlten Kanals – und ein Modell sagt voraus, was passiert wäre basierend auf Trends und Saisonalität vor der Intervention. ITS eignet sich am besten für Interventionen auf Makroebene, wie landesweite Kampagnen, die sich nicht nach Geografie oder User-ID aufteilen lassen.

Inkrementellen ROAS (iROAS) definieren

Incremental Return on Ad Spend (iROAS) ist eine Kennzahl, die den netto-neuen, kausal verursachten Umsatz misst, der pro ausgegebenem Dollar Marketingbudget in einem bestimmten Kanal generiert wird. Inkrementalitätstests sind der Goldstandard, um iROAS experimentell zu messen.

Im Gegensatz zum standardmäßig von Plattformen berichteten ROAS, der die gesamten Conversions mit Anzeigenkontakt durch die Media-Ausgaben teilt, zieht iROAS die kontrafaktische Baseline ab – das Verkaufsvolumen, das auch ohne Weiteres natürlich über organische Suche und Markenstärke entstanden wäre.

Wie Marketer Inkrementalitätstests nutzen

Inkrementalitätstests werden zusammen mit Marketing Mix Modeling (MMM) durchgeführt, um sicherzustellen, dass MMM-Erkenntnisse auf realen kausalen Belegen beruhen und nicht nur auf Korrelationen. Das nennt man MMM-Kalibrierung.

iROAS dient als empirische Ground Truth: Schätzungen aus einem Inkrementalitätsexperiment werden in das Bayes’sche MMM eingespeist, um es zu kalibrieren. Bei ELIYA verwenden wir iROAS als informative Bayes’sche Priors zur Kalibrierung von Top-down-MMM-Response-Kurven, die von unserem Team überprüft werden, statt unkontrolliert zu laufen – so erhalten Teams die fundierteste, evidenzbasierte Grundlage für Budgetallokation und Planung.

Attribution vs. Inkrementalität

Inkrementalitätstests sind ein randomisiertes kontrolliertes Experiment, das den echten kausalen Effekt eines Kanals misst. Multi-Touch Attribution (MTA) hingegen misst den Beitrag jedes Touchpoints zu einem Kauf, berichtet aber keinen kausalen Lift.

Inkrementalitätstests sind außerdem nicht auf Cookie-Tracking angewiesen und werden daher nicht durch Signalverlust beeinflusst, wie es bei MTA der Fall ist: Sie belegen, dass ein Touchpoint neuen Wert schafft – nicht nur, dass er mit Verkäufen korreliert.

Kann Incrementality-Testing eine Lower-Funnel-Death-Spiral verhindern

Ja, Incrementality-Testing zeigt, welcher Kanal tatsächlich neue Nachfrage erzeugt und welche Kanäle sie abfangen, sodass die Budgetallokation ausgewogen gestaltet werden kann, indem über den gesamten Marketing-Funnel hinweg verteilt wird.

Was ist die Lower-Funnel-Death-Spiral

Eine Lower-Funnel-Death-Spiral entsteht, wenn Lower-Funnel-Kanäle den Großteil des Mediabudgets absorbieren, wodurch der Markenaufbau zunehmend untergraben und die Basisnachfrage verzerrt wird, was langfristig zu einer übermäßigen Abhängigkeit von Performance-Kanälen führt.

Unkalibrierte Attribution berichtet nicht nur die Kanal-Performance falsch; wenn sie nicht kontrolliert wird, zieht sie das Budget einer Marke über mehrere Stufen in die falsche Richtung: beginnend mit Bias in beobachtender Attribution, über die Umverteilung von Kapital hin zu Lower-Funnel-Kanälen bis hin zur Hyperinflation von Plattformauktionen.

Beobachtende Methoden sind gefährlich, selbst wenn sie korrekt wirken: Korrelationsbasierte Modelle überschätzen konsistent den conversion lift, der durch Kaufabsicht getrieben ist.

Wie lange, wie viel und wie disruptiv ist ein Test?

Vernünftigerweise sind das die ersten Fragen, die die meisten CMOs stellen, bevor sie zustimmen, zu ändern, wie ein Kanal betrieben wird. Wie lange: mehrere Wochen bis ein paar Monate, abhängig vom Conversion-Volumen und der Variation der Basislinie. Wie viel: in der Regel nur die während des Testzeitfensters umgeschichteten Media-Ausgaben, nicht ein großes zusätzliches Budget; die größeren Kosten sind operativ: eine Gruppe lange genug zurückzuhalten, um eine eindeutige Antwort zu erhalten. Wie disruptiv: Ein Holdout, der auf einem Teil des Traffics oder in bestimmten Geos läuft, ist darauf ausgelegt, risikoarm zu sein, und ein gut konzipierter Test begrenzt, wie viel der Zielgruppe oder des Budgets zurückgehalten wird.

FAQ

Was ist der Unterschied zwischen Holdout- und Scale-Experimenten?

Ein Holdout-Experiment schaltet einen Kanal für einen Teil der Zielgruppe ab, um seinen gesamten Lift zu messen; ein Scale-Experiment erhöht stattdessen die Ausgaben, um den marginalen ROI zu messen. Nutze ein Holdout, um zu lernen, ob ein Kanal überhaupt eine Rolle spielt, und einen Scale-Test, wenn du bereits weißt, dass er funktioniert, und wissen willst, wie weit du ihn pushen kannst.

Erfordert Incrementality Testing Cookies oder Tracking auf Nutzerebene?

Nein. Geo-Testing und Interrupted Time Series messen Ergebnisse auf Markt- oder Zeitperiodenebene, nicht auf individueller Ebene – daher funktionieren sie auch dann noch, wenn Cookies und Geräte-IDs verschwinden.

Wie hängt Incrementality Testing mit MMM zusammen?

Sie ergänzen sich. MMM modelliert den gesamten Mix aus historischen Daten; Incrementality Testing liefert echte experimentelle Ground Truth für einzelne Kanäle, und wenn man diese Ergebnisse als Kalibrierungs-Priors einspeist, bleibt das Modell in Evidenz verankert – nicht nur in Korrelation.

Ist Incrementality Testing nur für große Marken mit großen Budgets nützlich?

Nein. Marken mit geringeren Ausgaben oder weniger Conversion-Volumen erhalten oft sauberere Ergebnisse aus Geo-Tests oder Scale-Tests, die weniger Volumen benötigen, um statistische Sicherheit zu erreichen, als ein vollständiger Holdout auf Nutzerebene.

Was das für dein Budget bedeutet

Incrementality Testing wird dir allein nicht alles über deinen Marketing-Mix sagen, aber es wird dir zeigen, welche Kanäle Wachstum erzeugen und welche sich nur dafür die Lorbeeren abholen. Bei ELIYA führen wir Incrementality Testing und MMM-Kalibrierung gemeinsam durch, nutzen agentische KI, um schneller zu sein und das zu einem Bruchteil der Kosten einer traditionellen Agentur – wobei unser Team jedes Ergebnis prüft, bevor es eine Budgetentscheidung beeinflusst.

Bereit herauszufinden, wo dein Budget tatsächlich wirkt? Sprich mit ELIYA darüber, einen Incrementality-Test durchzuführen für deine Marke. In einem Folge-Guide zeigen wir, wie du dich zwischen Incrementality Testing, MMM oder beidem entscheidest.