Qu’est-ce Que Le Test D’incrémentalité ?

TL;DR

• Les tests d’incrémentalité mesurent l’impact causal global d’un canal média : le chiffre d’affaires qui n’aurait pas eu lieu sans ce canal.
• Ils utilisent un groupe test (exposé aux médias) et un groupe témoin (non exposé aux médias) pour isoler la contribution réelle de l’activité de base.
• La formule de base : (Taux de conversion du test – Taux de conversion du témoin) / Taux de conversion du test = % d’incrémentalité.
• Contrairement à l’attribution de plateforme ou au MTA, l’incrémentalité n’est pas affectée par la perte de signal, les biais des walled gardens ou la disparition des cookies, ce qui en fait le socle d’une mesure marketing moderne et durable.
• Les marques leaders utilisent les résultats d’incrémentalité pour calibrer les Marketing Mix Models (MMM), valider la performance des canaux et réallouer le budget en toute confiance.

Qu’est-ce que le test d’incrémentalité ?

Sans tests d’incrémentalité, tout ce que nous savons sur les canaux marketing relève de la corrélation ou de l’anecdote. Le test d’incrémentalité est une expérience contrôlée et randomisée qui mesure le véritable gain incrémental d’un canal : le chiffre d’affaires qui n’aurait pas eu lieu sans lui.

Pourquoi faire des tests d’incrémentalité ?

Pour les marques e-commerce et retail, les modèles observationnels non calibrés surinvestissent systématiquement dans des canaux qui paraissent performants sur les plateformes mais ne sont pas incrémentaux : recherche de marque, retargeting, promotions qui récompensent surtout des clients déjà sur le point d’acheter.

Comme nous l’avons déjà évoqué, les plateformes publicitaires surestiment systématiquement le ROAS rapporté.

À titre d’exemple documenté, une analyse publiée du programme de tests d’incrémentalité de Dropbox a montré que l’attribution publicitaire basée sur les clics surestimait de manière significative l’impact réel de ses canaux payants. S’appuyer sur les résultats d’incrémentalité a permis à Dropbox de réallouer le budget en le retirant des dépenses à faible incrémentalité pour le diriger vers ce qui faisait réellement progresser l’activité.

Les propres recherches de Nielsen vont dans le même sens : les marketeurs continuent de déplacer les budgets vers les canaux de performance au détriment de la construction de la marque, ce que Nielsen avertit créer un « cercle vicieux » consistant à dépenser davantage pour convertir un vivier déjà en diminution de clients intéressés.

Où les marques e-commerce devraient tester en premier

Recherche de marque, retargeting, promotions et affiliation sont des candidats de premier plan pour mener des tests d’incrémentalité. Plus précisément :

• Recherche de marque. Quelqu’un qui recherche le nom de votre marque prévoit souvent déjà d’acheter ; un groupe témoin montre généralement que seule une petite fraction de ce trafic est réellement incrémentale.
• Retargeting et publicités de relance de panier. Elles ciblent des acheteurs qui ont déjà consulté ou ajouté au panier, dont beaucoup seraient revenus finaliser leur achat d’eux-mêmes.
• Promotions et codes de réduction. Une promo bien placée peut avancer une demande qui se serait produite de toute façon au prix fort quelques semaines plus tard, plutôt que de créer une nouvelle vente.
• Affiliation, marketplaces et canaux au dernier clic. Ils se situent au plus près du point d’achat et ont tendance à s’attribuer le mérite de l’ensemble du parcours client, et pas seulement de leur propre contribution.

Ce groupe est aussi l’endroit le plus rapide pour démarrer un programme de mesure, puisqu’il s’autofinance : le budget libéré des dépenses à faible incrémentalité alimente la prospection en haut de funnel.

Les marques e-commerce avec un volume de commandes élevé et des cycles d’achat courts sont également bien adaptées aux tests holdout et géographiques, qui nécessitent un flux régulier de conversions pour atteindre rapidement une confiance statistique.

Comment fonctionne le test d’incrémentalité ?

Le test d’incrémentalité mesure l’impact causal global d’un canal en exposant deux groupes de personnes comparables à deux traitements média différents. Le groupe test est exposé au canal comme d’habitude. Le canal est coupé pour l’autre groupe, le groupe de contrôle (également appelé le holdout).

Un exemple de test d’incrémentalité

Supposons qu’une marque mène un test holdout de quatre semaines sur le retargeting. Le groupe test, toujours exposé au retargeting, convertit à 3,2 %. Le groupe de contrôle, privé de retargeting, convertit à 2,6 %.

% d’incrémentalité = (3,2 % – 2,6 %) / 3,2 % = 18.75%

Environ 19 % des conversions du groupe test sont incrémentales, causées par le retargeting. Les 81 % restants auraient converti de toute façon.

Si le ROAS in-platform du retargeting semblait être de 8x, le ROAS incrémental réel est plus proche de 1,5x, un chiffre très différent pour planifier un budget.

Quelle est la différence entre les tests A/B et les tests d’incrémentalité ?

Le test d’incrémentalité est une forme d’expérience contrôlée randomisée, similaire aux tests A/B. Mais alors que les tests A/B servent à tester des fonctionnalités d’un site ou des aspects d’une campagne, le test d’incrémentalité concerne des décisions stratégiques plus larges autour des budgets et du mix marketing et média global.

Quels sont les différents types de tests d’incrémentalité ?

Il existe deux grands types de tests d’incrémentalité : les expériences de holdout et les expériences de montée en charge.

Expériences de holdout. Une expérience de holdout mesure l’impact causal d’un canal marketing en coupant complètement le canal pour le groupe de contrôle et en comparant les résultats business au groupe test, qui continue à le recevoir comme d’habitude.

Expériences de montée en charge. Lorsqu’il est trop coûteux ou risqué de couper un canal, une expérience de montée en charge apporte la solution. Au lieu de couper un canal, un test de montée en charge augmente la pression média (2x–4x) pour le groupe test. Contrairement aux expériences de holdout, qui mesurent l’impact global d’un canal, les expériences de montée en charge mesurent le marginal ROAS (mROAS) du canal. Le mROAS détermine le rendement incrémental du prochain dollar (ou de la prochaine unité de dépense).

Quelles sont les différentes façons de mettre en œuvre des tests d’incrémentalité ?

Il existe deux principales façons de mettre en œuvre des tests d’incrémentalité : les RCT au niveau utilisateur / Ghost Ads et le Geo-Testing. RCT au niveau utilisateur / ghost ads, c’est lorsque des utilisateurs individuels sont exclus de l’exposition publicitaire, et geo-testing / synthetic controls, c’est lorsque des marchés géographiques sont mis en holdout et modélisés par rapport à une base de référence synthétique.

Groupes de holdout au niveau utilisateur

Les essais contrôlés randomisés (RCT) au niveau utilisateur consistent à attribuer aléatoirement des clients individuels à un groupe test exposé ou à un groupe holdout non exposé. Ce test fournit un impact causal du traitement.

Qu’est-ce que la contamination du holdout ?

Dans les expériences contrôlées randomisées au niveau utilisateur, l’expiration des cookies, le passage d’un appareil à l’autre et les restrictions de confidentialité mobile permettent aux utilisateurs en holdout d’être exposés via un appareil secondaire, un problème connu sous le nom de contamination du holdout.

Comment fonctionne une Ghost Ad ?

Une Ghost Ad est un test de groupe témoin (holdout) au niveau utilisateur qui s’exécute au sein d’une plateforme comme Meta ou Google. Lorsqu’une enchère publicitaire a lieu pour un utilisateur affecté au groupe témoin, la plateforme supprime l’annonce, diffuse à la place l’enchérisseur suivant le plus élevé, et enregistre une « impression fantôme » pour suivre qui aurait été exposé. Les marketeurs comparent ensuite le comportement du groupe test à celui du groupe témoin afin de déterminer la véritable incrémentalité.

Les ghost ads sont précises au sein d’une seule plateforme, mais ne peuvent pas prendre en compte les effets d’interaction entre plateformes, la cannibalisation média ou les conversions hors ligne sans intégration externe.

Comment fonctionne GeoLift pour les tests d’incrémentalité ?

En partitionnant des régions géographiques en zones non chevauchantes appelées « geos », les études GeoLift mesurent le véritable effet causal en exposant un geo au traitement média tout en privant un autre geo de l’exposition média. Cela fournit un moyen de mesurer l’impact incrémental d’un canal média.

Les tests géographiques sont particulièrement utiles pour la mesure des canaux hors ligne, comme nous l’avons déjà évoqué.

Aux États-Unis, les geos sont généralement définis comme des Designated Marketing Areas (DMAs), au nombre de 210.

La Suisse et l’UE n’ont pas d’équivalent aux DMA, mais la même logique fonctionne en utilisant les cantons, les régions de codes postaux ou des zones métropolitaines comme Zurich, Genève et Bâle.

Comme les tests géographiques mesurent des résultats agrégés et non liés à des données personnelles plutôt que de suivre des individus, ils s’accordent naturellement avec la LPD suisse et le RGPD de l’UE : une lecture rigoureuse de la performance des canaux sans toucher aux données au niveau client. Lors de la conception d’un test géographique, tenez compte de la saisonnalité et de la pénétration de marché de référence de chaque région.

Série temporelle interrompue (ITS)

Les séries temporelles interrompues (ITS) sont une méthode d’inférence causale utilisée lorsqu’un groupe de contrôle standard n’est pas possible. Un changement net se produit à un moment précis, comme le lancement d’une campagne nationale, l’arrêt d’un canal payant, et un modèle prédit ce qui se serait passé sur la base des tendances pré-intervention et de la saisonnalité. L’ITS est particulièrement adaptée aux interventions macro, comme les campagnes nationales, qui ne peuvent pas être segmentées par zone géographique ou identifiant utilisateur.

Définir le ROAS incrémental (iROAS)

Le retour sur dépenses publicitaires incrémental (iROAS) est une métrique qui mesure le revenu net nouveau, causé, généré par dollar de dépense marketing sur un canal donné. Les tests d’incrémentalité constituent la référence absolue pour mesurer expérimentalement l’iROAS.

Contrairement au ROAS standard rapporté par les plateformes, qui divise le total des conversions ayant touché une annonce par les dépenses média, l’iROAS soustrait la référence contrefactuelle, c’est-à-dire le volume de ventes qui se serait produit naturellement via la recherche organique et la notoriété de marque.

Comment les marketeurs utilisent les tests d’incrémentalité

Les tests d’incrémentalité sont réalisés en parallèle du Marketing Mix Model (MMM) afin de s’assurer que les enseignements du MMM reposent sur des preuves causales du monde réel, et pas seulement sur des corrélations. On appelle cela la calibration du MMM.

L’iROAS sert de vérité terrain empirique : les estimations issues d’une expérience d’incrémentalité sont injectées dans le MMM bayésien pour le calibrer. Chez ELIYA, nous utilisons l’iROAS comme priors bayésiens informatifs afin de calibrer les courbes de réponse MMM top-down, examinées par notre équipe plutôt que laissées tourner sans contrôle, offrant aux équipes la base la plus solide et fondée sur des preuves pour l’allocation budgétaire et la planification.

Attribution vs. incrémentalité

Les tests d’incrémentalité sont une expérience randomisée contrôlée qui mesure le véritable impact causal d’un canal. L’attribution multi-touch (MTA), en revanche, mesure la contribution de chaque point de contact à une vente, mais ne rapporte pas de lift causal.

Les tests d’incrémentalité ne reposent pas non plus sur le suivi par cookies ; ils ne sont donc pas affectés par la perte de signal comme l’est la MTA : ils prouvent qu’un point de contact ajoute une nouvelle valeur, et pas seulement qu’il est corrélé aux ventes.

Les tests d’incrémentalité peuvent-ils prévenir la spirale de la mort du bas de funnel

Oui, les tests d’incrémentalité montrent quel canal crée réellement une nouvelle demande et quels canaux l’interceptent, de sorte que l’allocation budgétaire peut être équilibrée en répartissant le budget sur l’ensemble du funnel marketing.

Qu’est-ce que la spirale de la mort du bas de funnel

La spirale de la mort du bas de funnel se produit lorsque les canaux de bas de funnel absorbent la majeure partie du budget média, sapant de plus en plus la construction de la marque et déformant la demande de base, ce qui conduit à une dépendance excessive à long terme aux canaux de performance.

Une attribution non calibrée ne se contente pas de mal rapporter la performance des canaux ; si elle n’est pas contrôlée, elle tire le budget d’une marque dans la mauvaise direction à travers plusieurs étapes : en commençant par le biais d’attribution observationnelle, puis la réallocation de capital vers les canaux de bas de funnel, et enfin l’hyper-inflation des enchères sur les plateformes.

Les méthodes observationnelles sont dangereuses même lorsqu’elles semblent exactes : les modèles basés sur la corrélation surestiment systématiquement l’augmentation des conversions due aux achats.

Combien de temps, combien ça coûte et à quel point un test est-il perturbateur ?

De manière raisonnable, ce sont les premières questions que la plupart des CMO posent avant d’accepter de changer la façon dont un canal fonctionne. Combien de temps : plusieurs semaines à quelques mois, selon le volume de conversions et la variation de la ligne de base. Combien : généralement seulement la dépense média réallouée pendant la fenêtre de test, pas un gros budget en plus ; le coût le plus important est opérationnel, consistant à maintenir un groupe en retrait suffisamment longtemps pour obtenir une réponse claire. À quel point c’est perturbateur : un holdout sur une partie du trafic ou des zones géographiques est conçu pour être à faible risque, et un test bien conçu limite la part d’audience ou de budget qui est retenue.

FAQ

Quelle est la différence entre les expériences de holdout et les expériences de scale ?

Une expérience de holdout désactive un canal pour une partie de l’audience afin de mesurer son lift global ; une expérience de scale augmente plutôt les dépenses, afin de mesurer le ROI marginal. Utilisez un holdout pour savoir si un canal compte vraiment, et un test de scale une fois que vous savez déjà qu’il fonctionne et que vous voulez savoir jusqu’où le pousser.

Les tests d’incrémentalité nécessitent-ils des cookies ou un suivi au niveau utilisateur ?

Non. Les geo-tests et les séries temporelles interrompues mesurent les résultats au niveau du marché ou de la période, pas au niveau individuel ; ils restent donc pertinents à mesure que les cookies et les identifiants d’appareils disparaissent.

Quel est le lien entre les tests d’incrémentalité et le MMM ?

Ils sont complémentaires. Le MMM modélise l’ensemble du mix à partir de données historiques ; les tests d’incrémentalité fournissent une vérité terrain expérimentale pour des canaux individuels, et intégrer ces résultats comme priors de calibration permet de garder le modèle ancré dans des preuves, et pas seulement dans des corrélations.

Les tests d’incrémentalité ne sont-ils utiles que pour les grandes marques avec de gros budgets ?

Non. Les marques avec des dépenses ou un volume de conversions plus faibles obtiennent souvent des résultats plus nets avec des geo-tests ou des tests de scale, qui nécessitent moins de volume pour atteindre une confiance statistique qu’un holdout complet au niveau utilisateur.

Ce que cela implique pour votre budget

Les tests d’incrémentalité ne vous diront pas tout, à eux seuls, sur votre mix marketing, mais ils vous diront quels canaux créent de la croissance et lesquels ne font que s’en attribuer le mérite. Chez ELIYA, nous menons conjointement des tests d’incrémentalité et la calibration du MMM, en utilisant une IA agentique pour aller plus vite et à une fraction du coût d’une agence traditionnelle, notre équipe examinant chaque résultat avant qu’il n’influence une décision budgétaire.

Prêt à découvrir où votre budget fonctionne réellement ? Parlez à ELIYA de la mise en place d’un test d’incrémentalité pour votre marque. Dans un guide de suivi, nous expliquerons comment choisir entre les tests d’incrémentalité, le MMM, ou les deux.