Qu’est-ce Que Le Test D’incrémentalité ?

TL;DR

• Les tests d’incrémentalité mesurent l’impact causal global d’un canal média : le revenu qui n’aurait pas eu lieu sans ce canal.
• Ils utilisent un groupe test (exposé aux médias) et un groupe témoin (non exposé aux médias) pour isoler la contribution réelle de l’activité de base.
• La formule de base : (taux de conversion du test – taux de conversion du témoin) / taux de conversion du test = % d’incrémentalité.
• Contrairement à l’attribution des plateformes ou au MTA, l’incrémentalité n’est pas affectée par la perte de signal, les biais des walled gardens ou la disparition des cookies, ce qui en fait le socle d’une mesure marketing moderne et durable.
• Les marques leaders utilisent les résultats d’incrémentalité pour calibrer les Marketing Mix Models (MMM), valider la performance des canaux et réallouer le budget en toute confiance.

Qu’est-ce que le test d’incrémentalité ?

Sans tests d’incrémentalité, tout ce que nous savons sur les canaux marketing relève de la corrélation ou de l’anecdote. Le test d’incrémentalité est une expérience contrôlée et randomisée qui mesure le véritable gain incrémental d’un canal : le revenu qui n’aurait pas eu lieu sans lui.

Pourquoi faire des tests d’incrémentalité ?

Pour les marques e-commerce et retail, les modèles observationnels non calibrés surinvestissent systématiquement dans des canaux qui paraissent performants sur les plateformes mais ne sont pas incrémentaux : recherche de marque, retargeting, promotions qui récompensent surtout des clients déjà sur le point d’acheter.

Comme nous l’avons déjà évoqué, les plateformes publicitaires surestiment systématiquement le ROAS rapporté.

À titre d’exemple documenté, une analyse publiée du programme de tests d’incrémentalité de Dropbox a constaté que l’attribution publicitaire basée sur les clics surestimait de manière significative l’impact réel de ses canaux payants. En s’appuyant sur les résultats d’incrémentalité, Dropbox a pu réallouer le budget des dépenses à faible incrémentalité vers ce qui faisait réellement progresser l’activité.

Les propres recherches de Nielsen vont dans le même sens : les marketeurs continuent de déplacer les budgets vers les canaux de performance au détriment de la construction de la marque, ce qui, selon Nielsen, crée un « cercle vicieux » consistant à dépenser davantage pour convertir un vivier de clients intéressés déjà en diminution.

Où les marques e-commerce devraient tester en premier

Recherche de marque, retargeting, promotions et affiliation sont les principaux candidats pour mener des tests d’incrémentalité. Plus précisément :

• Recherche de marque. Une personne qui recherche le nom de votre marque prévoit souvent déjà d’acheter ; un groupe témoin montre généralement que seule une petite fraction de ce trafic est réellement incrémentale.
• Retargeting et publicités de relance de panier abandonné. Elles ciblent des acheteurs qui ont déjà consulté ou ajouté au panier, dont beaucoup seraient revenus finaliser leur achat d’eux-mêmes.
• Promotions et codes de réduction. Une promo bien placée peut avancer une demande qui se serait produite de toute façon au prix fort quelques semaines plus tard, plutôt que de créer une nouvelle vente.
• Affiliation, marketplaces et canaux au dernier clic. Ils se situent au plus près du point d’achat et ont tendance à s’attribuer le mérite de l’ensemble du parcours client, et pas seulement de leur propre contribution.

Ce groupe est aussi l’endroit le plus rapide pour démarrer un programme de mesure, puisqu’il s’autofinance : le budget libéré des dépenses à faible incrémentalité alimente la prospection en haut de funnel.

Les marques e-commerce avec un volume de commandes élevé et des cycles d’achat courts sont également bien adaptées aux tests holdout et géographiques, qui nécessitent un flux régulier de conversions pour atteindre rapidement une confiance statistique.

Comment fonctionne le test d’incrémentalité ?

Le test d’incrémentalité mesure l’impact causal global d’un canal en exposant deux groupes de personnes comparables à deux traitements média différents. Le groupe test est exposé au canal comme d’habitude. Le canal est désactivé pour l’autre groupe, le groupe de contrôle (aussi appelé le holdout).

Un exemple de test d’incrémentalité

Supposons qu’une marque mène un test holdout de quatre semaines sur le retargeting. Le groupe test, toujours exposé au retargeting, convertit à 3,2 %. Le groupe de contrôle, privé de retargeting, convertit à 2,6 %.

% d’incrémentalité = (3,2 % – 2,6 %) / 3,2 % = 18,75 %

Environ 19 % des conversions du groupe test sont incrémentales, causées par le retargeting. Les 81 % restants auraient converti de toute façon.

Si le ROAS du retargeting sur la plateforme semblait être de 8x, le ROAS incrémental réel est plus proche de 1,5x, un chiffre très différent pour planifier un budget.

Quelle est la différence entre les tests A/B et le test d’incrémentalité ?

Le test d’incrémentalité est une forme d’expérience contrôlée randomisée, similaire aux tests A/B. Mais alors que les tests A/B servent à tester des fonctionnalités d’un site ou des aspects d’une campagne, le test d’incrémentalité concerne des décisions stratégiques plus larges autour des budgets et du mix marketing et média global.

Quels sont les différents types de tests d’incrémentalité ?

Il existe deux grands types de tests d’incrémentalité : les expériences de holdout et les expériences de mise à l’échelle.

Expériences de holdout. Une expérience de holdout mesure l’impact causal d’un canal marketing en coupant complètement le canal pour le groupe de contrôle et en comparant les résultats business au groupe test, qui continue à le recevoir comme d’habitude.

Expériences de mise à l’échelle. Lorsqu’il est trop coûteux ou risqué de couper un canal, une expérience de mise à l’échelle apporte la solution. Au lieu de couper un canal, un test de mise à l’échelle augmente la pression média (2x–4x) pour le groupe test. Contrairement aux expériences de holdout, qui mesurent l’impact global d’un canal, les expériences de mise à l’échelle mesurent le ROAS marginal (mROAS) du canal. Le mROAS détermine le rendement incrémental du prochain dollar (ou de la prochaine unité) dépensé.

Quelles sont les différentes façons de mettre en œuvre des tests d’incrémentalité ?

Il existe deux principales façons de mettre en œuvre des tests d’incrémentalité : les RCT au niveau utilisateur / Ghost Ads et le geo-testing. RCT au niveau utilisateur / ghost ads, c’est lorsque des utilisateurs individuels sont exclus de l’exposition publicitaire, et geo-testing / synthetic controls, c’est lorsque des marchés géographiques sont mis en holdout et modélisés par rapport à une base de référence synthétique.

Groupes de holdout au niveau utilisateur

Les essais contrôlés randomisés (RCT) au niveau utilisateur consistent à assigner aléatoirement des clients individuels à un groupe test exposé ou à un groupe holdout non exposé. Ce test fournit une mesure de l’impact causal du traitement.

Qu’est-ce que la contamination du holdout ?

Dans les expériences contrôlées randomisées au niveau utilisateur, l’expiration des cookies, le passage d’un appareil à l’autre et les restrictions de confidentialité mobile permettent aux utilisateurs du holdout d’être exposés via un appareil secondaire, un problème connu sous le nom de contamination du holdout.

Comment fonctionne une Ghost Ad ?

Une Ghost Ad est un test de groupe témoin (holdout) au niveau utilisateur qui s’exécute au sein d’une plateforme comme Meta ou Google. Lorsqu’une enchère publicitaire a lieu pour un utilisateur affecté au groupe témoin, la plateforme supprime l’annonce, diffuse à la place l’enchérisseur suivant le plus élevé, et enregistre une « impression fantôme » pour suivre qui aurait été exposé. Les marketeurs comparent ensuite le comportement du groupe test à celui du groupe témoin afin de déterminer la véritable incrémentalité.

Les ghost ads sont précises au sein d’une seule plateforme, mais ne peuvent pas tenir compte des effets d’interaction cross-plateforme, de la cannibalisation média, ni des conversions hors ligne sans intégration externe.

Comment GeoLift fonctionne-t-il pour les tests d’incrémentalité ?

En partitionnant des régions géographiques en zones non chevauchantes appelées « geos », les études GeoLift mesurent le véritable effet causal en exposant un geo au traitement média tout en privant un autre geo de l’exposition média. Cela fournit un moyen de mesurer l’impact incrémental d’un canal média.

Les tests géographiques sont particulièrement utiles pour la mesure des canaux hors ligne, comme nous l’avons déjà évoqué.

Aux États-Unis, les geos sont couramment définis comme des Designated Marketing Areas (DMAs), au nombre de 210.

La Suisse et l’UE n’ont pas d’équivalent des DMA, mais la même logique fonctionne en utilisant les cantons, les régions par code postal ou des zones métropolitaines comme Zurich, Genève et Bâle.

Comme les tests géographiques mesurent des résultats agrégés, non liés à des données personnelles (PII), plutôt que de suivre des individus, ils s’accordent naturellement avec la LPD suisse et le RGPD de l’UE : une lecture rigoureuse de la performance des canaux sans toucher aux données au niveau client. Lors de la conception d’un test géographique, tenez compte de la saisonnalité et de la pénétration de marché de base de chaque région.

Séries temporelles interrompues (ITS)

Les séries temporelles interrompues (ITS) sont une méthode d’inférence causale utilisée lorsqu’un groupe de contrôle standard n’est pas possible. Un changement net se produit à un moment précis, comme le lancement d’une campagne nationale, l’arrêt d’un canal payant, et un modèle prédit ce qui serait arrivé sur la base des tendances pré-intervention et de la saisonnalité. L’ITS est particulièrement adaptée aux interventions macro, comme les campagnes nationales, qui ne peuvent pas être segmentées par zone géographique ou par identifiant utilisateur.

Définir le ROAS incrémental (iROAS)

Le retour incrémental sur les dépenses publicitaires (iROAS) est un indicateur qui mesure le revenu net nouveau, d’origine causale, généré par dollar de dépense marketing sur un canal donné. Les tests d’incrémentalité constituent la référence pour mesurer expérimentalement l’iROAS.

Contrairement au ROAS standard rapporté par les plateformes, qui divise le total des conversions ayant été en contact avec une publicité par les dépenses média, l’iROAS soustrait la référence contrefactuelle, c’est-à-dire le volume de ventes qui se serait produit naturellement via la recherche organique et la notoriété de marque.

Comment les marketeurs utilisent les tests d’incrémentalité

Les tests d’incrémentalité sont réalisés en parallèle du Marketing Mix Modeling (MMM) afin de s’assurer que les enseignements du MMM reposent sur des preuves causales issues du monde réel, et pas seulement sur des corrélations. On appelle cela la calibration du MMM.

L’iROAS sert de vérité terrain empirique : les estimations issues d’une expérience d’incrémentalité sont injectées dans le MMM bayésien pour le calibrer. Chez ELIYA, nous utilisons l’iROAS comme des priors bayésiens informatifs afin de calibrer des courbes de réponse MMM top-down, examinées par notre équipe plutôt que laissées tourner sans contrôle, offrant aux équipes la base la plus solide, fondée sur des preuves, pour l’allocation budgétaire et la planification.

Attribution vs incrémentalité

Les tests d’incrémentalité sont une expérience randomisée contrôlée qui mesure le véritable impact causal d’un canal. L’attribution multi-touch (MTA), en revanche, mesure la contribution de chaque point de contact à une vente, mais ne rapporte pas de lift causal.

Les tests d’incrémentalité ne reposent pas non plus sur le suivi par cookies ; ils ne sont donc pas affectés par la perte de signal comme l’est la MTA : ils prouvent qu’un point de contact ajoute une nouvelle valeur, et pas seulement qu’il est corrélé aux ventes.

Les tests d’incrémentalité peuvent-ils prévenir la spirale mortelle du bas de funnel ?

Oui, les tests d’incrémentalité montrent quel canal crée réellement une nouvelle demande et quels canaux l’interceptent, de sorte que l’allocation budgétaire peut être équilibrée en répartissant les investissements sur l’ensemble du funnel marketing.

Qu’est-ce que la spirale mortelle du bas de funnel ?

La spirale mortelle du bas de funnel se produit lorsque les canaux de bas de funnel absorbent la majeure partie du budget média, ce qui affaiblit de plus en plus la construction de la marque et déforme la demande de base, conduisant à une dépendance excessive à long terme aux canaux de performance.

Une attribution non calibrée ne se contente pas de mal rapporter la performance des canaux ; si elle n’est pas corrigée, elle tire le budget d’une marque dans la mauvaise direction en plusieurs étapes : en commençant par le biais d’attribution observationnelle, puis la réallocation de capital vers les canaux de bas de funnel, et enfin l’hyper-inflation des enchères sur les plateformes.

Les méthodes observationnelles sont dangereuses même lorsqu’elles semblent exactes : les modèles basés sur la corrélation surestiment systématiquement l’augmentation des conversions due aux achats.

Combien de temps, combien ça coûte, et à quel point un test est-il perturbateur ?

De manière raisonnable, ce sont les premières questions que la plupart des CMO posent avant d’accepter de changer la façon dont un canal fonctionne. Combien de temps : de plusieurs semaines à quelques mois, selon le volume de conversions et la variation de la ligne de base. Combien : généralement uniquement la dépense média réallouée pendant la fenêtre de test, pas un gros budget en plus ; le coût le plus important est opérationnel, à savoir maintenir un groupe en retrait suffisamment longtemps pour obtenir une réponse claire. À quel point c’est perturbateur : un holdout sur une partie du trafic ou des zones géographiques est conçu pour être peu risqué, et un test bien conçu plafonne la part d’audience ou de budget qui est retenue.

FAQ

Quelle est la différence entre les expériences de holdout et les expériences de scale ?

Une expérience de holdout coupe un canal pour une partie de l’audience afin de mesurer son lift global ; une expérience de scale augmente plutôt les dépenses, afin de mesurer le ROI marginal. Utilisez un holdout pour savoir si un canal compte vraiment, et un test de scale une fois que vous savez déjà qu’il fonctionne et que vous voulez savoir jusqu’où le pousser.

Les tests d’incrémentalité nécessitent-ils des cookies ou un suivi au niveau utilisateur ?

Non. Les geo-tests et les séries temporelles interrompues mesurent les résultats au niveau du marché ou de la période, pas au niveau individuel ; ils restent donc pertinents à mesure que les cookies et les identifiants d’appareils disparaissent.

Quel est le lien entre les tests d’incrémentalité et le MMM ?

Ils sont complémentaires. Le MMM modélise l’ensemble du mix à partir de données historiques ; les tests d’incrémentalité fournissent une vérité terrain expérimentale pour des canaux individuels, et intégrer ces résultats comme priors de calibration permet de garder le modèle ancré dans des preuves, et pas seulement dans la corrélation.

Les tests d’incrémentalité ne sont-ils utiles que pour les grandes marques avec de gros budgets ?

Non. Les marques avec des dépenses ou un volume de conversions plus faibles obtiennent souvent des résultats plus nets avec des geo-tests ou des tests de scale, qui nécessitent moins de volume pour atteindre une confiance statistique qu’un holdout complet au niveau utilisateur.

Ce que cela implique pour votre budget

Les tests d’incrémentalité ne vous diront pas tout sur votre mix marketing à eux seuls, mais ils vous diront quels canaux créent de la croissance et lesquels ne font que s’en attribuer le mérite. Chez ELIYA, nous menons des tests d’incrémentalité et la calibration MMM ensemble, en utilisant une IA agentique pour aller plus vite et à une fraction du coût d’une agence traditionnelle, notre équipe examinant chaque résultat avant qu’il n’influence une décision budgétaire.

Prêt à découvrir où votre budget fonctionne réellement ? Parlez à ELIYA de la mise en place d’un test d’incrémentalité pour votre marque. Dans un guide de suivi, nous verrons comment choisir entre les tests d’incrémentalité, le MMM, ou les deux.