Quels Outils De Test D’incrémentalité Faut-il Internaliser ?

Vous avez besoin de deux catégories d’outils de test d’incrémentalité pour mener un test en interne : des outils natifs aux plateformes au sein de plateformes comme Google Ads, et des packages open source d’inférence causale comme GeoLift et CausalImpact qu’une équipe data exécute de manière indépendante.

La plupart des équipes marketing n’ont pas un problème de données. Elles ont un problème de preuve. Les tableaux de bord montrent quel canal une vente a touché en dernier, pas quel canal l’a réellement causée. Dans l’analyse d’ELIYA, en moyenne 20 % des dépenses publicitaires sont gaspillées dans de nombreuses marques e-commerce, et les marques débloquent généralement 5 à 15 % supplémentaires de croissance incrémentale une fois que ces dépenses gaspillées sont réallouées avec eliya.

Ce guide détaille les options pilotées par les plateformes, les packages open source, et comment choisir entre eux, y compris un court exemple concret de ce à quoi ressemble réellement l’exécution d’un test en code.

💡 Points clés

• Les outils natifs aux plateformes comme Google Ads Conversion Lift et Meta Conversion Lift sont le moyen le plus rapide de tester un seul canal, mais chaque plateforme conçoit, exécute et rapporte son propre test ; les résultats ne sont donc pas vérifiés de manière indépendante.

• Les packages open source comme GeoLift et CausalImpact appliquent une méthodologie statistique cohérente à tous les canaux et nécessitent des compétences statistiques en interne pour exécuter et interpréter correctement les résultats.

• GeoLift utilise des méthodes de contrôle synthétique conçues pour les tests géographiques, tandis que CausalImpact utilise des séries temporelles structurelles bayésiennes pour mesurer l’impact causal d’une campagne.

• Le bon outil dépend des compétences statistiques de votre équipe, du nombre de canaux que vous devez tester et du fait que les résultats doivent calibrer un Marketing Mix Model plus large.

Qu’est-ce qui compte comme un outil de test d’incrémentalité ?

Les tests d’incrémentalité mesurent l’augmentation causale d’un canal à l’aide d’une expérience contrôlée randomisée qui retire un canal ou une annonce à un sous-ensemble d’audiences et compare les résultats à ceux d’un groupe qui a été exposé.

La plupart des avis sur les « outils de test d’incrémentalité » recommandent des plateformes commerciales qui exécutent le test et renvoient un tableau de bord.

Dans ce guide, nous couvrons les deux catégories vers lesquelles une équipe technique se tourne lorsqu’elle veut concevoir et exécuter le test elle-même : les fonctionnalités d’études de lift intégrées aux plateformes publicitaires sur lesquelles vous dépensez, et les packages statistiques open source que les data scientists peuvent exécuter de manière indépendante.

Test de holdout géographique : un test d’incrémentalité mené au niveau de zones géographiques ou de marchés distincts, comparant les ventes dans les régions où un canal continue de tourner à celles des régions où il est mis en pause.

Les tests de holdout géographique sont utiles lorsque la séparation au niveau individuel est peu pratique ou impossible. Par exemple, pour tester la TV, la radio, l’affichage extérieur et les retail media, on ne peut pas les scinder proprement au niveau individuel.

Comment fonctionnent les études de lift natives des plateformes ?

Les outils natifs des plateformes sont intégrés aux principales plateformes publicitaires. Ils sont gratuits, rapides à lancer et simples, car vous n’avez pas besoin de connaissances statistiques approfondies pour analyser les résultats de votre côté. Le compromis, c’est l’indépendance : les plateformes corrigent leurs propres devoirs.

Google Ads Conversion Lift

Google Ads Conversion Lift s’exécute comme une expérience au niveau utilisateur ou géographique dans Google Ads, en répartissant les utilisateurs ou régions éligibles en groupes test et contrôle afin de mesurer les conversions incrémentales pour des campagnes comme Search, Shopping, Display ou YouTube. C’est généralement le point de départ pour les marques qui dépensent beaucoup dans l’écosystème Google et qui veulent mener un test d’incrémentalité sans rien construire elles-mêmes.

Meta Conversion Lift et étude Brand Lift

Meta Conversion Lift fonctionne de manière similaire dans Ads Manager, en assignant aléatoirement des personnes à un groupe test qui voit des publicités et à un groupe témoin, puis en comparant les résultats de conversion. Meta propose également une étude distincte de Brand Lift qui, au lieu des conversions, mesure la mémorisation publicitaire et la notoriété. Ce test est utile lorsque le rôle d’une campagne se situe en haut de l’entonnoir.

Étude TikTok Conversion Lift

La Conversion Lift Study de TikTok applique la même logique de groupe témoin aux campagnes TikTok. Snapchat et d’autres plateformes proposent des outils natifs de lift comparables, suivant le même design de base.

La limite commune à tous ces outils est que chaque plateforme conçoit le test, exécute le test et rapporte le résultat pour ses propres campagnes. Comme chaque plateforme utilise sa propre approche statistique, les résultats de lift d’une plateforme ne sont pas comparables à ceux d’une autre.

Comment fonctionnent les packages open source d’inférence causale ?

Les outils open source troquent la commodité contre l’indépendance. Un data scientist conçoit l’expérience, exécute l’analyse et peut analyser les résultats de manière indépendante avec une méthodologie cohérente. Cela suppose que quelqu’un dans l’équipe maîtrise R ou Python et comprend le langage sous-jacent de l’inférence causale.

GeoLift

GeoLift est un package R open source. Conçu par Meta, il permet de concevoir et d’analyser des tests d’incrémentalité basés sur la géographie.

Méthode de contrôle synthétique : utilisée lorsqu’un véritable groupe témoin randomisé n’est pas disponible, la méthode de contrôle synthétique est une technique statistique qui simule un contrefactuel à partir d’un ensemble de marchés non traités.

GeoLift utilise des méthodes de contrôle synthétique (SCM) pour gérer les situations où un groupe témoin propre ou un marché apparié est difficile à mettre en place. Il inclut également des outils d’analyse de puissance, aidant les équipes à comprendre combien de temps un test doit durer.

Pour plus de détails sur le SCM, nous avons abordé le SCM et ses variantes dans la mesure des canaux hors ligne.

CausalImpact

CausalImpact est le package R open source de Google permettant d’estimer l’effet causal d’une intervention sur une série temporelle. L’intervention peut être une promotion, une nouvelle politique ou l’introduction d’un canal.

Série temporelle structurelle bayésienne : un modèle statistique qui prévoit ce qu’une métrique aurait fait sans intervention, puis mesure l’écart entre cette prévision et ce qui s’est réellement passé.

CausalImpact est l’un des outils les plus utilisés pour analyser un geo test. Il construit une prévision bayésienne de ce à quoi une métrique, comme les ventes ou le trafic du site, aurait ressemblé sans une intervention marketing donnée, puis compare ce contrefactuel à ce qui s’est réellement passé.

CausalPy et GeoexperimentsResearch

CausalPy est un package Python de PyMC Labs pour l’inférence causale dans des contextes quasi-expérimentaux, prenant en charge la méthode des différences de différences, le contrôle synthétique, les séries temporelles interrompues et la discontinuité de régression dans une interface cohérente.

Pour les équipes qui travaillent déjà en Python et en modélisation bayésienne, y compris celles qui exécutent un Bayesian Marketing Mix Model (MMM), il s’intègre au même flux de travail au lieu d’exiger un environnement R séparé.

GeoexperimentsResearch est l’implémentation R open source par Google de sa méthodologie interne d’expérimentation géographique : appariement de marchés comparables, vérifications d’équilibre avant test et estimation du lift.

Consultez le guide d’ELIYA sur la conception d’expériences géographiques et les méthodes iROAS comme DiD, SCM et BSTS pour comprendre comment ces méthodes s’appliquent spécifiquement aux canaux hors ligne et difficiles à segmenter.

GeoLift vs. CausalImpact vs. CausalPy : comment choisir entre les options open source ?

Voici à quoi ressemble, en gros, l’exécution de l’un de ces tests en code R. Un test CausalImpact sur une seule zone géographique, une fois que vous avez défini une période pré et une période post autour de l’intervention, tient en quelques lignes :

data est une série temporelle avec la métrique de votre marché traité, aux côtés d’un ou plusieurs marchés témoins non traités. pre.period et post.period indiquent les plages de dates avant et après le changement de canal.

L’appel summary() renvoie le lift estimé, un intervalle de confiance et une p-value : tout ce dont vous avez besoin pour décider si l’effet est réel ou s’il s’agit de bruit.

Étape par étape : comment choisir le bon outil d’incrémentalité pour votre équipe ?

1. Commencez par la question business. Décidez si vous devez valider un ou plusieurs canaux, et si vous devez calibrer un modèle de mesure plus large.
2. Adaptez le design du test au canal. Un canal qui peut être scindé par utilisateur individuel, comme le paid search, fonctionne bien avec l’étude de lift native d’une plateforme. Un canal qui ne peut être scindé que géographiquement, comme la TV ou l’affichage extérieur, nécessite un holdout géographique.
3. Vérifiez si vous disposez de compétences internes en inférence causale. GeoLift, CausalImpact et CausalPy supposent tous que quelqu’un dans votre équipe peut configurer, exécuter et interpréter correctement un modèle statistique en R ou en Python. Si ce n’est pas encore le cas, ELIYA’s guide to running a lift analysis step by step ou un test mené par un expert est un point de départ plus réaliste.
4. Décidez si vous avez besoin d’une comparabilité inter-canaux.Les outils des plateformes ne peuvent pas être comparés de manière équivalente entre eux, puisque chacun utilise sa propre méthodologie. Si vous devez classer les canaux les uns par rapport aux autres, un outil open source appliqué de façon cohérente à l’ensemble d’entre eux est la seule manière d’obtenir une comparaison équitable.
5. Planifiez la manière dont les résultats seront utilisés.Les coûts média, la saisonnalité et les promotions évoluent chaque mois ; un test effectué une seule fois au lancement devient vite obsolète. Décidez dès le départ si le chiffre de lift doit servir à calibrer un Marketing Mix Model, à orienter une réallocation budgétaire, ou à trancher un débat interne précis sur le retour réel d’un canal.

Comment ELIYA aborde-t-elle la sélection d’un outil de test d’incrémentalité ?

ELIYA propose deux solutions pour les tests d’incrémentalité : 1) eliya studio en libre-service, où les utilisateurs peuvent concevoir, mettre en œuvre, analyser et interpréter les résultats expérimentaux. 2) Un service complet, soutenu par nos experts en data science et en mesure marketing, qui aident à choisir le bon outil en fonction du canal et de la question posée. L’équipe d’ELIYA construit un design matched-market ou un geo holdout et calcule la puissance statistique nécessaire pour obtenir un résultat fiable.

Dans notre service complet, l’équipe d’ELIYA mène des incrementality testing and geo experiments comme une discipline autonome, suivie en direct sur le marché afin de détecter les anomalies susceptibles de biaiser le résultat, avec chaque design et chaque résultat revus par un data scientist avant livraison.

Ce qui distingue cette approche d’une utilisation de GeoLift ou de CausalImpact en isolation, c’est ce qui se passe ensuite : le résultat est injecté directement dans le calibrating a Marketing Mix Model, de sorte que des preuves testées en conditions réelles continuent d’améliorer la précision du modèle au lieu de rester dans un rapport ponctuel.

C’est la même approche qui sous-tend l’un des résultats clients d’ELIYA. Pour Beliani, un e-commerçant européen de mobilier, le premier audit complet d’incrémentalité d’ELIYA a révélé que près de 24 % du budget média de la marque était alloué à des canaux saturés sans retour additionnel.

L’intégration de ces résultats dans un Marketing Mix Model toujours actif, actualisé chaque mois, et la réallocation du budget selon ses recommandations ont généré 2,95 M de revenus incrémentaux sur six mois, sans augmenter les dépenses média totales.

Si votre équipe réalise déjà des tests mais que les résultats s’arrêtent à un deck de slides au lieu de modifier un budget, book a meeting with ELIYA pour voir comment cette boucle de calibration fonctionne en pratique.

Qui devrait mener des tests d’incrémentalité en interne, et qui a besoin d’un expert ?

Le meilleur profil pour une approche interne en open source : une équipe avec un analyste ou un data scientist à l’aise avec R ou Python, testant un nombre gérable de canaux, et disposant du temps nécessaire pour construire et maintenir elle-même l’infrastructure de test.

Le meilleur profil pour des outils natifs de plateforme uniquement : une petite équipe qui a besoin d’une lecture directionnelle sur un ou deux canaux et n’a pas besoin de comparabilité inter-canaux ni d’un pipeline de calibration de modèle.

Pas adapté à l’un ou l’autre, et meilleur candidat pour des tests menés par des experts : une marque e-commerce en phase de croissance ou présente sur plusieurs marchés, avec 2 M$ ou plus de dépenses médias annuelles, testant plusieurs canaux qui doivent être comparés selon une méthodologie unique et cohérente, surtout si les résultats sont destinés à calibrer un Marketing Mix Model en continu plutôt qu’à répondre à une question ponctuelle.

Foire aux questions

Puis-je mener un test d’incrémentalité sans data scientist en interne ?

Oui, si vous vous en tenez à des outils natifs de plateforme comme Google Ads Conversion Lift ou Meta Conversion Lift, qui prennent en charge pour vous la conception statistique et l’analyse. Les outils open source comme GeoLift, CausalImpact et CausalPy nécessitent quelqu’un capable de mettre en place et d’interpréter correctement un modèle statistique.

Quelle est la vraie différence entre GeoLift et CausalImpact ?

GeoLift est conçu spécifiquement pour concevoir et analyser des expériences géographiques marketing et utilise des méthodes de contrôle synthétique pour construire un contrefactuel. CausalImpact est un outil de séries temporelles plus général qui construit une prévision bayésienne de ce qui se serait passé sans intervention, et il est généralement utilisé pour analyser un test une fois qu’il est déjà en cours.

Google Ads Conversion Lift est-il suffisamment précis pour qu’on puisse s’y fier à lui seul ?

C’est un test légitime, conçu statistiquement, mais il mesure et ne rapporte que sur les campagnes de Google, en utilisant la méthodologie de Google. Cela en fait un signal directionnel utile pour ce canal spécifique, même s’il n’est pas vérifié de manière indépendante.

Quel budget publicitaire faut-il avant que les tests de geo lift aient du sens ?

Il n’y a pas de seuil fixe, mais un test geo holdout nécessite suffisamment de marchés et suffisamment de dépenses par marché pour produire un résultat statistiquement significatif. Les marques qui dépensent quelques centaines de milliers de dollars par an sur un seul canal n’ont souvent pas assez de volume pour une séparation géographique propre.

Un outil de test d’incrémentalité remplace-t-il un Marketing Mix Model ?

Non. Un test d’incrémentalité vous donne périodiquement une mesure de référence (ground truth) sur un canal spécifique. Un Marketing Mix Model vous donne une vision continue, au niveau des canaux, du retour sur l’ensemble de votre mix marketing. Les deux fonctionnent ensemble : les résultats d’incrémentalité sont ce qui calibre le modèle.

Conclusion sur les outils de test d’incrémentalité

Les outils natifs des plateformes comme Google Ads Conversion Lift et Meta Conversion Lift sont le moyen le plus rapide d’obtenir une mesure de lift sur un seul canal. Les outils open source comme GeoLift et CausalImpact vous offrent une méthodologie indépendante et cohérente sur n’importe quel canal. Le bon choix dépend du nombre de canaux que vous souhaitez tester, de la manière dont les résultats seront utilisés et du fait que vous disposiez ou non de l’expertise en interne.

Si vous êtes une marque e-commerce en phase de croissance ou une marque multi-marchés qui dépense 2 M$ ou plus par an sur l’ensemble des canaux et que vous avez besoin de résultats d’incrémentalité qui ne restent pas simplement dans un rapport mais qui calibrent activement un Marketing Mix Model sur lequel votre équipe peut agir, eliya studio est conçu exactement pour ce type d’accompagnement.