Mesure Des Canaux Média Offline : Le Guide Complet Du Geo Testing Et Du MMM

La mesure des médias hors ligne consiste à évaluer le véritable impact causal et le retour sur investissement (ROI) des médias traditionnels, tels que la télévision, la radio, la presse écrite, l’affichage extérieur (OOH), le publipostage, le cinéma et la publicité dans les transports. Autrement dit, il s’agit de suivre les comportements des consommateurs hors ligne, comme les achats en magasin, générés par la publicité.

Mesurer les canaux hors ligne présente des dif

ficultés spécifiques par rapport aux canaux numériques, car le suivi direct des clics au niveau utilisateur et les identifiants de suivi déterministes n’existent pas. Pour mesurer avec précision la performance des canaux hors ligne, les équipes marketing doivent combiner une expérimentation géographique rigoureuse avec une modélisation économétrique.

Canaux médias hors ligne traditionnels et cognition de l’audience

Les médias hors ligne englobent un large éventail de canaux, notamment la télévision, la radio, la presse et les journaux, l’affichage extérieur (OOH), le publipostage, les promotions en magasin, le sponsoring d’événements, la publicité au cinéma et la publicité dans les transports (comme les habillages de bus et les affiches sur panneaux publicitaires).

En résumé, selon la théorie de la réponse cognitive et le modèle de probabilité d’élaboration, les canaux auditifs à rythme imposé de l’extérieur, comme la radio, suscitent une imagerie mentale active, tandis que les médias imprimés à rythme libre maximisent la compréhension du message en permettant aux lecteurs de contrôler la vitesse de traitement sans distraction visuelle.

TV vs. Radio

La télévision est particulièrement efficace pour influencer les décisions d’achat, notamment pour les produits à bas prix.

Cependant, comme la télévision présente des stimuli audiovisuels continus, regarder la TV peut parfois amener le public à formuler des contre-arguments à l’encontre d’un message persuasif plus fréquemment que lors de l’écoute de canaux uniquement audio, comme la radio.

La radio est un canal uniquement audio qui a la capacité de stimuler l’imagination du public. Le traitement des messages radio exige un effort mental actif, ce qui entraîne de fortes réactions émotionnelles, un engagement élevé et une meilleure mémorisation de ce qui a été entendu.

L’effet « Théâtre de l’esprit » et la séquence cross-média

L’effet « Théâtre de l’esprit » désigne le pouvoir unique des médias uniquement audio d’inciter les auditeurs à « voir » mentalement les images, les scénarios et les environnements qu’ils entendent décrits.

Cette dynamique crée une opportunité stratégique dans les campagnes publicitaires cross-média :

• L’avantage du radio-first : Les personnes qui écoutent une version radio d’une publicité avant de voir la version télévisée produisent des résultats imaginatifs plus riches et se souviennent mieux du message que celles qui regardent d’abord la publicité TV. L’effort mental fourni pendant la diffusion radio se maintient lors du visionnage télévisé ultérieur — une synergie qui ne se matérialise pas si l’ordre des canaux est inversé.
• Attention visuelle accrue : Parce que des expositions radio préalables mobilisent l’imagination de l’auditeur et renforcent la familiarité avec la marque, le fait de rencontrer ensuite la même publicité à la télévision ou sous forme de bannière web numérique conduit à une attention visuelle plus élevée. Cela se mesure par une augmentation du « dwell time », c’est-à-dire le temps passé à fixer des yeux le logo de la marque.

Presse et médias écrits

La presse (magazines et journaux) repose sur la communication écrite, ce qui la rend très efficace pour la compréhension des messages et l’évolution des attitudes des consommateurs envers un produit ou un service.

La lecture permet aux consommateurs de traiter des messages complexes comme simples avec plus de clarté que la télévision ou la radio, car le texte écrit permet au lecteur de contrôler son rythme de traitement, sans les distractions inhérentes aux diffusions audiovisuelles.

Qu’est-ce que le Geo Testing ?

Les annonceurs utilisent les tests géographiques (ou une expérience géographique) pour mesurer le véritable impact causal et incrémental de leurs campagnes publicitaires.

Les tests géographiques fonctionnent en partitionnant des régions géographiques en zones géographiques non chevauchantes appelées « geos ». Aux États-Unis, ces geos sont couramment désignés comme Designated Marketing Areas (DMAs), qui comprennent 210 régions géographiques distinctes.

Principales étapes d’un test géographique

Une expérience géographique standard se compose de cinq étapes principales :

1. Découper une région : Diviser un pays ou un territoire en unités géographiques non chevauchantes (p. ex., des DMAs ou des regroupements de codes postaux).
2. Affectation aléatoire : Affecter chaque geo soit à un groupe de traitement, soit à un groupe de contrôle.
3. Période de référence avant test : Exécuter une période avant test dans des conditions normales où les geos de traitement et de contrôle fonctionnent selon des structures de référence, en établissant la corrélation historique et les ventes de référence.
4. Période de test active : Mettre en œuvre des changements de dépenses publicitaires dans les geos de traitement (p. ex., couper complètement les annonces pour un test de blackout, ou augmenter fortement les dépenses) tandis que les geos de contrôle maintiennent les dépenses de référence.
5. Période de refroidissement post-campagne : Continuer à surveiller les résultats après la fin de la période active afin de capturer le report de l’adstock et les effets de conversion différés.

Pourquoi la randomisation est importante

La randomisation des affectations géographiques garantit que les différences sous-jacentes inconnues entre les régions (comme les conditions économiques locales ou la densité de concurrents) sont réparties de manière homogène entre les groupes de contrôle et de traitement.

Pourquoi les annonceurs s’appuient sur les tests géographiques

Les méthodes traditionnelles de suivi numérique font face à des limites croissantes en raison de la disparition progressive des cookies et de l’évolution des réglementations en matière de confidentialité. Les tests géographiques reposent entièrement sur des données régionales agrégées, rendant inutile le suivi au niveau des utilisateurs. Ils contournent les problèmes techniques de suivi comme le renouvellement des cookies et l’utilisation multi-appareils, tout en offrant une méthode claire et respectueuse de la vie privée pour évaluer les canaux médias hors ligne.

Variantes de conception des tests géographiques

Pour améliorer la précision des mesures de ROAS incrémental (iROAS), les annonceurs utilisent plusieurs plans expérimentaux :

1. Expérience géographique entièrement randomisée

Chaque zone géographique est assignée aléatoirement soit au traitement, soit au contrôle, sans appariement ni contraintes d’équilibrage. Bien que simple à mettre en œuvre, une randomisation sans contrainte peut entraîner une variance de mesure plus élevée si des différences de référence significatives existent entre les marchés géographiques.

2. Plan en paires appariées

Les zones géographiques sont classées et appariées sur la base de métriques de référence telles que la taille historique du marché, le chiffre d’affaires ou les données démographiques. Au sein de chaque paire, une zone géographique est sélectionnée aléatoirement pour le traitement (p. ex., une coupure de publicité radio) tandis que l’autre sert de contrôle. L’appariement équilibre les variations régionales non observées et, en général, améliore la précision de mesure du ROAS de 10% ou plus par rapport aux plans non contraints.

3. Plan en blocs

Les zones géographiques sont classées selon une métrique de référence et réparties en blocs de taille $M$. Une zone géographique au sein de chaque bloc est sélectionnée aléatoirement pour le traitement. Le plan par paires appariées représente un cas particulier où $M = 2$. L’utilisation de tailles de blocs plus grandes ($M > 2$) permet aux annonceurs de tester des fractions plus petites de leurs marchés totaux (p. ex., $1/3$ ou $1/4$) tout en maintenant l’équilibre statistique et en réduisant les intervalles de confiance de 10% ou plus.

4. Tests géographiques avec plusieurs périodes de test (plan géographique rotatif)

Au lieu d’une seule période de test statique, la campagne s’active et se désactive en alternance entre des groupes géographiques rotatifs au fil du temps. Le passage entre des périodes de test adjacentes double effectivement le levier observable des dépenses publicitaires, réduisant les intervalles de confiance sans nécessiter de budget supplémentaire.

L’effet de débordement et les violations de la SUTVA

Dans les tests géographiques, le débordement se produit lorsque la publicité déployée dans une zone géographique de traitement déborde vers une zone géographique de contrôle ou influence le comportement des consommateurs à l’intérieur de celle-ci.

Types de débordement

1. Débordement physique (fuite de signal) : Se produit lorsqu’une transmission média franchit les limites d’une DMA. Par exemple, un émetteur radio de forte puissance situé dans un marché de traitement diffuse son signal vers des marchés de contrôle adjacents, exposant les audiences de contrôle à la campagne.
2. Effet de débordement comportemental (mobilité des consommateurs) : Provoqué par les déplacements humains au-delà des frontières géographiques :
   • Trajets domicile-travail entrants : Un consommateur vivant dans un marché témoin se rend chaque jour au travail dans un marché traité, en écoutant des publicités radio pendant son trajet.
   • Achats sortants : Un consommateur vivant dans un marché traité entend une publicité radio et décide d’acheter le produit, mais se rend en voiture dans un magasin de détail situé dans un marché témoin adjacent pour l’acheter.

Pourquoi l’effet de débordement menace la validité du test

L’effet de débordement viole l’hypothèse de valeur de traitement unitaire stable (SUTVA) en inférence causale. La SUTVA exige que le traitement attribué à une unité n’affecte pas les résultats d’une autre unité. Lorsque l’effet de débordement se produit, le groupe témoin est contaminé et ne représente plus un contrefactuel propre. Cette interférence conduit à une sous-estimation de l’incrémentalité réelle de la campagne et du ROAS.

Comme l’ont établi Vaver & Koehler (2011) dans le cadre fondateur des geo-expériences de Google, l’agrégation géographique minimise les interférences transfrontalières. En outre, des recherches empiriques ont montré que ne pas tenir compte des violations de la SUTVA (telles que la fuite de signal et la mobilité des consommateurs) contamine systématiquement les niveaux de référence des témoins, sous-estimant l’incrémentalité réelle de la campagne jusqu’à 20 % à 30 %.

Méthodes statistiques pour mesurer le ROAS incrémental (iROAS)

Le retour sur dépenses publicitaires incrémental (iROAS) mesure les ventes nettes nouvelles directement causées par la publicité après soustraction des ventes organiques qui auraient eu lieu sans les publicités :

$$
iROAS = \frac{\text{Ventes incrémentales attribuables à la campagne}}{\text{Dépenses publicitaires incrémentales}}
$$

Pour estimer les ventes de référence qui auraient eu lieu sans publicité (le contrefactuel), les data scientists utilisent plusieurs techniques statistiques.

Un exemple illustratif : un café mesurant une campagne publicitaire radio

Imaginez que vous gériez un café local et que vous souhaitiez déterminer si une nouvelle campagne publicitaire radio a augmenté les ventes hebdomadaires. Pour établir la référence contrefactuelle, plusieurs approches de modélisation peuvent être appliquées :

1. Différence-en-différences (DiD)

La DiD compare l’évolution des ventes avant/après pour votre café à l’évolution sur la même période pour un café voisin non traité.

• Comment ça marche : Si les ventes du voisin ont naturellement augmenté de 200 $ (p. ex., en raison d’un afflux lié à une fête), la DiD suppose que vos ventes auraient naturellement augmenté de 200 $ également. Si vos ventes ont augmenté de 1 000 $, la DiD soustrait la référence de 200 $ et attribue les 800 $ restants à la publicité radio.
• Limite : La DiD repose sur l’hypothèse de tendances parallèles—le principe selon lequel les deux marchés évolueraient parfaitement de concert sans la campagne publicitaire. Si votre café subit un changement localisé sans lien avec les publicités, la DiD produit des estimations inexactes.

1. Méthode du contrôle synthétique (SCM)

Trouver un seul magasin voisin qui reflète parfaitement le vôtre peut être difficile. La SCM construit un clone « Frankenstein » personnalisé de votre café en prenant une combinaison pondérée de cafés non traités issus d’un « pool de donneurs » national.

• Comment ça marche : La SCM peut combiner 40 % du Café A, 35 % du Café B et 25 % du Café C pour construire un contrôle synthétique correspondant à vos tendances historiques de ventes avant la campagne.
• Limitation : Le SCM standard s’appuie fortement sur les tendances passées et peut être vulnérable à des chocs localisés non observés (p. ex., si le magasin donneur A subit une fermeture de route pendant le vol d’essai).

1. Contrôle synthétique augmenté (ASC)

L’ASC améliore le SCM standard en ajoutant un modèle de résultat correctif (comme une régression ridge) afin d’ajuster les écarts de base restants :

• ASC-DEM : Intègre des facteurs démographiques (p. ex., les niveaux de revenu locaux) pour équilibrer structurellement la base synthétique.
• ASC-DEM-LAG : Intègre des signaux pré-traitement à haute fréquence (p. ex., les tendances du volume de recherche local avant le lancement) afin d’ajuster les variations de demande à court terme.

1. Différences-en-différences synthétiques (Synth-DiD)

Synth-DiD combine l’approche de pondération des unités du SCM avec les propriétés de pondération temporelle et de décalage d’interception du DiD. Cette combinaison offre une double robustesse en tenant compte des différences statiques de base tout en restant résiliente face à des chocs globaux non observés au fil des périodes.

1. Séries temporelles structurelles bayésiennes (BSTS / CausalImpact)

Popularisés par des frameworks comme CausalImpact de Google, les modèles BSTS modélisent les tendances contrefactuelles à l’aide de composantes structurelles de séries temporelles en espace d’états. En exploitant des marchés témoins non traités comme covariables, les BSTS fournissent des distributions de probabilité a posteriori pour le lift incrémental total et l’iROAS.

1. Double Machine Learning (DML) : le détective du « blanchiment de données »

DML gère des environnements complexes où plusieurs facteurs de fond (p. ex., la météo locale, les promotions des concurrents) fluctuent simultanément. DML nettoie le bruit de fond en deux étapes :

1. Nettoyer les chiffres de ventes : Un modèle de machine learning prédit les ventes à partir de variables de fond (hors dépenses publicitaires) et soustrait cette prédiction des ventes réelles afin d’isoler les « ventes inattendues ».
2. Nettoyer les dépenses publicitaires : Un second modèle prédit où les publicités sont normalement diffusées et soustrait cette prédiction des dépenses publicitaires réelles afin d’isoler l’« exposition publicitaire inattendue ».

Enfin, DML effectue une régression des ventes inattendues sur les dépenses publicitaires inattendues. En orthogonalisant les deux variables, DML isole le véritable incrément causal. DML est particulièrement adapté aux jeux de données micro-géo à grande échelle ou aux panels de grande dimension.

Concevoir un MMM pour l’étalonnage des médias hors ligne

Comme les canaux hors ligne tels que la TV, la radio, la presse et l’affichage (OOH) ne disposent pas d’un suivi numérique au niveau utilisateur, ils sont hors du périmètre de l’attribution multi-touch (MTA). Par conséquent, Marketing Mix Modeling (MMM) est l’outil principal pour évaluer de manière holistique les médias hors ligne.

Cependant, s’appuyer strictement sur un MMM observationnel peut conduire à des estimations biaisées du ROI par canal. Même si un MMM obtient un bon ajustement statistique ($R^2$), il peut malgré tout attribuer des ventes organiques de base aux dépenses en raison de problèmes de corrélation — un scénario connu sous le nom de « $R^2$ élevé, mauvaises réponses ».

Pour éviter cela, les organisations mettent en place un cadre d’optimisation en boucle fermée de l’impact média qui étalonne en continu le MMM à l’aide de tests géographiques expérimentaux.

Comment fonctionne l’étalonnage

1. Exécuter des expériences géographiques : Menez des tests géographiques périodiques (p. ex., des tests de holdout DMA trimestriels) sur les canaux offline afin d’extraire un lift causal de référence (ground-truth).
2. Formuler des a priori bayésiens : Convertissez les résultats expérimentaux d’iROAS en distributions a priori informatives (p. ex., en fixant des bornes de moyenne et de variance pour les coefficients de canal dans des moteurs bayésiens open source comme Meridian de Google ou Robyn de Meta).
3. Recalibrer MMM : Ajustez le MMM en utilisant ces bornes expérimentales. Les a priori ancrent les coefficients du modèle sur le lift causal du monde réel, empêchant l’optimiseur de mal attribuer le revenu organique de base.

Points clés

• Contraintes d’attribution offline : Les canaux offline traditionnels (TV, radio, presse, OOH) ne peuvent pas être mesurés via le suivi individuel des utilisateurs ni via l’attribution multi-touch (MTA).
• Mesure causale via des tests géographiques : Les expériences géographiques comparent des marchés de traitement et de contrôle randomisés afin de quantifier le véritable impact incrémental (iROAS) sans nécessiter de suivi au niveau utilisateur.
• Le design compte : L’utilisation de paires appariées ou de plans en blocs améliore la précision de mesure de 10 % ou plus par rapport à une randomisation non contrainte.
• Prendre en compte les effets de débordement : La fuite de signal et la mobilité des consommateurs au-delà des frontières de marché violent les hypothèses SUTVA et peuvent conduire à une sous-estimation du lift de campagne.
• Sélectionner les méthodologies : Un DiD simple requiert des tendances parallèles ; SCM et ASC aident à évaluer un marché traité unique ou un petit ensemble de marchés traités ; et DML ou Synth-DiD offrent de la robustesse dans des configurations de panels complexes ou à haute dimension.
• MMM en boucle fermée : Pour éviter « un $R^2$ élevé, de mauvaises réponses », les modèles MMM observationnels doivent être calibrés régulièrement à l’aide des résultats de tests géographiques expérimentaux.

Foire aux questions (FAQ)

Que sont les expériences géographiques en marketing ?

Les expériences géographiques sont une méthodologie expérimentale randomisée utilisée pour mesurer l’efficacité incrémentale des campagnes publicitaires. En comparant les résultats entre des marchés test (où les dépenses publicitaires sont modifiées) et des marchés témoins (où les dépenses restent standard), les tests géographiques isolent les ventes nettes additionnelles générées par les dépenses marketing.

Les expériences géographiques suivent-elles les clients individuellement ?

Non. Les expériences géographiques évaluent des données agrégées de ventes et de marketing à l’échelle régionale (comme les DMA ou les codes postaux). Elles ne suivent pas les utilisateurs individuellement d’un appareil à l’autre ou dans le temps, ce qui les rend conformes aux exigences de confidentialité et insensibles à la disparition des cookies.

MMM peut-il mesurer des canaux hors ligne comme la télévision et la radio ?

Oui, l’évaluation des canaux hors ligne est un point fort majeur du Marketing Mix Model (MMM). MMM intègre des dépenses agrégées, des impressions ou des GRP sur les canaux traditionnels et numériques afin d’évaluer l’impact global sur l’activité. Des associations avec des tests géographiques périodiques garantissent que le modèle reste précis dans le temps.