Réalisation
Mesurer ce que les IA disent d’une marque : comment nous avons construit notre méthode
Publiée le · 6 min de lecture
Quand un client demande conseil à ChatGPT, l’IA pense-t-elle à votre marque ? Pour répondre sérieusement, une capture d’écran ne suffit pas. Voici comment nous avons construit notre méthode de mesure, à partir de campagnes réelles pour des marques et pour la sortie d’un film.
Le point de départ : deux vraies questions de clients
La première venait d’une marque. Elle lançait une campagne média et relations presse, et voulait savoir si ChatGPT, Gemini ou Perplexity parleraient d’elle autrement après.
La seconde venait d’un distributeur, pour la sortie d’un film français en salles. Nous avons mesuré trois dates, à une semaine d’écart : avant la sortie, la semaine de la sortie, puis la semaine suivante.
Dans les deux cas, la question était simple. La réponse demandait une méthode. Ces deux campagnes nous ont servi à la construire et à l’affiner ; pour en montrer les choix et leurs effets, nous prenons ici l’exemple du film.
Une IA ne répond presque jamais deux fois pareil
Posez deux fois la même question à ChatGPT : vous n’aurez pas la même liste. Une seule réponse dit oui ou non, 0 ou 100 %. Ce n’est pas une mesure, c’est un tirage.
Nous posons donc chaque question dix fois, en deux passages à environ 24 heures d’écart : c’est ce qui rend fiable la mesure de chaque question. Mais dix réponses à une même question se ressemblent : elles ne valent pas dix avis indépendants. Ce qui rend le chiffre global précis, c’est surtout le nombre de questions différentes. Une date de mesure, c’est une cinquantaine de questions, soit environ 2 500 réponses. Et nous lisons chaque IA à part, avec sa propre fourchette.
Part des réponses qui citent la marque, avec sa fourchette
Le second passage mesure la variabilité d’une session à l’autre. Il donne un repère pour distinguer un vrai mouvement des fluctuations habituelles des réponses. Nous refaisons aussi une partie des questions à la main, directement dans l’interface des IA, pour vérifier que la mesure automatique voit la même chose qu’un utilisateur.
Poser les questions comme un client
Demander « Que penses-tu de tel film ? » ne dit rien : l’IA en parle forcément. La vraie question est de savoir si elle y pense toute seule.
La plupart de nos questions ne contiennent donc jamais le nom. Elles sont écrites comme on parle : « Quels films sortent en ce moment ? », « Quel film aller voir ce week-end ? ». Seule une petite part demande ensuite ce qu’on dit du film. Les questions sont validées avec le client, puis figées : à chaque date, exactement les mêmes.
Ces questions ne sont pas tirées au hasard de ce que les gens demandent vraiment aux IA : personne n’a accès à ces données. C’est un échantillon raisonné, comme les quotas d’un sondage : construit selon une méthode écrite, au plus près des formulations réelles. La fourchette dit donc la précision de la mesure sur ces questions-là, pas une marge d’erreur sur toutes les conversations. C’est aussi pourquoi l’avant/après est la lecture la plus solide : les mêmes questions à chaque date, le biais de leur choix est le même des deux côtés.
Avant de lancer, nous vérifions aussi le nom lui-même. Un titre de film est souvent un mot courant. Il faut être sûr que l’IA parle bien de ce film, et pas d’un homonyme.
Être cité ne suffit pas : encore faut-il que ce soit juste
Une IA peut citer votre film et se tromper sur tout le reste. Nous distinguons donc trois choses : être cité, être recommandé, et être décrit correctement.
Pour les faits, nous partons d’une fiche validée par le client : date de sortie, réalisateur, distribution, genre, où le voir. Chaque réponse est comparée à cette fiche. Une information n’est déclarée fausse que si deux juges sont d’accord : deux IA de familles différentes, la seconde relisant chaque information marquée fausse par la première. Et pour la lecture des réponses elle-même (le film est-il cité, sur quel ton), une personne relit un échantillon tiré au hasard, pour vérifier que la machine lit bien.
Pourquoi ne pas tout relire ? Parce que ce n’est pas utile. Une personne relit 30 réponses de chaque type, tirées au hasard : celles qui disent si le film est cité, celles qui décrivent son image et, pour une marque, celles où l’IA choisit entre deux marques. Une erreur de lecture touche souvent un seul de ces types : c’est donc type par type qu’on la cherche. Si la machine se trompe sur une réponse sur dix d’un type, cette relecture a 96 % de chances de repérer au moins une erreur. Ce n’est pas une garantie sur chaque réponse : c’est un filet qui attrape les erreurs fréquentes. Et chaque erreur trouvée corrige la consigne donnée à l’IA qui lit ; une fois la correction vérifiée, la date est recalculée et la règle s’applique à toutes les réponses concernées.
Chance de repérer au moins une erreur en 30 réponses relues d’un même type
- 96 % de chances de repérer une erreur qui touche 1 réponse sur 10
- < 10 % d’erreurs si on n’en trouve aucune (borne à 95 %)
- 1 règle corrigée par erreur trouvée, puis la date recalculée
Sur le film, ce contrôle a payé. Avant la sortie, plus d’une réponse sur trois se trompait sur où voir le film. Après la sortie, presque plus aucune. L’erreur se corrigeait toute seule. Une autre persistait : une IA présentait le film comme sélectionné en compétition dans un grand festival, ce qui était faux.
Part des réponses avec une information fausse
Plusieurs chiffres, pas un score unique
Un « score de visibilité » unique rassure, mais il cache l’essentiel. Nous rendons six chiffres, tirés des mêmes réponses : la présence, le détail par IA, la recommandation, l’image, les faits et les concurrents. Chacun avec sa fourchette.
Présence
34 %
272/800 réponses qui citent la marque
fourchette 25–44 %
Par IA
- ChatGPT38 %
- Gemini24 %
- Vibe34 %
- Claude28 %
- Perplexity36 %
calculées question par question : les fourchettes se chevauchent, pas d’écart net
Recommandation
28 %
224/800 réponses qui la recommandent
fourchette 19–38 %
Image
- positif 58 %
- mitigé 31 %
- négatif 11 %
reproche qui revient : un peu cher
Faits
- juste 86 %
- imprécis 6 %
- faux 5 %
- à vérifier 3 %
faux = les deux juges d’accord
Concurrents
- Concurrent A31 %
- Votre marque24 %
- Concurrent B18 %
- Concurrent C11 %
Le détail par IA suffit à montrer pourquoi. Pour le même film, la même semaine, certaines IA le citaient dans environ huit réponses sur dix, une autre dans moins de deux sur dix. Une moyenne de ces chiffres ne décrit aucune IA réelle.
Avant, pendant, après : vrai changement ou simple bruit ?
Une hausse ou une baisse ne compte que si elle dépasse ce que la mesure peut distinguer. Nous comparons les dates question par question, sur les mêmes questions posées à chaque fois.
Sur le film, la courbe raconte trois choses. La semaine de la sortie, sa présence monte nettement : un vrai pic. La semaine suivante, elle redescend presque à son niveau de départ. Entre la première et la dernière date, il n’y a pas de vraie différence. En revanche, la part des réponses qui conseillent d’aller le voir a, elle, réellement progressé.
Pour lire ces mouvements, nous gardons un témoin : les autres films cités dans les mêmes réponses. S’ils bougent tous ensemble, le mouvement tient au moment (la saison des sorties, l’état du web, une mise à jour de l’IA), pas à votre campagne. S’ils restent stables, le mouvement est propre au film, sans prouver pour autant que la campagne l’a causé.
Part des réponses qui citent le film, à chaque date
- Cité quand on demande quels films sortent
- Cité quand on demande quel film aller voir
- Autres films, en moyenne (repère)
Ce que la mesure a changé
Elle a d’abord corrigé une intuition. Le bruit autour du film, très présent dans la presse people, n’apparaissait dans presque aucune réponse des IA. Ce qui comptait, c’étaient les sites de référence : fiches cinéma, guides des sorties, encyclopédie. Et les articles de la campagne y pesaient de moins en moins au fil des semaines.
Elle a ensuite donné des actions précises : quelles fiches corriger, quel angle porter auprès de quels médias, quelle IA surveiller. Et une leçon pour la prochaine sortie : mesurer avant la tournée presse, pour orienter les interviews plutôt que constater après.
C’est ce que nous attendons d’une mesure : pas un pourcentage à afficher, une base pour décider.
Vous voulez savoir ce que les IA disent de votre marque, de votre produit ou de votre film ? Le diagnostic est offert. Prendre rendez-vous
Notes
Les graphiques sont issus de campagnes réelles menées par Reflets. Les noms et les valeurs ont été modifiés pour préserver la confidentialité de nos clients.
Fourchettes : à 95 %, calculées question par question (les réponses répétées d’une même question comptent ensemble), et jamais plus étroites que si chaque réponse était indépendante. Elles portent sur les questions posées, pas sur l’ensemble des conversations avec les IA.
Relecture humaine : si aucune erreur n’est trouvée dans 30 réponses d’un même type tirées au hasard, le taux d’erreur de lecture de ce type est au plus de 9,5 %, avec 95 % de confiance (borne supérieure exacte de la loi binomiale, dite de Clopper-Pearson, unilatérale). D’où le « moins de 10 % » du graphique.
Notre méthode s’appuie notamment sur Schulte et al. (2026), Don’t Measure Once: Measuring Visibility in AI Search, arXiv:2604.07585. Les études citées sont des prépublications : un appui, pas une preuve.