Réalisation

Mesurer ce que les IA disent d’une marque : comment nous avons construit notre méthode

Publiée le · 6 min de lecture

Quand un client demande conseil à ChatGPT, l’IA pense-t-elle à votre marque ? Pour répondre sérieusement, une capture d’écran ne suffit pas. Voici comment nous avons construit notre méthode de mesure, à partir de campagnes réelles pour des marques et pour la sortie d’un film.

Le point de départ : deux vraies questions de clients

La première venait d’une marque. Elle lançait une campagne média et relations presse, et voulait savoir si ChatGPT, Gemini ou Perplexity parleraient d’elle autrement après.

La seconde venait d’un distributeur, pour la sortie d’un film français en salles. Nous avons mesuré trois dates, à une semaine d’écart : avant la sortie, la semaine de la sortie, puis la semaine suivante.

Dans les deux cas, la question était simple. La réponse demandait une méthode. Ces deux campagnes nous ont servi à la construire et à l’affiner ; pour en montrer les choix et leurs effets, nous prenons ici l’exemple du film.

Une IA ne répond presque jamais deux fois pareil

Posez deux fois la même question à ChatGPT : vous n’aurez pas la même liste. Une seule réponse dit oui ou non, 0 ou 100 %. Ce n’est pas une mesure, c’est un tirage.

Nous posons donc chaque question dix fois, en deux passages à environ 24 heures d’écart : c’est ce qui rend fiable la mesure de chaque question. Mais dix réponses à une même question se ressemblent : elles ne valent pas dix avis indépendants. Ce qui rend le chiffre global précis, c’est surtout le nombre de questions différentes. Une date de mesure, c’est une cinquantaine de questions, soit environ 2 500 réponses. Et nous lisons chaque IA à part, avec sa propre fourchette.

Part des réponses qui citent la marque, avec sa fourchette

Pourquoi beaucoup de questionsUne réponse ne donne que 0 ou 100 %. Dix réponses à une question donnent 50 %, avec une fourchette de 24 à 76 %, trop large. 800 réponses à 16 questions donnent 34 %, avec une fourchette de 25 à 44 % : utilisable.1 réponse0 ou 100 %oui ou non : 0 ou 100 %10 réponses à 1 question50 %trop large · fourchette 24 à 76 %800 réponses à 16 questions34 %utilisable · fourchette 25 à 44 %0 %25 %50 %75 %100 %
Ce qui resserre la fourchette, ce sont surtout des questions différentes ; répéter rend chaque question fiable. Exemple fictif.

Le second passage mesure la variabilité d’une session à l’autre. Il donne un repère pour distinguer un vrai mouvement des fluctuations habituelles des réponses. Nous refaisons aussi une partie des questions à la main, directement dans l’interface des IA, pour vérifier que la mesure automatique voit la même chose qu’un utilisateur.

Poser les questions comme un client

Demander « Que penses-tu de tel film ? » ne dit rien : l’IA en parle forcément. La vraie question est de savoir si elle y pense toute seule.

La plupart de nos questions ne contiennent donc jamais le nom. Elles sont écrites comme on parle : « Quels films sortent en ce moment ? », « Quel film aller voir ce week-end ? ». Seule une petite part demande ensuite ce qu’on dit du film. Les questions sont validées avec le client, puis figées : à chaque date, exactement les mêmes.

Ces questions ne sont pas tirées au hasard de ce que les gens demandent vraiment aux IA : personne n’a accès à ces données. C’est un échantillon raisonné, comme les quotas d’un sondage : construit selon une méthode écrite, au plus près des formulations réelles. La fourchette dit donc la précision de la mesure sur ces questions-là, pas une marge d’erreur sur toutes les conversations. C’est aussi pourquoi l’avant/après est la lecture la plus solide : les mêmes questions à chaque date, le biais de leur choix est le même des deux côtés.

Avant de lancer, nous vérifions aussi le nom lui-même. Un titre de film est souvent un mot courant. Il faut être sûr que l’IA parle bien de ce film, et pas d’un homonyme.

Être cité ne suffit pas : encore faut-il que ce soit juste

Une IA peut citer votre film et se tromper sur tout le reste. Nous distinguons donc trois choses : être cité, être recommandé, et être décrit correctement.

Pour les faits, nous partons d’une fiche validée par le client : date de sortie, réalisateur, distribution, genre, où le voir. Chaque réponse est comparée à cette fiche. Une information n’est déclarée fausse que si deux juges sont d’accord : deux IA de familles différentes, la seconde relisant chaque information marquée fausse par la première. Et pour la lecture des réponses elle-même (le film est-il cité, sur quel ton), une personne relit un échantillon tiré au hasard, pour vérifier que la machine lit bien.

Pourquoi ne pas tout relire ? Parce que ce n’est pas utile. Une personne relit 30 réponses de chaque type, tirées au hasard : celles qui disent si le film est cité, celles qui décrivent son image et, pour une marque, celles où l’IA choisit entre deux marques. Une erreur de lecture touche souvent un seul de ces types : c’est donc type par type qu’on la cherche. Si la machine se trompe sur une réponse sur dix d’un type, cette relecture a 96 % de chances de repérer au moins une erreur. Ce n’est pas une garantie sur chaque réponse : c’est un filet qui attrape les erreurs fréquentes. Et chaque erreur trouvée corrige la consigne donnée à l’IA qui lit ; une fois la correction vérifiée, la date est recalculée et la règle s’applique à toutes les réponses concernées.

Chance de repérer au moins une erreur en 30 réponses relues d’un même type

  • 96 % de chances de repérer une erreur qui touche 1 réponse sur 10
  • < 10 % d’erreurs si on n’en trouve aucune (borne à 95 %)
  • 1 règle corrigée par erreur trouvée, puis la date recalculée
La relecture humaineChance de repérer au moins une erreur en 30 réponses relues d’un même type : 79 % si l’erreur touche 5 % des réponses, 96 % si elle en touche 10 %.0 %25 %50 %75 %100 %0 %5 %10 %15 %20 %5 % → 79 %10 % → 96 %part des réponses touchéespar une erreur de lecture
La relecture humaine : la chance de repérer une erreur de lecture, selon sa fréquence. Exemple fictif.

Sur le film, ce contrôle a payé. Avant la sortie, plus d’une réponse sur trois se trompait sur où voir le film. Après la sortie, presque plus aucune. L’erreur se corrigeait toute seule. Une autre persistait : une IA présentait le film comme sélectionné en compétition dans un grand festival, ce qui était faux.

Part des réponses avec une information fausse

Les informations fausses, avant et après la sortiePart des réponses avec une information fausse, avant puis après la sortie. Où voir le film passe de 37 % à 1 %, la date de sortie de 11 % à 1 % ; prix et festivals monte de 4 % à 8 %. Par IA, toutes baissent : Gemini de 34 % à 10 %, Vibe (ex-Le Chat) de 28 % à 13 %.avant la sortieaprès la sortiePar sujetLe bon film (pas un homonyme)2 % → 1 %Date de sortie11 % → 1 %Où le voir37 % → 1 %Histoire du film2 % → 3 %Prix et festivals4 % → 8 %Réalisateur1 % → 0 %Acteurs principaux3 % → 1 %Genre1 % → 2 %0 %50 %100 %Par IAClaude15 % → 5 %Gemini34 % → 10 %Vibe (ex-Le Chat)28 % → 13 %ChatGPT6 % → 4 %Perplexity10 % → 6 %0 %50 %100 %
Les informations fausses, sujet par sujet et IA par IA, avant et après la sortie. Campagne réelle, noms et valeurs modifiés.

Plusieurs chiffres, pas un score unique

Un « score de visibilité » unique rassure, mais il cache l’essentiel. Nous rendons six chiffres, tirés des mêmes réponses : la présence, le détail par IA, la recommandation, l’image, les faits et les concurrents. Chacun avec sa fourchette.

  • Présence

    34 %

    272/800 réponses qui citent la marque

    fourchette 25–44 %

  • Par IA

    • ChatGPT38 %
    • Gemini24 %
    • Vibe34 %
    • Claude28 %
    • Perplexity36 %

    calculées question par question : les fourchettes se chevauchent, pas d’écart net

  • Recommandation

    28 %

    224/800 réponses qui la recommandent

    fourchette 19–38 %

  • Image

    • positif 58 %
    • mitigé 31 %
    • négatif 11 %

    reproche qui revient : un peu cher

  • Faits

    • juste 86 %
    • imprécis 6 %
    • faux 5 %
    • à vérifier 3 %

    faux = les deux juges d’accord

  • Concurrents

    • Concurrent A31 %
    • Votre marque24 %
    • Concurrent B18 %
    • Concurrent C11 %
Les six chiffres d’une date de mesure, chacun avec sa marge. Exemple fictif.

Le détail par IA suffit à montrer pourquoi. Pour le même film, la même semaine, certaines IA le citaient dans environ huit réponses sur dix, une autre dans moins de deux sur dix. Une moyenne de ces chiffres ne décrit aucune IA réelle.

Avant, pendant, après : vrai changement ou simple bruit ?

Une hausse ou une baisse ne compte que si elle dépasse ce que la mesure peut distinguer. Nous comparons les dates question par question, sur les mêmes questions posées à chaque fois.

Sur le film, la courbe raconte trois choses. La semaine de la sortie, sa présence monte nettement : un vrai pic. La semaine suivante, elle redescend presque à son niveau de départ. Entre la première et la dernière date, il n’y a pas de vraie différence. En revanche, la part des réponses qui conseillent d’aller le voir a, elle, réellement progressé.

Pour lire ces mouvements, nous gardons un témoin : les autres films cités dans les mêmes réponses. S’ils bougent tous ensemble, le mouvement tient au moment (la saison des sorties, l’état du web, une mise à jour de l’IA), pas à votre campagne. S’ils restent stables, le mouvement est propre au film, sans prouver pour autant que la campagne l’a causé.

Part des réponses qui citent le film, à chaque date

Avant, pendant, après la sortieCité quand on demande quels films sortent : 49 %, puis 61 % la semaine de la sortie, puis 52 % : un pic, sans écart réel entre avant et après. Cité quand on demande quel film aller voir : 28 %, 44 %, puis 39 % : un écart réel. Les autres films restent vers 12 %.Sortie en sallesAvantSortieAprèsécart réel49 %61 %52 %quels films sortent28 %44 %39 %quel film aller voir12 %13 %12 %autres films (repère)
  • Cité quand on demande quels films sortent
  • Cité quand on demande quel film aller voir
  • Autres films, en moyenne (repère)
La présence du film autour de sa sortie, avec les autres films en repère. Campagne réelle, noms et valeurs modifiés.

Ce que la mesure a changé

Elle a d’abord corrigé une intuition. Le bruit autour du film, très présent dans la presse people, n’apparaissait dans presque aucune réponse des IA. Ce qui comptait, c’étaient les sites de référence : fiches cinéma, guides des sorties, encyclopédie. Et les articles de la campagne y pesaient de moins en moins au fil des semaines.

Elle a ensuite donné des actions précises : quelles fiches corriger, quel angle porter auprès de quels médias, quelle IA surveiller. Et une leçon pour la prochaine sortie : mesurer avant la tournée presse, pour orienter les interviews plutôt que constater après.

C’est ce que nous attendons d’une mesure : pas un pourcentage à afficher, une base pour décider.

Vous voulez savoir ce que les IA disent de votre marque, de votre produit ou de votre film ? Le diagnostic est offert. Prendre rendez-vous

Notes

Les graphiques sont issus de campagnes réelles menées par Reflets. Les noms et les valeurs ont été modifiés pour préserver la confidentialité de nos clients.

Fourchettes : à 95 %, calculées question par question (les réponses répétées d’une même question comptent ensemble), et jamais plus étroites que si chaque réponse était indépendante. Elles portent sur les questions posées, pas sur l’ensemble des conversations avec les IA.

Relecture humaine : si aucune erreur n’est trouvée dans 30 réponses d’un même type tirées au hasard, le taux d’erreur de lecture de ce type est au plus de 9,5 %, avec 95 % de confiance (borne supérieure exacte de la loi binomiale, dite de Clopper-Pearson, unilatérale). D’où le « moins de 10 % » du graphique.

Notre méthode s’appuie notamment sur Schulte et al. (2026), Don’t Measure Once: Measuring Visibility in AI Search, arXiv:2604.07585. Les études citées sont des prépublications : un appui, pas une preuve.

Portrait d’Yvan Forestier

Yvan ForestierCofondateur de Reflets

Haut de page

Parlons de ce qui vous prend du temps.

Un appel de 30 minutes, en visio, à réserver dans notre agenda.

Nous contacter