Parlons-en

Méthode

Ne pas présenter du bruit comme un résultat.

Lundi, on pose 10 fois la même question à ChatGPT : la marque est citée 4 fois. Mardi : 6 fois. Rien n’a changé. Dans un rapport, ça s’écrit +50 %.

Comment on travaille

Pas de promesse sans mesure.

  1. Mesurer

    Un état des lieux chiffré, avant tout.

  2. Préparer la donnée

    On la range avec vous. Prête à grandir.

  3. Proposer

    Construire, acheter ou mieux utiliser.

  4. Prouver

    Une mesure après. Pas une impression.

Notre protocole

  1. 1. On répète

    Chaque question, 10 fois, à chaque IA : elle ne répond jamais deux fois pareil.

  2. 2. On vérifie

    Chaque mesure est refaite le lendemain. Si les deux divergent, on ne conclut pas.

  3. 3. On prouve

    Chaque chiffre est donné avec sa fourchette, et renvoie aux réponses gardées.

Résultat : un vrai écart de 10 points est détecté plus de 9 fois sur 10.

Exemple de mesure

Ce que deux IA répondent sur un film à sa sortie : part des réponses qui le citent, face à ses concurrents

Cité par ChatGPT

  1. Film mesuré 40 %
  2. Concurrent 1 5 %
  3. Concurrent 2 0 %
  4. Concurrent 3 0 %

Cité par Gemini

  1. Film mesuré 95 %
  2. Concurrent 1 35 %
  3. Concurrent 2 15 %
  4. Concurrent 3 5 %

Mesure de démonstration sur un film récent, pas un dossier client. Nom du film et des concurrents anonymisés.

Notre limite

La mesure d’avant se fait avant : impossible de la reconstituer après coup.

Parlons de ce qui vous prend du temps.

Un appel de 30 minutes, en visio, à réserver dans notre agenda.

Parlons-en