Le test A/A est de retour.

Simplement, plus personne ne l’appelle comme ça.

Un vieux réflexe de l’e-commerce

Ceux qui ont fait de l’A/B test en e-commerce le connaissent. On testait un bouton, un bloc, une fonctionnalité : version A pour la moitié des visiteurs, version B pour l’autre. Et de temps en temps, on montrait la même version aux deux groupes. Si l’outil annonçait un gagnant, c’est l’outil qui avait un problème.

À l’époque, on le faisait une fois, pour vérifier l’outil. Avec les IA, c’est la réponse elle-même qui change : posez deux fois la même question, vous n’aurez pas deux fois la même réponse. Les équipes techniques appellent ça le plancher de bruit.

Réduire le bruit

On ne le supprime pas. On le réduit, puis on le surveille.

Prenez une base de plusieurs rapports qu’on veut pouvoir interroger. L’IA n’y répond pas de mémoire : elle va chercher dans les rapports, et les chiffres viennent d’eux, pas du modèle. Moins elle invente, moins elle varie.

Mais ça ne marche qu’avec de bonnes données. Le même format d’un rapport à l’autre. La même analyse rangée sous la même étiquette, partout. C’est le travail le moins visible, et celui qui décide de tout.

Vérifier, puis surveiller

Ensuite, une double vérification : un second modèle, plus puissant, relit et signale les incohérences. Un nom qui change, un chiffre qui ne colle pas à sa source.

Et la surveillance : un jeu de questions fixe, reposé chaque semaine au début, puis chaque mois. Mêmes questions, mêmes données. Si les réponses bougent, quelque chose a changé, et on le sait avant l’utilisateur.

C’est un test A/A, devenu une routine d’entretien. L’outil est intelligent, à condition que les données soient propres.