Guides

Seuil de confiance d'un bot WhatsApp : quand passer la main

TchaviPar Gael — fondateur de Tchavi

· 14 min de lecture

Retour au blog

Sommaire

Pour décider quels messages WhatsApp ton bot traite seul, fixe un seuil sur la confiance du classeur, puis vérifie-le sur des messages difficiles et pas seulement sur des faciles. Dans ma mesure du 11 novembre 2026, 0,90 était parfait sur 40 messages ordinaires et laissait pourtant passer une mauvaise réponse sur 12 messages difficiles. Et la mauvaise réponse en question était sûre d'elle : 0,96.

Cet article est pour toi si tu construis la boîte de support WhatsApp d'une boutique pour un client. Ton client veut que le bot réponde seul aux messages simples et qu'une personne lise les autres. La seule vraie décision technique est la ligne entre les deux, et elle tient en un nombre. Voici comment le choisir, ce que j'ai mesuré, et ce que le nombre ne peut pas faire.

En bref

  • Mesure faite le 11 novembre 2026 : 52 appels, 1,94 crédit au total (environ 0,65 F), zéro erreur.
  • Jeu ordinaire, 40 messages fictifs de clients d'une boutique : 39 bons classements sur 40. Latence médiane 294 ms, p90 422 ms. Coût : 37,2 crédits pour 1 000 messages, soit 12,4 F, au tarif du catalogue de ce jour.
  • Jeu difficile, 12 messages (sarcasme, deux demandes dans un message, vraie ambiguïté) : 9 bons sur 12. Latence médiane 338 ms.
  • Un classeur qui rend une confiance chiffrée vaut plus qu'un classeur qui rend une réponse : le passage à l'humain se construit dessus.
  • Un seuil réglé sur les cas faciles te trahit sur les difficiles. Le monter à 0,99 nettoie le jeu difficile mais escalade 7 ou 8 messages sur 12.
  • L'erreur à craindre est celle dont le modèle est sûr : 0,96 sur un message mal classé. Avec 0,80, 0,90 ou 0,95, elle part chez le client.

Le montage que ton client voit

Le bot lit le message, le classe en une intention parmi cinq (commande, reclamation, livraison, paiement, autre), puis une règle de ton code choisit la voie :

  • voie automatique : le bot répond avec le modèle de réponse de cette intention ;
  • voie humaine : le message va dans la file d'une personne de la boutique, avec l'intention proposée en étiquette.

Ce que ton client voit : une file humaine plus courte, et des clients qui ne reçoivent pas une réponse à côté de la plaque. Les deux dépendent d'un seul réglage. Si tu veux d'abord comprendre comment faire répondre un petit modèle avant un plus fort, lis le bot de support économique d'abord. Ici, le sujet est plus étroit : la ligne entre « le bot répond » et « un humain lit ».

Leçon 1 : une confiance chiffrée vaut plus qu'une réponse

Un classeur qui dit seulement « paiement » te laisse deux choix : lui faire confiance tout le temps, ou ne jamais lui faire confiance. Un classeur qui dit « paiement, confiance 0,77 » te donne un troisième choix, celui qu'il te faut : lui faire confiance quand il est sûr, et passer la main quand il hésite.

Voici la réponse réelle pour le message 3 de mon jeu, un message de client que j'avais étiqueté commande : « Salut, je prends les 3 pagnes + la paire de sandales. Comment je fais pour valider ? »

{
  "choice": "paiement",
  "confidence": 0.77,
  "probabilities": {
    "commande": 0.18,
    "reclamation": 0,
    "livraison": 0,
    "paiement": 0.82,
    "autre": 0
  }
}

La réponse est fausse : le client confirme une commande, il ne demande pas comment payer. Mais elle est fausse à 0,77, et c'est ce chiffre qui sauve la situation. Avec un seuil à 0,80, ce message va à un humain au lieu de recevoir des consignes de paiement pour une commande que personne n'a encore confirmée. Le client de la boutique ne voit rien : il reçoit une réponse correcte, un peu plus tard.

Une précision de lecture : confidence n'est pas la probabilité de l'étiquette gagnante. Sur ce message, probabilities.paiement vaut 0,82 et confidence 0,77. Dans mes 52 appels, confidence est inférieure à la probabilité la plus haute 9 fois, de 0,10 au plus (message 109 : 0,51 contre 0,61). Je ne sais pas l'expliquer. J'applique donc le seuil au champ confidence, tel que renvoyé, et les tableaux ci-dessous portent sur lui.

Ce message est aussi le seul raté du jeu ordinaire, et il l'est de façon stable : il avait déjà été raté aux trois passes d'octobre, à 0,78, 0,79 et 0,81. Ce n'est donc pas du bruit. C'est un message que ce modèle comprend mal, de façon répétable, et qu'un seuil bien placé attrape à chaque fois.

Leçon 2 : un seuil réglé sur tes exemples faciles te trahit sur les difficiles

Mon jeu ordinaire : 40 messages fictifs de clients d'une boutique, écrits en français façon WhatsApp, 8 par intention. Les étiquettes ont été écrites avant tout passage et jamais changées. Résultat : 39 sur 40.

Sur ce jeu, n'importe quel seuil entre 0,80 et 0,99 donne le même verdict : zéro mauvaise réponse laissée en voie automatique. Si tu t'arrêtes là, tu choisis 0,80 parce que c'est celui qui escalade le moins (1 message sur 40), et tu as l'impression d'avoir gagné.

J'ai donc écrit un second jeu de 12 messages difficiles, construits à partir de trois pièges : le sarcasme, deux demandes dans un seul message, et l'ambiguïté réelle. Résultat : 9 sur 12. Puis j'ai calculé, pour chaque seuil, combien de messages partent à un humain et combien de mauvaises réponses restent en voie automatique.

SeuilOrdinaire : escaladés vers un humainOrdinaire : mauvaises réponses restées en voie autoDifficile : escaladésDifficile : mauvaises restées
0,801 sur 4004 ou 5 sur 121
0,901 sur 4006 sur 121
0,952 sur 4006 sur 121
0,995 sur 4007 ou 8 sur 120

Le chiffre lui-même bouge d'un appel à l'autre. J'ai relancé le jeu difficile trois fois, texte identique. Les réponses n'ont jamais changé, mais la confiance si : le message 109 est sorti à 0,51, puis 0,50, puis 0,59, et le 102 à 0,54, puis 0,62, puis 0,60. L'écart maximum est de 0,09, et il se concentre sur les messages du milieu. Les réponses très sûres, elles, ne bougent pas : quatre messages sont revenus à 1,00 à chaque passage, et le 104 est resté à 0,96, 0,95, 0,95. Conséquence pratique : un seuil posé à 0,62 est une fausse précision. Pose-le là où ce tremblement ne change rien. C'est aussi pour cela que deux lignes du tableau donnent une fourchette et non un nombre : à 0,99, le message 110 sort à 0,99 puis 0,98 ; à 0,80, le message 103 sort à 0,77 puis 0,80. Selon le passage, ils franchissent la barre ou non.

Regarde la colonne « ordinaire » : elle ne change rien à la décision. 0,90 y est impeccable. Regarde la colonne « difficile » : 0,90 laisse passer une mauvaise réponse, et 0,80 et 0,95 aussi. Des quatre seuils testés, le seul qui nettoie le jeu difficile est 0,99, et il escalade 7 ou 8 messages sur 12.

C'est là que le réglage coûte. Le bot existe pour que les humains ne lisent pas tout. À 0,99, sur des messages comme ceux du jeu difficile, les humains en lisent plus de la moitié. Sur le jeu ordinaire, 0,99 ne coûte que 5 sur 40, soit 12,5 %. Ce que ton client paiera vraiment dépend donc de la part de messages difficiles dans sa boîte réelle, et c'est le nombre que je n'ai pas : 12 messages écrits exprès pour être difficiles ne sont pas un échantillon d'une vraie boîte de réception. Mesure cette part sur les messages de ton client avant de promettre un chiffre.

Leçon 3 : l'erreur à craindre est celle dont le modèle est sûr

Voici les trois erreurs du jeu difficile :

MessageVraiPréditConfianceCe qu'un seuil de 0,80 en fait
102paiementlivraison0,54escaladé, correct
109livraisonreclamation0,51escaladé, correct
104commandelivraison0,96répondu seul, faux

Le message 109 est : « le colis est arrivé mais le livreur veut 1 000 F en plus, c'est prévu ? ». Il est vraiment ambigu : question de livraison ou plainte contre le livreur, deux lectures défendables. Le modèle a répondu reclamation à 0,51. Chiffre bas, escalade, humain : c'est exactement ce qu'on veut. Le modèle savait qu'il devinait.

Le message 104 est : « je veux commander, mais d'abord dites-moi si vous livrez à Abidjan ». Deux demandes dans un message. Le modèle a répondu livraison à 0,96. Avec 0,80, 0,90 ou 0,95, cette réponse part chez le client : il reçoit les zones de livraison, et la commande qu'il voulait passer n'avance pas. Pas de catastrophe ici, mais une vente qui se perd en silence, et personne dans la boutique ne le saura puisqu'aucun humain n'a vu le message.

Une réserve : : c'est moi qui ai étiqueté ce message commande. Un autre étiqueteur aurait pu choisir livraison, parce que la question de livraison vient en second. Je ne prétends pas que le modèle a tort, je dis que sa confiance de 0,96 ne signale en rien que le message contient deux demandes. Le modèle sait quand il devine (109), et il ne sait pas quand il se trompe (104).

Retiens ceci : Un seuil mesure l'hésitation du modèle. Il ne mesure pas sa justesse. Quand le modèle se trompe sans hésiter, aucun des seuils testés, sauf 0,99, ne t'aide, et à 0,99 tu paies l'addition de la leçon 2. Il faut donc concevoir autour de l'erreur sûre d'elle :

  • Une première réponse qui énonce ce qu'elle a compris. Par exemple : « Vous voulez savoir si on livre à Abidjan, c'est bien ça ? » Un client dont la demande a été mal comprise le voit tout de suite et corrige. Je n'ai pas testé ce que cela donne en pratique : c'est un choix de conception, pas un résultat.
  • Un accès simple à une personne, à tout moment de la conversation, pour que l'erreur ne devienne pas un cul-de-sac.
  • Un échantillon relu par un humain dans la voie automatique, par exemple quelques messages par jour, pour trouver les 104 que ton jeu de test n'avait pas. Là non plus, je n'ai pas de chiffre à te donner sur la bonne taille de l'échantillon.

Ce que ça change dans ton code

La règle de passage tient en quelques lignes. Le seuil est une constante que ton client pourra régler, pas un secret enfoui :

// Seuil de confiance en dessous duquel un humain lit le message.
// 0.80 est le plus bas testé ici ; voir le tableau avant de le choisir.
const THRESHOLD = 0.8;

function route(answer) {
  // answer = result.answers.intent
  if (!answer || typeof answer.confidence !== 'number') {
    return { lane: 'human', reason: 'no_answer' }; // en cas de doute, un humain
  }
  if (answer.confidence < THRESHOLD) {
    return { lane: 'human', reason: 'low_confidence', suggested: answer.choice };
  }
  return { lane: 'auto', intent: answer.choice, confidence: answer.confidence };
}

Deux détails comptent plus que le reste. D'abord, une réponse absente ou malformée part à l'humain, jamais à l'automatique. Ensuite, garde dans ta base la confiance de chaque message, y compris ceux de la voie automatique : c'est ce qui te permettra de refaire le tableau ci-dessus sur les vrais messages de ton client dans quelques semaines, et de déplacer le seuil sur des faits.

Reproduire la mesure

Il te faut un modèle qui renvoie une confiance chiffrée pour chaque question : un chat classique qui répond « paiement » ne la donne pas. J'ai utilisé Jev (jev-1.13) sur Tchavi, via l'endpoint /v1/decisions (démarrage, fiche du modèle).

La configuration est une seule question de type choice nommée intent, avec cinq libellés dans criteria, et l'état Message WhatsApp d'un client d'une boutique : <texte>. Voici le code que j'ai utilisé, avec les libellés exacts :

const URL = process.env.DECISIONS_URL; // l'endpoint de décisions de ton fournisseur
const KEY = process.env.API_KEY;

const LABELS = {
  commande:
    'le client veut commander, modifier ou annuler une commande, ou demande si un article est en stock',
  reclamation:
    'le client se plaint : produit abîmé, erroné, manquant, service ou livreur mécontentant, remboursement',
  livraison: 'question sur la livraison : zones, délais, suivi du colis, retrait en boutique',
  paiement:
    'paiement par mobile money : numéro, confirmation, échec, moyens et modalités de paiement',
  autre:
    'tout le reste : horaires, recrutement, démarchage, remerciements, questions sur le produit',
};

async function classify(text) {
  const response = await fetch(URL, {
    method: 'POST',
    headers: { 'content-type': 'application/json', authorization: `Bearer ${KEY}` },
    body: JSON.stringify({
      model: 'jev-1.13',
      state: `Message WhatsApp d'un client d'une boutique : ${text}`,
      questions: {
        intent: {
          type: 'choice',
          instructions: "Quelle est l'intention principale du client ?",
          criteria: LABELS,
        },
      },
    }),
  });
  const result = await response.json();
  return result.answers?.intent; // { choice, confidence, probabilities }
}

Pour refaire le tableau : écris tes propres messages et tes étiquettes avant de lancer quoi que ce soit, passe-les dans classify, puis pour chaque seuil compte les messages dont confidence est sous le seuil (escaladés) et ceux dont confidence est au moins égale au seuil et dont choice n'est pas la bonne étiquette (mauvaises réponses restées en voie automatique). Mes 52 messages sont fictifs et je ne les publie pas en bloc : écris les tiens, ils correspondront mieux à ton client.

Ce que ces chiffres ne disent pas

  • 40 messages ordinaires, 12 difficiles, fictifs, écrits par une seule personne qui les a aussi étiquetés. Un seul étiqueteur : quelqu'un d'autre aurait peut-être étiqueté différemment (voir le message 104).
  • Un écart d'un message n'est pas une différence. 39 sur 40 contre 40 sur 40 ne prouve rien. Sur 12 messages, une erreur de plus ou de moins change le pourcentage de huit points.
  • Une seule passe pour les deux jeux le 11 novembre. Les trois passes d'octobre sur le jeu ordinaire ne couvrent que lui, et c'est de là que vient la stabilité du message 3.
  • Le jeu difficile est écrit exprès pour être difficile. Il montre qu'un seuil peut te trahir. Il ne dit pas à quelle fréquence, dans une vraie boîte de réception.
  • Français seulement. Tous les messages sont en français. Je n'ai rien testé dans une autre langue : ne reporte pas ces chiffres sur une autre langue sans refaire le test.
  • Le coût du côté humain n'est pas mesuré. Je donne le coût du classement (12,4 F pour 1 000 messages). Le temps d'une personne qui lit une escalade est le vrai coût, et il dépend de la boutique.

FAQ

Quel seuil de confiance choisir pour un bot WhatsApp ?

Je ne peux pas te donner un seuil universel. Sur mes 40 messages ordinaires, 0,80, 0,90, 0,95 et 0,99 laissent tous zéro mauvaise réponse en voie automatique. Sur mes 12 messages difficiles, seul 0,99 la nettoie, au prix de 7 ou 8 escalades sur 12. Commence à 0,80, mesure sur les vrais messages de ton client, et déplace le seuil avec les chiffres.

Pourquoi ne pas tout mettre à 0,99 ?

Parce que l'économie du bot disparaît. À 0,99, mon jeu ordinaire escalade 5 messages sur 40 et mon jeu difficile 7 ou 8 sur 12. Si la boîte de ton client ressemble au jeu difficile, un humain lit presque tout, et le bot ne sert plus à rien.

Un seuil élevé protège-t-il des erreurs sûres d'elles ?

Non, pas aux seuils que j'ai testés (0,80, 0,90, 0,95). Le message 104 a été mal classé à 0,96 : tout seuil jusqu'à 0,96 le laisse partir. Un seuil mesure l'hésitation, pas la justesse. Prévois une première réponse qui énonce ce qui a été compris et un accès simple à une personne.

Peut-on se contenter d'un LLM qui répond « paiement » sans confiance chiffrée ?

Tu perds la ligne de passage : sans confiance, tu fais confiance à tout ou à rien. Un LLM peut aussi servir de second avis sur les messages où la confiance est basse, comme je l'ai comparé dans Jev ou un LLM.

Les résultats valent-ils pour l'anglais ou le swahili ?

Je ne sais pas. Tous mes messages sont en français, et je n'ai rien testé ailleurs. Le raisonnement sur les seuils ne dépend pas de la langue, mais les chiffres, eux, oui : refais le tableau sur tes propres messages.

Combien coûtent 1 000 classements ?

Dans ma mesure du 11 novembre 2026 : 37,2 crédits, soit 12,4 F, à raison de 3 crédits pour 1 F. C'est le tarif du catalogue de ce jour ; il peut changer, la fiche du modèle affiche le prix en vigueur.

Partager

Ton premier appel d'API, payé en mobile money

Sans carte bancaire. Recharge à partir de 1 000 F ; ta première recharge ajoute 150 crédits de bonus, et tes crédits n'expirent pas.