Ce que nous avons mesuré

Le résultat

Nous avons comparé deux façons d'obtenir un verdict sur un message : Sendable?, et une simple question posée au même modèle (« dois-je envoyer ce message ? »). 55 messages de test, trois modèles de langage, un passage chacun.

• Bons verdicts : 150 sur 163 pour Sendable? (92 %), contre 136 sur 165 pour la simple question (82 %).
• « Envoyer » à tort sur un message qui ne devait pas partir tel quel : 0 sur 101 pour Sendable?, contre 12 sur 102 pour la simple question.

L'écart est faible, pas nul. Il ne vaut que sous les limites qui suivent.

Les limites

• Les messages et les réponses attendues sont écrits par nous. Aucune personne extérieure n'a étiqueté un seul cas.
• Un seul passage : le bruit d'un passage à l'autre n'est pas mesuré. Un cas de plus ou de moins change le résultat d'environ deux points.
• L'écart est solide sur un seul des trois modèles (98 % contre 84 %). Il est plus petit sur le deuxième (85 % contre 75 %) et non démontré sur le troisième (92 % contre 89 %).
• Trois messages dont le bon verdict dépend d'une règle choisie par Sendable? comptent dans ces chiffres. Sans eux : 92 % contre 85 %.
• Seul le verdict est mesuré, pas la réponse proposée ni les points relevés.
• La comparaison est faite avec une simple question, pas avec un autre produit.
• Sendable? n'a pas rendu de réponse exploitable 2 fois sur 165. La simple question : 0 fois sur 165.
• Ce test ne dit pas si quelqu'un a besoin de Sendable?, ni s'il le paierait.

Quand et sur quoi

Mesuré le 6 novembre 2026. Tous les messages sont inventés, aucun message réel n'a servi. Le site utilise aujourd'hui deux des trois modèles testés ; le moteur utilisé avant le 6 novembre n'a pas été mesuré. Les messages de test et les réponses ne sont pas publiés à ce jour.