La calibration avant la précision.
L'architecture du Comité est la forme d'IA la mieux calibrée que nous ayons testée. Lisez le résultat de deux façons, en deux langues, avec le jeu de données ouvert et la citation.
Lire le papier→Les huit analystes
Classement final
Classé par erreur de calibration (ECE), plus bas c'est mieux. C'est la calibration, pas la précision brute, que mesure ce benchmark. Cliquez sur une colonne pour trier.
| # | Analyste | Type |
|---|
Une note sur l'Humain. Mo est une ligne de référence, pas un concurrent. En tant qu'opérateur de l'étude, il pouvait voir les prédictions des IA avant de verrouiller ses propres choix, donc tout avantage de calibration est confondu par l'accès à l'information, et non un résultat humain-contre-machine indépendant. Le résultat porte sur les machines : le Comité est l'architecture la mieux calibrée testée.
- Brier — Le vrai score. Il mesure si la confiance est honnête : être confiant et se tromper coûte cher, être prudent et se tromper ne coûte presque rien. Plus bas, c'est mieux. (Wikibardig ↗)
- ECE (Expected Calibration Error) — Le test de confiance. Quand un analyste annonce 70 pour cent, gagne-t-il vraiment environ 70 pour cent du temps ? Cela démasque le bluff. Plus bas, c'est mieux. (Wikipedia ↗)
- Pronostics / tours passés — Passer un match est permis. Un analyste qui s'abstient au lieu de deviner n'est pas pénalisé, alors pronostics et tours passés s'affichent côte à côte.
- Taux de réussite — Le simple pourcentage de bons pronostics. Amusant à regarder, mais ce n'est pas le verdict ici. Un parieur audacieux peut avoir un bon taux de réussite tout en étant mal calibré.
- Pourquoi attendre la courbe ? — Une courbe de calibration a besoin d'environ 24 matchs comptabilisés pour signifier quelque chose. C'est une journée de groupes complète. La montrer plus tôt, ce serait du bruit déguisé en signal.
Comment ça marche
Une heure avant le coup d'envoi, chaque IA reçoit le même dossier de match et verrouille son pronostic : vainqueur, score, confiance. Aucune révision, jamais.
Les pronostics se verrouillent. Dans cette même dernière heure, nous enregistrons ce que croit le marché des paris, la référence la plus dure du sport. L'humain entre son choix à l'instinct, n'importe quand avant le coup d'envoi.
Puis on note tout le monde. Pas seulement vrai ou faux : annoncer 70 pour cent, est-ce vraiment gagner 70 pour cent du temps ? Les erreurs s'affichent à côté des réussites.
- ●Règles verrouillées et publiées avant le tournoi ↗
- ●Noté par trois IA indépendantes plus un juge humain
- ●Modèles d'IA gelés pour tout le tournoi, aucune mise à niveau en cours de route
- ●Jeu de données complet ouvert sur OSF
La calibration avant la précision.
Quand un analyste annonce 70 pour cent, ce pronostic gagne-t-il vraiment 70 pour cent du temps ? C'est la question à laquelle répond ce graphique (les statisticiens l'appellent une courbe de fiabilité). Mis à jour après chaque match terminé. Il apparaît après la première journée comptabilisée.
Calibration →Solo, Pipeline, Council. Les trois mêmes systèmes d'IA que nous mettons au travail dans de vraies entreprises.
Une IA qui annonce 70 pour cent vous fait une promesse. La calibration vérifie si elle la tient, et c'est ce qui décide de ce qu'on peut déléguer. Le football n'est que notre piste d'essai, avec un tableau de pointage que personne ne peut contester.