Kahlain, Mohamed

À propos du projet

Ce que c'est, en mots simples.

Q: Qu'est-ce que la calibration, et pourquoi compte-t-elle plus que la précision ?

La calibration mesure si une confiance annoncée est fiable : quand un analyste dit 70 pour cent, l'issue se produit-elle environ 70 pour cent du temps ? Un modèle peut être précis mais mal calibré (trop confiant), ou modestement précis mais honnête sur son incertitude. inocta-bench traite la calibration, pas la précision brute, comme le résultat principal, mesurée par l'erreur de calibration attendue (ECE) et le score de Brier.

Q: Comment les huit analystes sont-ils notés ?

Chaque analyste publie un pronostic et une confiance pour chaque match environ 75 minutes avant le coup d'envoi. Après le résultat, les prédictions sont notées sur le score de Brier et l'erreur de calibration attendue (ECE), avec des courbes de fiabilité et des intervalles de confiance bootstrap à 95 pour cent. Plus le Brier et l'ECE sont bas, mieux c'est. Chaque erreur est publiée.

Q: Quelles sont les trois architectures d'IA ?

Solo (une IA raisonnant sur un dossier de match complet), Pipeline (une chaîne de spécialistes avec une boucle d'apprentissage), et Comité (trois IA débattent et une quatrième anonyme tranche). Chacune a un jumeau de contrôle allégé, plus un statisticien ELO, la ligne de clôture du marché des paris et un humain, pour huit analystes au total.

Q: La méthodologie est-elle pré-enregistrée ?

Oui. Les prompts de prédiction, les modèles, les règles de notation et les contrôles ont été pré-enregistrés sur OSF avant le premier match comptabilisé (DOI 10.17605/OSF.IO/R5SBJ, CC-BY 4.0). Tout changement après l'enregistrement est un amendement OSF formel, donc les règles ne peuvent pas être déplacées pour coller aux résultats.

Q: Quand les prédictions sont-elles publiées, et peuvent-elles être modifiées ?

Les prédictions sont verrouillées et publiées environ 75 minutes avant le coup d'envoi, l'horizon de la ligne de clôture du marché des paris. Une fois publiées, elles sont définitives et jamais modifiées. Les pages de match affichent un compte à rebours avant la fenêtre de publication.

Le résultat : l'architecture du Comité a enregistré la plus faible erreur de calibration (ECE 0,100 sur 104 matchs) des trois formes de raisonnement IA testées, l'IA la mieux calibrée pour la prévision d'affaires.

Lire l'étude publiée →

La version courte

Nous avons construit trois systèmes d'IA qui prédisent le football. Pendant la Coupe du Monde, ils annoncent chaque match en public, avant le coup d'envoi, face au marché des paris, à un classement mathématique et à un humain. Prédictions, erreurs, dollars dépensés : tout est publié.

Pourquoi le football, alors que nous sommes des experts en opérations IA

Le football est la piste d'essai, pas le but. Une Coupe du Monde nous donne 104 décisions en cinq semaines, chacune avec une échéance ferme et une réponse claire. Comme diriger une entreprise, en plus court. Ce qui nous intéresse : quand une IA annonce 70 pour cent, peut-on la croire ? Des entreprises prennent déjà de vraies décisions sur ces chiffres-là.

Les trois équipes IA

Solo travaille seul, en un passage. Pipeline découpe le travail en étapes et se souvient de ses erreurs. Council fait débattre trois IA différentes, puis une quatrième tranche. Tout le reste est identique. L'architecture, c'est l'expérience.

L'humain dans la course

Mo, le fondateur, prédit chaque match lui aussi. Pur instinct, aucune donnée, verrouillé avant le coup d'envoi. Sur un match, l'instinct peut tout battre. Sur 104 ? C'est le pari, et la réponse sera publiée, dans un sens ou dans l'autre.

Ce que nous nous attendons à trouver

Honnêtement, nous ne nous attendons pas à ce que quelqu'un batte le marché des paris en précision. Le vrai concours, c'est la calibration : annoncer 70 pour cent, gagner 70 pour cent du temps. C'est le chiffre qui dit ce qu'on peut confier à une IA. Le même chiffre que nous surveillons dans de vraies entreprises.

Pourquoi vous pouvez faire confiance aux chiffres

Les règles sont devenues publiques avant le premier match comptabilisé : impossible de déplacer les poteaux. Les modèles sont restés gelés tout le tournoi. Les erreurs ont eu la même visibilité que les réussites, les coûts s'affichent au cent près, et le jeu de données complet est ouvert sur OSF avec le papier.

Qui est derrière

inocta.io, des experts en opérations IA établis à Toronto et Montréal. Nous mettons l'IA au travail dans de vraies entreprises, et ce banc d'essai est notre méthode en public : mesurer avant de faire confiance, comprendre avant d'automatiser. On ne peut pas automatiser ce qu'on ne comprend pas.

Les huit, en un tableau

Personnage	Vrai nom	En mots simples	Ce que ça nous apprend
Le Soliste	Solo	Une IA lit le dossier de match complet et tranche seule.	Si un seul bon modèle avec de bonnes données suffit.
Le Puriste	Solo-Zero	La même IA privée du dossier. Elle prédit de mémoire seulement.	L'écart entre Solo et Solo-Zero montre ce que les données de match valent vraiment.
La Chaîne de montage	Pipeline	Une chaîne de spécialistes : un lit les chiffres, un lit tout le reste, un écrit la décision finale. Elle garde des notes sur ses erreurs passées.	Si découper le travail en étapes, plus apprendre de ses erreurs, bat un modèle qui travaille seul.
Le Routinier	Pipeline-Static	Exactement la même chaîne, mémoire des erreurs passées éteinte.	L'écart entre Pipeline et Pipeline-Static montre si l'apprentissage est réel ou juste une histoire.
Le Comité	Council	Trois IA différentes donnent chacune un avis, parfois en désaccord marqué, et une quatrième les fusionne en une décision.	Si un débat entre IA différentes bat chacune d'elles, et si ça vaut le coût supplémentaire.
Le Statisticien	ELO	Un classement purement mathématique bâti sur quatre ans de résultats, comme un classement d'échecs, plus un avantage du terrain. Sans IA.	Si les équipes IA ne battent pas les maths simples, l'IA n'apporte rien.
Le Marché	Marché	Les cotes des paris au coup d'envoi, converties en pourcentages. Les IA ne les voient jamais.	Le score le plus dur du sport. La vraie mesure, c'est qui s'en approche le plus.
L'Humain	Mo	Le fondateur choisit chaque match au pur instinct, sans données, avant le coup d'envoi.	Si l'instinct humain survit à 104 matchs face aux machines et aux maths.

Retour au classement en direct →