Pourquoi ChatGPT ne sait pas compter ? Le mystère des erreurs mathématiques dévoilé

L'intelligence artificielle, y compris ChatGPT, sait écrire des poèmes, composer de la musique et traduire des textes. Pourtant, elle se heurte souvent à des problèmes sur des tâches mathématiques simples. Pourquoi un chatbot, qui réussit des tâches linguistiques complexes, ne parvient-il pas à faire des mathématiques au niveau de l'école primaire?

Tokenisation : Quand les chiffres se désintègrent

L'un des problèmes clés est la tokenisation. Ce processus divise les données en plus petites parties, appelées tokens. Imaginez cela comme l'assemblage d'un puzzle où les mots sont divisés en syllabes. Le tokenizeur, un modèle d'intelligence artificielle responsable de ce processus, ne comprend cependant pas la signification des chiffres.

Il peut arriver qu'un nombre 380 soit perçu comme un seul token, tandis que 381 se décompose en deux (38 et 1). Cela perturbe les relations entre les chiffres et le calcul devient plus compliqué.

La machine statistique qui trébuche sur les chiffres

Une autre raison des difficultés mathématiques de ChatGPT est sa nature statistique. Le chatbot apprend en fonction d'un grand nombre d'exemples et y recherche des motifs. Par exemple, il apprend que la phrase "Monsieur" est souvent suivie de "nous vous contactons".

En mathématiques, cependant, cette approche rencontre des problèmes. ChatGPT peut deviner que le produit de nombres se terminant par 2 se termine par 4, mais il ne sait gérer les résultats intermédiaires. En résumé, le modèle ChatGPT essaye de deviner le résultat basé sur des modèles appris au lieu d'exécuter un calcul exact.

Le défi des multiplications

Une étude menée par Yuntian Deng de l'Université de Waterloo a montré que ChatGPT a des problèmes avec la multiplication de nombres composés de plus de quatre chiffres. La raison en est qu'une erreur à n'importe quelle étape du calcul se répercute dans le résultat final.

Imaginez cela comme un effet domino - une erreur déclenche une réaction en chaîne et le résultat est complètement faussé. Cependant, il y a de l'espoir que ChatGPT s'améliore à l'avenir. Deng et ses collègues ont également testé le modèle o1 d'OpenAI, qui est caractérisé par sa capacité de raisonnement logique.

Ce modèle a obtenu des résultats bien meilleurs que le GPT-4o standard et a su résoudre correctement même des multiplications de nombres à neuf chiffres. Le modèle o1 réfléchit au problème étape par étape, ce qui lui permet d'obtenir des résultats plus précis.