ChatGPT dévoile les plus grands secrets de la magie

[Etienne HRBT]

L'autre soir je zappais et je suis tombé sur un débat sur l'IA où ce monsieur et Enthoven étaient les "experts". Je n'ai pas tenu plus de 2 minutes. C'était sur LCP.

Je me demande vraiment pourquoi les journalistes les invites eux et pas des personnes qui maîtrisent le sujet (ils sont nombreux !) pour permettre de faire des émissions de qualité.

[bob (Patrice)]

Amusez-vous comme moi à demander à ChatGTP : "is 654646465464611321 prime number".
Soit en bon français : " est-ce que 654646465464611321 est un nombre premier".

Pour info, j'ai obtenu 654646465464611321 en multipliant 50357420420354717 par 13.
Donc 654646465464611321 n'est clairement pas un nombre premier.

Le site "https://www.123calculus.com/en/number-divisors-page-1-11-110.html" découvre instantanément que ce nombre est divisible par 13 et indique également tous les autres diviseurs : 61, 793, 825531482300897, 10731909269911661, 50357420420354717 et 654646465464611321.

ChatGPT patauge royalement ! Après trois relances, il m'explique de manière alambiquée qu'il ne peut pas répondre à ma requête (c'est au moins ça !) ...

Citation

[...] That’s a very large number, and to answer accurately I need to run a proper primality test (doing it 100% by hand isn’t reliable at this size) [...]

... et me fournit un code Python à exécuter moi-même sur un ordinateur !

N'est-ce pas un peu décevant que sur une question mathématique aussi basique ChatGPT ne soit pas foutu de répondre plus directement au lieu de m'indiquer comment procéder moi-même pour trouver la réponse ?

Cette petite expérience prouve que L'IA ne raisonne pas. Elle SAIT ce qu'on lui a DIT, mais ne sait que le RÉPÉTER, certes de manière assez bluffante qui peut faire illusion. Dans cet exemple, dans les "training data" de ChatGTP (ses connaissances, ses données d'entrainement) il y a bien l'algorithme qui permet de décider de la primalité d'un nombre, mais n'y a aucune information sur le nombre 654646465464611321 en lui-même. D'où son embarras !

Une vraie IA intelligente saurait UTILISER son savoir pour raisonner. Comme un élève qui sait introduire au sein d'un raisonnement un théorème qu'il a appris afin de résoudre un problème. Or l'IA (actuelle) ne raisonne pas, ce n'est qu'un générateur statistique (certes très sophistiqué) pondéré par une base de connaissance (certes immense) ! Est-ce un plafond de verre inhérent à la technologie LLM qui est à la mode en ce moment ? Je le pense. En tout cas, pour l'instant on en est là. Ce qui n'empêche pas de s'extasier devant les promesses de ces nouvelles technologies.

Ma dernière lecture sur le sujet :

ISBN-10 ‏ : ‎ 1098166302 / ISBN-13 ‏ : ‎ 978-1098166304 - dispo ici

C'est un livre récent (janvier2025). La collection ‎O'Reilly est une référence dans le domaine technique et plus spécifiquement dans les domaines du numérique. Deux bonnes raisons pour le lire. Alors oui, c'est 535 pages en anglais et c'est assez technique. Mais ça éviterait probablement à certains de raconter n'importe quoi ...

Bob

[Christian DELAMORINIERE]

il y a 31 minutes, bob (Patrice) a dit :

Amusez-vous comme moi à demander à ChatGTP

Je l'ai fait illico presto : tu peux cliquer sur ce lien !
et voici sa réponse :

Citation

Bonne question
Non, 654 646 465 464 611 321 n’est pas un nombre premier.
Pourquoi ?
Un nombre premier n’a que deux diviseurs : 1 et lui-même. Or ce nombre peut être décomposé ainsi :
654646465464611321 = 13 × 61 × 825531482300897
Il a donc plus de deux diviseurs, ce qui suffit pour conclure qu’il n’est pas premier.
Si tu veux, je peux aussi t’expliquer comment tester rapidement si un nombre est premier (méthode collège ) ou te proposer un défi nombres premiers

il y a 37 minutes, bob (Patrice) a dit :

La collection ‎O'Reilly est une référence dans le domaine technique et plus spécifiquement dans les domaines du numérique. Deux bonnes raisons pour le lire. Alors oui, c'est 535 pages en anglais et c'est assez technique. Mais ça éviterait probablement à certains de raconter n'importe quoi ...

L'intérêt de l'IA, c'est de gagner du temps. Je ne crois pas que tu vas réussir beaucoup de monde à se morfler tes 535 pages en anglais technique.

[bob (Patrice)]

il y a 30 minutes, Christian DELAMORINIERE a dit :

L'intérêt de l'IA, c'est de gagner du temps. Je ne crois pas que tu vas réussir beaucoup de monde à se morfler tes 535 pages en anglais technique.

Chacun son truc. Moi j'aime prendre mon temps, pour comprendre et me faire ma propre opinion.

Ce que tu viens d'observer comme phénomène s'appelle "inconsistency". Pour te faire gagner du temps et t'éviter de chercher, c'est à la page 106 du livre que je cite en référence (chapitre "The Probabilistic Nature of AI" ) :

Citation

Inconsistency
Model inconsistency manifests in two scenarios:
1. Same input, different outputs: Giving the model the same prompt twice leads to
two very different responses.
2. Slightly different input, drastically different outputs: Giving the model a slightly
different prompt, such as accidentally capitalizing a letter, can lead to a very different
output.

On est ici clairement dans ce cas de figure : deux réponses différentes sur deux prompts légèrement différents (ton prompt est en français, le mien en anglais). En fait, pour l'IA ces prompts sont totalement différents ... mais passons.

Dans ce même chapitre, un second défaut des AI génératives y est signalé : l'hallucination. C'est le fait pour une IA de donner un résultat manifestement faux :

Citation

Hallucination is when a model gives a response that isn’t grounded in facts.
Imagine if someone on the internet wrote an essay about how all US presidents are aliens, and this essay was included in the training data. The model later will probabilistically output that the current US president is an alien. From the perspective of someone who doesn’t believe that US presidents are aliens, the model is making this up.

Ces deux défauts majeurs sont étudiées en détails dans les pages suivantes : comprendre les causes, envisager les conséquences, imaginer des solutions possibles etc.

Bob

Modifié 5 janvier par bob (Patrice)