ChatGPT: qu’est-ce qui se cache derrière ce chatbot « intelligent » ?

Toutefois, il faut être prudent quand on qualifie ce système d’« intelligent » : ChatGPT ne peut en réalité pas penser par lui-même ! Il a été entrainé au cours d’innombrables cycles d’apprentissage à compléter des phrases avec les mots les plus probables. Dans un premier temps, des livres numérisés ainsi qu'une grande partie des textes disponibles sur Internet - on parle de plusieurs centaines de milliards de mots ! - ont été introduits en tant que matériel d'entraînement. Ces textes ont été analysés statistiquement par le logiciel. Le système a appris quelles combinaisons de mots ou parties de phrases reviennent le plus souvent. Sur cette base, le système devait réagir aux saisies de texte en produisant son propre texte, par exemple en répondant à une question. En plusieurs phases d’entrainement, il a appris à donner des réponses de plus en plus correctes : il a d'abord été confronté à des tâches simples pour lesquelles il recevait à chaque fois un retour « correct » ou « incorrect ». Un autre entrainement a été réalisé à l’aide d’un deuxième logiciel qui comparait les réponses de ChatGPT avec des dialogues produits par des êtres humains. Le feed-back de ce logiciel a permis d'améliorer encore les résultats de ChatGPT.

Cette amélioration constante, l’apprentissage automatique (machine learning en anglais), est possible parce que le logiciel ChatGPT est construit comme un réseau neuronal artificiel. Un tel réseau présente des parallèles avec notre cerveau : il apprend du fait que les connexions qui conduisent à des réponses et des décisions correctes sont renforcées. Les mauvaises connexions sont en revanche interrompues et reconnectées, de sorte que l’output du réseau s'améliore globalement.

La base : statistiques et probabilités

Pour simplifier, les textes produits par ChatGPT ne sont donc rien de plus qu’un enchainement de mots et de parties de phrases statistiquement probable. Les réponses fluides et linguistiquement correctes qui en résultent sont d'autant plus étonnantes : la quantité de données et la puissance de calcul qui se cachent derrière ce modèle sont vraiment gigantesques ! Dans certaines situations, ChatGPT pourrait même sûrement réussir le test dit de Turing, du nom du mathématicien Alan Turing : une personne qui dialogue avec ce chatbot ne pourrait pas dire dans tous les cas après cinq minutes de conversation s’il s’est entretenu avec un être humain ou une machine.

Cependant, ChatGPT reste un logiciel dépourvu de sentiments et d’expériences humaines. Il a par exemple du mal avec les formes de conversation dans lesquelles l’humour ou l’ironie jouent un rôle, et ne peut pas détecter les ambiguïtés. Dans l’idéal, il devrait demander des précisions si une entrée a un double sens, mais au lieu de cela il part tacitement de l'hypothèse la plus probable - et peut donc arriver à des déclarations erronées. La capacité de réponse de ChatGPT dépend souvent de la formulation de la question. On voit ici un problème courant de l’entrainement d’un logiciel de chat : si on le programme de manière trop « prudente », il refuse de répondre bien que les données disponibles lui permettraient de générer une déclaration correcte. Avec le prototype actuellement publié de ChatGPT, c’est souvent l'inverse : ChatGPT présente dans des phrases logiques et très convaincantes un fait qui, à y regarder de plus près, n'a aucun sens ou est tout simplement faux. Comme on ne sait pas, contrairement à Google, quelles sont les sources des informations rassemblées par ChatGPT, il faut faire d'autant plus attention ! Car les données d’entrainement du logiciel n’indiquent pas la « vérité » ; ChatGPT restitue généralement les déclarations qui sont apparues plus souvent que les autres au cours de la phase d’apprentissage.