Tag Archives: chatGPT

Computer

Quand on marche sur des œufs avec Chat-GPT

Leave a comment

Avec la sortie de GPT4, et pour faire suite à mon article La société du bullshit, quelques nouvelles de GPT. Alors que je parlais de “bullshit”, on voit ressortir ces derniers temps l’idée d'”hallucinations”, définies proprement dans Hallucinations in Neural Machine Translation, voilà déjà 5 ans. Un récent article en reparlait cette semaine. Pour illustrer, inspiré de discussions avec Louis Abraham, lors de ma visite parisienne, j’ai tenté d’avoir des conseils culinaires

J’ai tenté d’autres types d’œufs, de lapin

ou de baleine,

Louis me faisait remarquer que GPT3 pouvait facilement être induit en erreur, contrairement à ChatGPT… alors j’ai tenté,

que ce soit des œufs de lapin ou de beluga, ChatGPT donne des conseils étranges

Et il ne s’arrête pas

je ne peux m’empêcher de partager cette petite conclusion

Sur le moment, je me suis demandé s’il n’était pas pris dans mon délire absurde…

J’ai même tenté les œufs de cochon

J’ai fini par lui poser la question franchement,

et c’était fini, il avait quitté mon délire, impossible  de jouer davantage….

Je me suis aussi amusé à poser des questions sur la connaissance des relations familiales. Et c’est assez facile de piéger GPT3

Impossible d’avoir un “je ne sais pas”. Ici, il va prendre le seule prénom féminin qui ait été mentionné… Bref, il n’y a aucune représentation de ce qu’une famille peut être, ce qui sera une étape indispensable pour que l’outil fonctionne bien.

Readings

The Bullshit Society

Leave a comment

(this article was intially written in French, La société du bullshit)

In 1986, the philosopher Harry Frankfurt defined the concept of “bullshit” by giving it a very precise meaning, sometimes translated into French as “baratin“, for “smooth talk” or “flannel”. A bullshitter is not a liar (who is aware of deceiving), he is just totally indifferent to the truth, which makes him almost even more dangerous (“bullshit is a greater enemy of the truth than lies are“). Bullshitters have an opinion about anything and everything, so they talk a lot about things they know almost nothing about. And the fascination of these last months around conversational agents (like GPT-3 or ChatGPT1), these algorithms born to chatter, can only question us.

ChatGPT or text completion

A Large Language Model (LLM) is a natural language processing model that uses a large amount of textual data to learn to predict the next words and sentences in a given text. These models are trained on large data sets, such as text corpora from various sources, such as books, newspaper articles, web pages. GPT-32 is one such model, containing 175 billion parameters (120 times more than GPT-2, launched a year earlier) distributed in a 96-layer neural network, with a contextual memory of 2048 tokens (or “lexemes“)3, and vectorizing in a 12288 dimensional space (I refer to Wolfram (2023) for more technical details on how ChatGPT works). This gibberish4 means that when typing some words, the algorithm first transposes them into a (vector) space giving them context, we will speak of word embedding. The best known of these algorithms is probably Word2vec5, by Mikolov (2013), which is based on the idea (stated in the 1950s) that words appearing in similar contexts have related meanings. We can then introduce a geometry into this latent space, which will allow us to interpret the fact that the vector connecting man and king is parallel to the vector connecting woman and queen, which we will sometimes write as king – man + woman = queen. Another famous example is Paris – France + Spain = Madrid, in other words Paris is to France what Madrid is to Spain. This lexical folding is not associated with an understanding of geopolitics, allowing to know that Madrid is indeed the capital of Spain, but simply on concomitances of words in sentences, used to train the algorithm. The quality of the texts used will then be important, and this logic allows to explain that the algorithm will reproduce biases observed in the texts, and will seem racist, or sexist. Here again, a well-known example is surgeon – man + woman = nurse.

Second, this model is a generative text completion tool, meaning that when it sees a succession of words, it will try to predict words that might follow, listing the most likely words, and then choosing. On GPT-3, the “temperature” parameter introduces randomness, by asking it not to necessarily always choose the most probable sequence, but allowing it a little randomness (which could be associated with a form of poetry or creativity). It is important to remember, as Li (2023) explains, that from a philosophical as well as a mathematical point of view, it is fundamentally impossible for models trained to guess the next word to learn the meanings of the language and that their performance is only the result of memorizing statistics and correlations that do not reflect a causal model of the process generating the sequence. To illustrate, let us imagine an algorithm trained on a single text, the Bible. If I ask it to complete the sentence “In the beginning was…”, the logical sequence for the algorithm will be “the word“, and “Let there be…” will be followed by “light” (while it will probably be “rock” if the training corpus was my music playlist). Here, the amount of text used to train the algorithm is astronomical. For example, on GPT-3, I can ask it to continue the beginning of a sentence:

The answer depends, among other things, on the number of terms that are asked. The sentences are coherent and grammatically correct, showing that GPT-3 has “formal linguistic competence”, as cognitive scientists would say. But it has no “functional linguistic competence”, i.e. it has no reasoning ability. In other words, GPT-3 behaves exactly like the operator locked in John Searle’s “Chinese room”, the thought experiment analyzed by Cole (2004). However, it can perform calculations, for example calculate an integral

or, when asking for more details

Indeed\int_{0}^{\pi/2}\cos(x)dx=\big[\sin(x)\big]_0^{\pi/2}=\sin({\pi/2})-\sin(0)=1-0=1.One can ask him to explain a little more. And the results are then astonishing, with formal calculations right, but wrong numerically

But sometimes, it is… weird (or like grading a student who did not quite understand the course)

I can’t help displaying others, just to illustrate how wrong it can go

or again, correct answer, but we hear about “the area of a triangle”

or (with a multiplication gone wild)

We also have integration by parts

It is clear that the creative power of the algorithm is impressive

illustration by Sir John Tenniel, 1869 (Alice in Wonderland)

I can try to add an information, like I know mathematics (as a colleague said, “if you ask it to solve problems at your level, ask it to put itself at your level“)

Here again, we can get crazy things

One gets the impression that GPT-3 has made Lewis Carroll’s phrase6 its own, “But then,” says Alice, “if the world makes absolutely no sense, what’s to stop us inventing one?” We can also ask her for more… “personal” information, for example

then, by asking the question again,

We can ask the question again indefinitely, and have fun with the answers… but we have to admit that this is typically a bullshitter’s answer, because it is difficult to imagine that an algorithm has a favorite city. One could almost say that it is creative, even if it was content to search, in the whole corpus used to train it, for a logical answer, or rather a plausible sequence of terms to follow up on my request. One could almost stop here, and think back to all those books written about technology and the robotization of society, which claimed that robots would do the manual work, and humans the creative work. It’s 2023, and while GPT-3 is inventing favorite cities (he might even answer me in alexandrines), I still have to empty the dishwasher and to vacuum.

In the introduction, we mention that GPT-3 had no awareness of what the truth might be, he just makes conversation with us. We can tell him that he is wrong (even if he isn’t), and he will obediently agree

GPT-3 is thus an authentic producer of bullshit, as Frankfurt (1986) asserted. Worse, it can make statements that leave no room for doubt. For example

But would we prefer to read at the end of the sentence “but I have doubts“, which will almost complete the process of making him human7 ? This ambivalence is reinforced by a surprising feature of GPT-3 (and it is also the case of ChatGPT), with words that reveal themselves one after the other8.

“When I write, do I really know what I want to write? Doesn’t the text reveal itself to itself as it formulates itself?” claimed Jacques Derrida in a lecture at Cornell in the novel Binet (2015). This is what we see when we ask GPT-3 a question, reinforcing the belief that behind the algorithm would almost be a human9.

The Turkish automaton and the parrots

We all know the mechanical Turk or the chess-playing automaton, this so-called life-size automaton, wearing a turban, which had the ability to play chess at the end of the 18th century, whose legendary story is told in Standage (2003).

illustration, drawing by W. de Kempelen and print by J. G. Pintz, 1783

This story is almost the opposite of ChatGPT’s, with here a man pretending to be a machine, whereas with conversational algorithms, it is algorithms that have almost convinced themselves that they think like people, that they can write original works. But if we open the machine, we won’t find anyone. Yet we would like to believe it, because we are all very good at personifying anything that seems to act like a human. As Mahowald & Ivanova (2022) wrote, we have a “persistent tendency to associate fluent expression with fluent thought, it is natural – but potentially misleading – to think that if an AI model can express itself fluently, that means it thinks and feels just like humans do“. It will be remembered that Joseph Weizenbaum, who developed ELIZA in the 1960s, one of the first conversational algorithms, wrote a book to warn people against anthropomorphizing computer programs, reminding them that his tools had no understanding of the world, but just relied on a few repetitive tricks based on keywords identified by the researchers.

ChatGPT has no understanding and no intention, it just answers us, because it has been programmed to do so. “We never talk to say nothing” says Viktorovitch (2021). But ChatGPT talks to us, while it literally has nothing to say to us, it is a simple random generator of words. Or as Bender et al. (2021) presented it, a “stochastic parrot”. The paper caused quite a stir at the time, as nine days before the paper was accepted for the conference, and published, Timnit Gebru, co-author of the paper, was fired from her position as co-director of the Google ethics team after refusing to remove her name from the paper (Margaret Mitchell, also author, was fired two months later). This context unfortunately overshadowed the significance of the paper, which warned about the dangers of large language models (the full title is “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?“). And to continue the avian metaphor, we can remember the anecdote told by the physicist Richard Feynman in 1966, when he was talking with his father as a child: “See that bird? It’s a brown-throated thrush, but in Germany it’s called a halsenflugel, and in Chinese they call it a chung ling and even if you know all those names for it, you still know nothing about the bird – you only know something about people; what they call that bird. Now that thrush sings, and teaches its young to fly, and flies so many miles away during the summer across the country, and nobody knows how it finds its way,” and so forth. There is a difference between the name of the thing and what goes on. In other words, there is a profound difference between saying and naming things, and actually understanding them. And the exponential explosion of the complexity and size of these algorithms will not change anything10. Even if GPT-4 contains a thousand times more parameters, the algorithm will not be “a thousand times smarter“, it will just be a better mirror of our intelligence, and of our stupidity, maybe only in an even more convincing way.

Bullshit, churn and risk

As Klein (2023) wrote, with GPT, “the cost of producing “bullshit” has gone to zero“. These algorithms are bullshitters, and this is not a flaw that subsequent versions will correct, it is a characteristic of these models. In 2020, as quoted by Marcus & Davis (2020), the researcher Douglas Summers-Stay stated “GPT is odd because it doesn’t ‘care’ about getting the right answer to a question you put to it. It’s more like an improv actor who is totally dedicated to their craft, never breaks character, and has never left home but only read about the world in books. Like such an actor, when it doesn’t know something, it will just fake it. You wouldn’t trust an improv actor playing a doctor to give you medical advice.” And it’s important to keep this characteristic in mind when imagining the possible uses of these discussion generators. And OpenIA’s competitors are responding, with Google having launched Google Bard a few weeks ago, this multiplication of the offer suggesting that there is a massive demand for this kind of tool.

The “reasoning” powers of the model are at best superficial, but more likely non-existent. As Mielczareck (2021) argues, “if bullshitters are ever more numerous, it is also because they respond to the injunctions of their time.” Again, it is important to keep in mind Frankfurt’s (2009) assertion, “bullshit is a greater enemy of the truth than lies are“, bullshitters are far more dangerous than liars. The “bullshitter” is the one who is caught with his hand in the jam jar, who looks at you with a smile and tells you that it’s not him, while continuing to stuff himself. And who could tweet “whatever” or “who cares”.

As we have seen, blindly trusting GPT-3 and blindly following him in his hallucinations11 can only be done by putting one’s critical sense on hold. So what is ChatGPT for? It is important to keep in mind that the algorithm is developed by OpenAI, a company12 whose official purpose is “to ensure that artificial general intelligence benefits all of humanity”, but which also intends to take advantage of this media hype to make money. Etymologically, the word “bullshit” was used in thieves’ slang to refer to the empty wallet that replaces the full one that has just been stolen so that the victim does not realize it. At the beginning of the 20th century, the word was used to describe the bluff of a businessman, a courtier or a sycophant.

The irony is that ChatGPT is probably close to this concept, the seductive vision of “artificial intelligence” is, for many, the promise that a sufficiently powerful technology will be able to replace human workers or, more importantly, will be able to precarity and undermine them. For there is a political message in this technology. The constant injunction to learn to live with these tools, which are here to stay and which we just have to learn to live with is frightening. As we have seen, it is important to distinguish what would be a temporary flaw from a profound characteristic, because these kinds of tools will never be more than a “stochastic parrot”. And in order to seriously quantify the risks, one should imagine the possible uses of this tool. For example, if one wishes to use a large language model to answer health questions, the accuracy and reliability of the answers is probably essential. Note the alert issued by researchers at cp<r> who had spotted that some recent cyberattacks had been possible thanks to GPT-3.

In June 2021, the Github platform launched Github Copilot, to generate code. For example “write a python code that, from a sentence, will return the same sentence by putting all the words in reverse order“, or other more complicated (and more useful) codes. To train such a code generation model, the algorithm learned from millions of codes, found online on dedicated sites. And very often, the algorithm copies a code found elsewhere, looking more like a search engine than a code generator. This is actually more efficient, because inventing a code from scratch has little chance that it will actually work when compiled. And unfortunately, several codes returned by the algorithm were protected by copyright, and several lawsuits are pending. Wikipedia constantly cites its sources, as Charpentier (2018) mentioned, but not GPT-3, which simply plagiarizes its training data. Should we be admiring, and assert, as Pablo Picasso13 (or Banksy) would have said, “the bad artists imitate; the great artists steal.” Gary Marcus had spoken of “pastiche” to describe ChatGPT. In its original sense, a pastiche is a forgery, and one can indeed question what this algorithm is really doing.

As mentioned earlier, one advance between GPT-3 and ChatGPT may be an intermediate layer for receiving human instructions14 to improve the algorithm, achieved by RLHF, Reinforcement Learning through Human Feedback. Perrigo (2023) recounts how OpenIA had gone through the company Sama, which employed staff in Kenya to analyze samples of writing identified as potentially “sensitive” (talking about murder, suicide, torture, incest, etc) in order to flag this content to the algorithm to avoid writing similar texts, to avoid producing hateful or pornographic content. The psychic impact on these workers (paid $2 per hour) was such that the contract between Sama and OpenIA was broken. The irony is that in the end the language-generating algorithms are not a Turkish automaton, they are not human, and to make them look “harmless”, their creators had to dehumanize real humans.

References

Anderson, C. (2008). The end of theory: The data deluge makes the scientific method obsolete. Wired magazine, 16(7), 16-07.

Bender, E., Gebru, T., McMillan-Major, A. & Shmitchell, S. (2021) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, FAccT ’21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency,‎ mars 2021, p. 610–623

Binet, L. (2015). La septième fonction du langage. Grasset.

Charpentier, A. (2018) Fake news, Wikipedia et Blockchain : Vérité et Consensus. Risques.

Chomsky, N. (2002). On nature and language. Cambridge University Press.

Cole, D. (2004), “The Chinese Room Argument”, The Stanford Encyclopedia of Philosophy

Frankfurt, H. G. (2009). On bullshit. Princeton University Press.

Grice, H. P. (1975). Logic and conversation. In Speech acts (pp. 41-58). Brill.

Klein, E. (2023). A Skeptical Take on the A.I. Revolution: The A.I. expert Gary Marcus asks: What if ChatGPT isn’t as intelligent as it seems?. New York Times, 6 janvier

Li, K. (2023). Do Large Language Models learn world models or just surface statistics?. The Gradient,

Mahowald, K. & Ivanova, A. (2022) Google’s powerful AI spotlights a human cognitive glitch: Mistaking fluent speech for fluent thought. The Conversation, 24 juin.

Marantz, (2023). “It’s Not Possible for Me to Feel or Be Creepy”: An Interview with ChatGPT. The NewYorker,

Marcus, G., & Davis, E. (2020). GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about. Technology Review.

Marcus, G. (2022) How come GPT can seem so brilliant one minute and so breathtakingly dumb the next?  garymarcus.substack.com

McCulloch, B. (2023) The risks of Large Language Models (such as ChatGPT). Vux.

Mielczareck, É. (2021). Anti Bullshit: Post-vérité, nudge, storytelling: quand les mots n’ont plus de sens (et comment y remédier). Editions Eyrolles

Mikolov, T. (2013) Efficient Estimation of Word Representations in Vector Space, Arxiv.

Perrigo, B. (2023). Exclusive: OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic. Times, 18 Janvier 2023

Standage, T. (2003). The Mechanical Turk : The True Story of the Chess Playing Machine That Fooled the World. Penguin Book.

Viktorovitch, V. (2021). Le pouvoir rhétorique. Seuil.

Weizenbaum, J. (1966). ELIZA — a computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36-45.

Weizenbaum, J. (1976). Computer Power and Human Reason: From Judgment To Calculation, traduit en Puissance de l’Ordinateur et Raison de l’Homme – du Jugement au Calcul 1981, Ed. d’informatique.

Woldfram, S. (2023). What Is ChatGPT Doing … and Why Does It Work?

1. ChatGPT (Generative Pre-trained Transformer) is based on GPT-3 (Generative Pre-trained Transformer 3) from OpenIA, released in 2020.
2. More precisely text-davinci-003, with a “temperature” of 1 (in order to increase the randomness and to have new answers by asking the same question)
3. We won’t come back to this aspect, but this contextual memory allows the algorithm to attach a specific word to a pronoun, provided that it has not been mentioned too far in the text.
4. GPT-3 is a marvel of engineering, due to its impressive scale, almost giving reason to Anderson (2008), who evoked the end of theory, the victory of engineers over fundamental researchers.
5. We can mention BERT or Transformer, developed a few years later.
6. Unfortunately this alleged quote does not seem to appear anywhere in Lewis Carroll’s work. After all, as GPT-3 would say, if the quotation absolutely does not exist, what’s stopping us from inventing it?
7. Can we expect to read anything other than “I have doubts”, the algorithm having no awareness of what the truth might be?
8. It is also surprising that if the succession of words is so slow, there are not more errors, especially when a calculation is made. If answer 2 is given for the integral calculation, and then justified, he agrees that the final answer does indeed correspond to the first answer given.
9. However, when asked, the algorithm always answers that it is not human. This avoids reliving one of the first scenes of the television dystopia Westworld, where a man asking an android “Are you real?” is answered “If you can’t tell, does it matter?

10. Even if for many computer science researchers, “there’s no data like more data”, in other words “nothing is worth more data” if the model is not good enough (thus embracing Anderson’s (2008) assertion).
11. Hallucinations are a psychic phenomenon in which a waking subject experiences perceptions or sensations without any external object giving rise to them. This disconnection from reality is reminiscent of the behavior of this algorithm.
12. Many researchers have pointed out the irony of the name for a company that is not very open and transparent, much more eager to offer a platform to “democratize” the tool than to allow trusted third parties (academics) to better understand how the tool works.
13. In the Bristol museum there is a stone engraved with the Pablo Picasso quote “Bad artists imitate, great artists steal”, where Banksy has crossed out Picasso’s name to put his own.
14. This previous model is InstructGPT, “a more truthful and less toxic GPT-3.”

Publications

La société du bullshit

Leave a comment

En 1986, le philosophe Harry Frankfurt définissait le concept de “bullshit” en lui donnant un sens bien précis, traduit parfois en français sous le nom de “baratin”. Un baratineur n’est pas un menteur (qui est conscient de tromper), il est juste totalement indifférent à la vérité, ce qui le rend presque plus dangereux encore (“bullshit is a greater enemy of the truth than lies are”). Les baratineurs ont une opinion sur tout et n’importe quoi, ils parlent donc abondamment de choses dont ils ne savent pratiquement rien. Et la fascination de ces derniers mois autour des agents conversationnels (comme GPT-3 ou ChatGPT1),ces algorithmes nés pour baratiner, ne peut que nous interpeller.

ChatGPT ou la complétion de texte

Un modèle de langue de grande taille (LLM, Large Language Model) est un modèle de traitement de langage naturel qui utilise un grand nombre de données textuelles pour apprendre à prédire les mots et les phrases suivants dans un texte donné. Ces modèles sont entraînés à partir de vastes ensembles de données, tels que des corpus de textes de diverses sources, tels que des livres, des articles de presse, des pages Web. GPT-32 est un de ces modèles, contenant 175 milliards de paramètres (120 fois plus que GPT-2, lancé un an auparavant) répartis dans un réseau de neurones à 96 couches, avec une mémoire contextuelle de 2048 tokens (ou lexème)3, et vectorisant dans un espace en dimension 12288 (je renvoie à Wolfram (2023) pour davantage de détails techniques sur le fonctionnement de ChatGPT). Ce charabia4 signifie qu’en tapant quelques mots, l’algorithme les transpose tout d’abord dans un espace (vectoriel) leur donnant du contexte, on parlera de plongement lexical (word embedding). Le plus connu de ces algorithmes est probablement Word2vec5, de Mikolov (2013), qui repose sur l’idée (énoncée dans les années 1950) que les mots apparaissant dans des contextes similaires ont des significations apparentées. On peut alors introduire une géométrie dans cet espace latent, qui permettra d’interpréter le fait que le vecteur reliant homme et roi est parallèle au vecteur reliant femme et reine, que l’on écrira parfois sous la forme roi – homme + femme = reine. Un autre exemple célèbre est Paris – France + Espagne = Madrid, autrement dit Paris est à la France ce que Madrid est à l’Espagne. Ce plongement lexical n’est pas associé à une compréhension de la géopolitique, permettant de savoir qu’effectivement Madrid est la capitale de l’Espagne, mais simplement sur des concomitances de mots dans des phrases, utilisées pour entraîner l’algorithme. La qualité des textes utilisés sera alors importante, et cette logique permet d’expliquer que l’algorithme reproduira des biais observés dans les textes, et semblera raciste, ou sexiste. Là encore, un exemple connu est chirurgien – homme + femme = infirmière.

Ensuite, ce modèle est un outil génératif de complétion de texte, c’est-à-dire qu’en voyant une succession de mots, il va essayer de prédire des mots qui pourraient suivre, listant les mots les plus probables, puis en choisissant. Sur GPT-3, le paramètre dit de “température” permet d’introduire de l’aléa, en lui demandant de ne pas forcément toujours retenir la suite la plus probable, mais lui autorisant un peu d’aléa (qu’on pourrait pourrait associer à une forme de poésie ou de créativité). Il est important de retenir, comme l’explique Li (2023), que tant d’un point de vue philosophique que mathématique, il est fondamentalement impossible pour les modèles entraînés à deviner le mot suivant d’apprendre les significations du langage et que leurs performances ne sont que le résultat de la mémorisation de statistiques, de corrélations qui ne reflètent pas un modèle causal du processus générant la séquence. Pour illustrer, imaginons un algorithme entraîné sur un seul texte, la Bible. Si je lui demande de compléter la phrase “au commencement était…”, la suite logique pour l’algorithme sera au choix “le verbe” ou “la parole”. Ici, la quantité de textes utilisés pour entraîner l’algorithme est astronomique. Par exemple, sur GPT-35, je peux lui demander de continuer un début de phrase :

La réponse dépend, entre autres, du nombre de termes que l’on demande. Les phrases sont cohérentes et grammaticalement justes, montrant que GPT-3 a une “compétence linguistique formelle”, comme le diraient les chercheurs en sciences cognitives. Mais il n’a aucune “compétence linguistique fonctionnelle”, c’est-à-dire qu’il n’a aucune capacité de raisonnement. Autrement dit, GPT-3 se comporte exactement comme l’opérateur enfermé dans la “chambre chinoise” de John Searle, cette expérience de pensée analysée par Cole (2004). Pourtant, il peut effectuer des calculs, par exemple calculer une intégrale

ou

En effet \int_{0}^{\pi/2}\cos(x)dx=\big[\sin(x)\big]_0^{\pi/2}=\sin({\pi/2})-\sin(0)=1-0=1.

On peut lui demander d’expliquer un peu plus. Et les résultats sont alors étonnants, avec des calculs formels juste, mais faux numériquement

ou au contraire, un résultat numérique correct, mais pas sur sa justification,

Je ne peux m’empêcher d’en afficher d’autres

ou encore

Force est de constater que la puissance créatrice de l’algorithme est impressionnante

illustration de Sir John Tenniel, 1869 (Alice au Pays des Merveilles)

Je peux tenter de rajouter une information, comme quoi je connais les mathématiques (comme l’affirmait un collègue, “si vous lui demandez de résoudre des problème de votre niveau, demandez-lui de se mettre à votre niveau“)

mais là encore, on peut obtenu des choses insensées

Je vais finir ce calcul intégral avec cette réponse, digne d’une copie d’étudiant qui tente de nous impressionner

On peut aussi poser des petites devinettes, voir s’il sait y répondre

mais manifestement non

Un calcul rapide montre que cela n’a aucun sens, et que l’algorithme a su faire preuve de créativité. On a l’impression que GPT-3 a fait sienne la phrase de Lewis Carroll6, “Mais alors, dit Alice, si le monde n’a absolument aucun sens, qui nous empêche d’en inventer un ?” On peut aussi lui demander des informations plus… “personnelles”, par exemple

puis en reposant la question, on se demande si ce n’est pas un autre opérateur qui répond

On peut reposer la question indéfiniment, et s’amuser des réponses… mais force est d’admettre qu’il s’agit typiquement d’une réponse de baratineur, car il est difficile d’imaginer qu’un algorithme ait une ville préférée. On pourrait presque dire qu’il est créatif, même s’il s’est contenté de chercher, dans l’ensemble du corpus utilisé pour l’entrainer, une réponse logique, ou plutôt une suite vraisemblable de termes pour faire suite à ma requête. On pourrait presque s’arrêter là, et repenser à tous ces livres écrits sur la technologie et la robotisation de la société, qui affirmaient que les robots feraient les travaux manuels, et les humains les travaux créatifs. On est en 2023, et pendant que GPT3 s’invente des villes préférées (il pourrait même me répondre en alexandrins), je dois toujours vider le lave-vaisselle et passer l’aspirateur.

En introduction, nous mentionnons que GPT-3 n’avait aucune conscience de ce que peut être la vérité, il se contente de nous faire la conversation. On peut ainsi lui dire qu’il se trompe (même si ce n’est pas le cas), et docilement, il acquiescera

GPT-3 est ainsi authentiquement un producteur de bullshit comme l’affirmait Frankfurt (1986). Pire, il peut enchaîner des affirmations qui ne laissent planer aucun doute. Par exemple

Mais préférerait-on lire à la fin de la phrase “mais j’ai des doutes”, ce qui achèvera presque de le rendre humain7 ? Cette ambivalence est d’ailleurs renforcée par une caractéristique surprenante de GPT-3 (et c’est aussi le cas de ChatGPT), avec des mots qui se dévoilent les uns après les autres8.

“Lorsque j’écris, est-ce que je sais vraiment ce que je veux écrire ? Est-ce que le texte ne se dévoile pas à lui-même au fur et à mesure qu’il se formule ?” affirmait Jacques Derrida dans une conférence à Cornell dans le roman Binet (2015). C’est ce que l’on voit lorsqu’on pose une question à GPT-3, ce qui renforce la croyance que derrière l’algorithme se cacherait presque un humain9.

L’automate turc et les perroquets

On connait tous le Turc mécanique ou l’automate joueur d’échecs, ce prétendu automate grandeur nature, coiffé d’un turban, qui avait la faculté de jouer aux échecs, à la fin du XVIIIème siècle, dont l’histoire légendaire est racontée dans Standage (2003).

illustration, dessin de W. de Kempelen et estampe de J. G. Pintz, 1783

Cette histoire est presque le contraire de celle de ChatGPT, avec ici un homme qui se fait passer pour une machine, alors qu’avec les algorithmes conversationnels, ce sont des algorithmes qui ont presque convaincu qu’ils pensaient comme des personnes, qu’ils pouvaient écrire des œuvres originales. Mais si on ouvre la machine, on ne trouvera personne. Pourtant, nous voudrions y croire, car nous sommes tous très doués pour personnifier tout ce qui semble agir comme un humain. Comme l’écrivait Mahowald & Ivanova (2022) nous avons une “persistent tendency to associate fluent expression with fluent thought, it is natural – but potentially misleading – to think that if an AI model can express itself fluently, that means it thinks and feels just like humans do”. On se souviendra que Joseph Weizenbaum, qui développa ELIZA dans les années 1960, un des premiers algorithmes conversationnels, a écrit un livre pour mettre en garde les gens contre l’anthropomorphisme des programmes informatiques, rappelant que son outils n’avait aucune compréhension du monde, mais reposait juste sur quelques astuces répétitives basées sur des mots-clés identifiés par les chercheurs.

ChatGPT n’a aucune compréhension et aucune intention, il se contente de nous répondre, parce qu’il a été programmé pour ça. “On ne parle jamais pour ne rien dire” affirme Viktorovitch (2021). Mais ChatGPT nous parle, alors qu’il n’a littéralement rien à nous dire, il s’agit d’un simple générateur aléatoire de mots. Ou comme le présentait Bender et al. (2021) un “stochastic parrot”, un perroquet stochastique. L’article avait suscité beaucoup d’émotion à l’époque, car neuf jours avant que le document ne soit accepté pour la conférence, et publié, Timnit Gebru, co-auteure de l’article, a été licenciée de son poste de co-directrice de l’équipe d’éthique de Google après avoir refusé de retirer son nom du document (Margaret Mitchell, également auteure, a été licencié deux mois plus tard). Ce contexte a malheureusement fait oublier la portée de l’article, qui mettait en garde contre les dangers des modèles de langue de grande taille (le titre complet est “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”). Et pour poursuivre la métaphore aviaire, on peut se souvenir de l’anecdote racontée par le physicien Richard Feynman en 1966, lorsqu’il discutait avec son père, enfant : “See that bird? It’s a brown-throated thrush, but in Germany it’s called a halsenflugel, and in Chinese they call it a chung ling and even if you know all those names for it, you still know nothing about the bird — you only know something about people; what they call that bird. Now that thrush sings, and teaches its young to fly, and flies so many miles away during the summer across the country, and nobody knows how it finds its way,” and so forth. There is a difference between the name of the thing and what goes on”. Autrement dit, il y a une différence profonde entre dire et nommer des choses, et réellement les comprendre. Et l’explosion exponentielle de la complexité et de la taille de ces algorithmes ne changera rien10. Même si GPT-4 contient mille fois plus de paramètres, l’algorithme ne sera pas “mille fois plus intelligent”, il sera juste un meilleur miroir de notre intelligence, et de notre bêtise, peut-être seulement de manière encore plus convaincante.

Le “bullshit”, le baratinage et les risques

Comme Klein (2023) l’a écrit, avec GPT, “the cost of producing “bullshit” has gone to zero”. Ces algorithmes sont des baratineurs, et ce n’est pas un défaut que les versions suivantes corrigeront, c’est une caractéristique de ces modèles. En 2020, comme le cite Marcus & Davis (2020), le chercheur Douglas Summers-Stay affirmait “GPT is odd because it doesn’t ‘care’ about getting the right answer to a question you put to it. It’s more like an improv actor who is totally dedicated to their craft, never breaks character, and has never left home but only read about the world in books. Like such an actor, when it doesn’t know something, it will just fake it. You wouldn’t trust an improv actor playing a doctor to give you medical advice.” Et il est important de garder cette caractéristique en tête quand on imagine les utilisations possibles de ces générateurs de discussions. Et les concurrents d’OpenIA répondent présent, Google ayant lancé Google Bard voilà quelques semaines, cette multiplication de l’offre laissant penser qu’il existerait une demande massive pour ce genre d’outils.

Les pouvoirs de “raisonnement” du modèle sont au mieux superficiels, mais plus vraisemblablement inexistants. Comme l’affirme Mielczareck (2021), “si les « bullshitters » sont toujours plus nombreux, c’est aussi qu’ils répondent aux injonctions de leur époque”. Encore une fois, il est important de garder en tête l’affirmation de Frankfurt (2009), “bullshit is a greater enemy of the truth than lies are”, les “bullshitters” sont bien plus dangereux que les menteurs. Le “bullshitter”, c’est celui qui est pris la main dans le pot de confiture, qui vous regarde en souriant en vous disant que ce n’est pas lui, tout en continuant à se goinfrer. Et qui pourrait au passage tweeter « what ever » ou « who cares »

On l’a vu, faire confiance aveuglément à GPT-3 et le suivre aveuglément dans ses hallucinations11 ne peut se faire qu’en mettant son sens critique en veille. Alors à quoi sert ChatGPT ? Il est important de garder en tête que l’algorithme est développé par OpenAI, cette société12 dont la finalité officielle est “to ensure that artificial general intelligence benefits all of humanity”, mais qui compte aussi bien profiter de ce battage médiatique pour gagner de l’argent.  Étymologiquement, le mot “baratin” désignait, dans l’argot des voleurs, le portefeuille vide qui remplace celui, bien plein, que l’on vient de voler pour que la victime ne s’en rende pas compte. Au début du XXème siècle, le mot désignait  le bluff d’un homme d’affaires, d’un courtisan, d’un flagorneur. L’ironie est que ChatGPT est probablement proche de ce concept, la vision séduisante de l’“intelligence artificielle” est, pour beaucoup, la promesse qu’une technologie suffisamment performante pourra remplacer les travailleurs humains ou, plus important encore, pourra les précariser et les affaiblir. Car il y a un message politique dans cette technologie. L’injonction permanente à apprendre à vivre avec ces outils, qui sont là pour rester et que nous devons juste apprendre à vivre avec est effrayante. On l’a vu, il est important de distinguer ce qui serait un défaut temporaire d’une caractéristique profonde, car ce genre d’outils ne sera jamais plus qu’un “perroquet stochastique”. Et pour quantifier sérieusement les risques, il convient d’imaginer les utilisations possibles de cet outil. Par exemple, si on souhaite utiliser un modèle de langue de grande taille pour répondre à des questions de santé, l’exactitude et la fiabilité des réponses est probablement essentiel. On notera l’alerte lancée par des chercheurs de cp<r> qui avait repéré que certaines cyberattaques récentes avaient été possible grâce à GPT-3.

En juin 2021, la plateforme Github a lancé Github Copilot, afin de générer du code. Par exemple “écris un code python qui, à partir d’une phrase, va renvoyer la même phrase en mettant tous les mots en ordre inverse”, ou d’autres codes plus compliqués (et plus utiles). Pour entraîner un tel modèle de génération de code, l’algorithme a appris sur des millions de codes, trouvés en ligne sur des sites dédiés. Et bien souvent, l’algorithme recopie un code trouvé ailleurs, s’apparentant davantage à un moteur de recherche qu’à un générateur de codes. Ce qui est effectivement plus efficace, car inventer un code intégralement a peu de chances pour que ce dernier fonctionne effectivement lorsqu’on le compilera. Et malheureusement, plusieurs codes renvoyés par l’algorithme étaient protégés par le droit d’auteur, et plusieurs procès sont en cours. Wikipedia cite sans cesse ses sources, comme le mentionnait Charpentier (2018), mais pas GPT-3 qui se contente de plagier ses données d’apprentissage. Faut-il être admiratif, et affirmer, comme l’aurait dit Pablo Picasso13 (ou Banksy), “the bad artists imitate; the great artists steal.” Gary Marcus avait parlé de “pastiche” pour décrire ChatGPT. Dans son sens premier, un pastiche est une contrefaçon, et on peut effectivement s’interroger sur ce que fait réellement cet algorithme.

Comme nous l’avons mentionné auparavant, une avancé entre GPT-3 et ChatGPT est peut être une couche intermédiaire permettant de recevoir des instructions humaines14 pour améliorer l’algorithme, obtenue par RLHF, Reinforcement Learning through Human Feedback. Perrigo (2023) raconte comme OpenIA était passé par la société Sama, qui employait du personnel au Kenya pour analyser des échantillons d’écrits identifiés comme potentiellement “sensibles” (parlant de meurtres, de suicide, de tortures, d’incestes, etc) afin de signaler ce contenu à l’algorithme afin d’éviter d’écrire des textes similaires, afin d’éviter de produire un contenu haineux ou pornographique. L’impact psychique sur ces travailleurs (payés 2$ de l’heure) était tel que le contrat liant Sama et OpenIA a été rompu. L’ironie est qu’au final les algorithmes générant du langage ne sont pas un automate turc, ils n’ont rien d’humain, et que pour le faire passer pour un humain “inoffensif”, ses créateurs ont dû déshumaniser de vrais humains.

 

Références

Anderson, C. (2008). The end of theory: The data deluge makes the scientific method obsolete. Wired magazine, 16(7), 16-07.

Bender, E., Gebru, T., McMillan-Major, A. & Shmitchell, S. (2021) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, FAccT ’21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency,‎ mars 2021, p. 610–623

Binet, L. (2015). La septième fonction du langage. Grasset.

Charpentier, A. (2018) Fake news, Wikipedia et Blockchain : Vérité et Consensus. Risques.

Chomsky, N. (2002). On nature and language. Cambridge University Press.

Cole, D. (2004), “The Chinese Room Argument”, The Stanford Encyclopedia of Philosophy

Frankfurt, H. G. (2009). On bullshit. Princeton University Press.

Grice, H. P. (1975). Logic and conversation. In Speech acts (pp. 41-58). Brill.

Klein, E. (2023). A Skeptical Take on the A.I. Revolution: The A.I. expert Gary Marcus asks: What if ChatGPT isn’t as intelligent as it seems?. New York Times, 6 janvier

Li, K. (2023). Do Large Language Models learn world models or just surface statistics?. The Gradient,

Mahowald, K. & Ivanova, A. (2022) Google’s powerful AI spotlights a human cognitive glitch: Mistaking fluent speech for fluent thought. The Conversation, 24 juin.

Marantz, (2023). “It’s Not Possible for Me to Feel or Be Creepy”: An Interview with ChatGPT. The NewYorker,

Marcus, G., & Davis, E. (2020). GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about. Technology Review.

Marcus, G. (2022) How come GPT can seem so brilliant one minute and so breathtakingly dumb the next?  garymarcus.substack.com

McCulloch, B. (2023) The risks of Large Language Models (such as ChatGPT). Vux.

Mielczareck, É. (2021). Anti Bullshit: Post-vérité, nudge, storytelling: quand les mots n’ont plus de sens (et comment y remédier). Editions Eyrolles

Mikolov, T. (2013) Efficient Estimation of Word Representations in Vector Space, Arxiv.

Perrigo, B. (2023). Exclusive: OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic. Times, 18 Janvier 2023

Standage, T. (2003). The Mechanical Turk : The True Story of the Chess Playing Machine That Fooled the World. Penguin Book.

Viktorovitch, V. (2021). Le pouvoir rhétorique. Seuil.

Weizenbaum, J. (1966). ELIZA — a computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36-45.

Weizenbaum, J. (1976). Computer Power and Human Reason: From Judgment To Calculation, traduit en Puissance de l’Ordinateur et Raison de l’Homme – du Jugement au Calcul 1981, Ed. d’informatique.

Woldfram, S. (2023). What Is ChatGPT Doing … and Why Does It Work?

Yaguello, M. (2019). Alice au pays du langage-Pour comprendre la linguistique. Média Diffusion.

  1. ChatGPT (Generative Pre-trained Transformer) est basé sur GPT-3 (Generative Pre-trained Transformer 3) d’OpenIA, lancé en 2020.
  2. Plus précisément text-davinci-003, avec une “température” de 1 (afin d’augmenter l’aléa et avoir de nouvelles réponses en reposant la même question)
  3. Nous ne reviendrons pas sur cet aspect, mais cette mémoire contextuelle permet par exemple à l’algorithme de rattacher à un pronom un mot précis, à condition qu’il n’ait pas été évoqué trop loin dans le texte.
  4. GPT-3 est une merveille d’ingénierie, de part son échelle impressionnante, donnant presque raison à Anderson (2008), qui évoquait la fin de la théorie, la victoire des ingénieurs sur les chercheurs fondamentaux.
  5. On peut mentionner BERT ou encore Transformer, développés quelques années plus tard.
  6. Ce qui se traduirait par “But, said Alice, if the world has absolutely no sense, who’s stopping us from inventing one?”, car malheureusement cette prétendue citation ne semble figurer nulle part dans l’oeuvre de Lewis Carroll. Après tout, comme le dirait GPT-3, si la citation n’existe absolument pas, qu’est-ce qui nous empêche de l’inventer ?
  7. Peut-on d’ailleurs s’attendre à lire autre chose que “j’ai des doutes”, l’algorithme n’ayant aucune conscience de ce que peut être la vérité ?
  8. Il est d’ailleurs étonnant que si la succession de mots se dévoile aussi lentement, il n’y ait pas davantage d’erreurs, en particulier lorsqu’un calcul est effectué. Si la réponse 2 est donnée pour le calcul d’intégrale, puis justifiée, il convint que la réponse finale corresponde effectivement avec la première réponse donnée.
  9. Cela dit, quand on lui demande, l’algorithme répond toujours qu’il n’est pas humain. On évite de revivre ainsi une des premières scènes de la dystopie télévisuelle Westworld, où un homme demandant à un androïde “Are you real?” se voit répondre “If you can’t tell, does it matter?”.

10. Même si pour de nombreux chercheurs en informatique, “there’s no data like more data”, autrement dit “rien ne vaut plus de données” si le modèle n’est pas assez bon (embrassant ainsi l’affirmation d’Anderson (2008)).
11. Les hallucinations sont un phénomène psychique par lequel un sujet en état de veille éprouve des perceptions ou des sensations sans qu’aucun objet extérieur les fasse naître. Cette déconnexion avec la réalité n’est pas sans faire penser au comportement de cet algorithme.
12. De nombreux chercheurs ont souligné l’ironie du nom pour une société aussi peu ouverte et transparente, bien plus pressée pour offrir une plateforme pour “démocratiser” l’outil que pour autoriser des tiers de confiance (des universitaires) à mieux comprendre le fonctionnement de l’outil.
13. Au musée de Bristol figure une pierre gravée de la citation de Pablo Picasso “Les mauvais artistes imitent, les grands artistes volent“, où Banksy a rayé le nom de Picasso pour y mettre le sien.
14. Ce modèle précédant est InstructGPT, “a more truthful and less toxic GPT-3”