GPT-3 : la gigantesque intelligence artificielle qui inquiète

L’IA GPT-3 s’est fait connaître à une vitesse folle via des posts viraux sur les réseaux sociaux. Entre hype et anxiété, c’est quoi GPT-3 exactement ? Pourquoi cette IA a surpris autant de dev en particulier ? Ça change quelque chose pour le futur ?

Pour la science

Aujourd’hui, on va discuter d’intelligence artificielle. Et je sais que ce sujet a tendance à énerver beaucoup de monde à une vitesse folle. En particulier les développeurs. Pourtant, pour le moment, l’IA n’est qu’un outil comme les autres.

Je ne vais pas expliquer ce qu’est l’IA ou comment fonctionne un modèle. Je l’ai déjà fait longuement dans un article détaillé. On va tout de suite parler de ce qui déchaîne les passions, générateur de hype ou de crise d’angoisse selon le point de vue, GPT-3 !

L’entreprise derrière cette technologie c’est OpenAI. OpenAI est célèbre pour trois raisons principales.

La première, c’est que l’un des fondateurs est le célèbre Elon Musk. La personne qui a le plus peur de l’intelligence artificielle au monde. L’autre fondateur est Sam Altman dont on va parler plus tard.

La seconde, c’est la raison pour laquelle cette entreprise existe. Le but d’OpenAI est de développer des intelligences artificielles de façon sûr et pérenne pour l’être humain. Musk étant persuadé que l’IA incontrôlée causera la fin de l’humanité, OpenIA sert à donc à promouvoir une façon sûre d’en faire.

La troisième, c’est qu’OpenAI fait fréquemment parler d’elle avec ces impressionnants succès répétés dans son domaine. Notamment les anciens modèles GPT et GPT2. Le dernier étant notre sujet brûlant du jour.

C’est quoi GPT-3 ?

Generative Pretrained Transformer 3 (GPT-3) est un modèle de langage qui utilise l’apprentissage en profondeur (réseau neuronal) pour produire du texte. Pour les non-initiés, je me lance dans une explication très largement simplifiée qui va faire pleurer du sang les spécialistes.

Le principe d’un modèle de langage c’est de regarder une partie d’une phrase et prédire le mot suivant. GPT-3 est une technologie à qui on a fait bouffer une quantité SCANDALEUSE de texte écrit par des humains. Autour de MILLE MILLIARDS de mots via common crawl. En se basant sur ce petit échantillon, elle génère du texte (output) qui fait le plus de sens pour une demande (input).

Concrètement, en apprenant à prédire quelles lettres et quels mots ont tendance à se succéder lorsqu’ils sont écrits par un humain, GPT-3 arrivent à prédire du texte qui fait du sens dans un contexte. C’est le même concept que ton portable qui arrive à prédire le prochain mot quand tu écris un message. Sauf que c’est infiniment plus gros, plus compliqué et plus évolué.

Et jusqu’ici, GPT-3 n’apporte pas grand-chose de nouveau. L’architecture de cette technologie (transformer-based) c’est la même base que la version d’avant (GPT-2). Cette architecture date de presque 3 ans. Alors qu’est ce que GPT-3 a de si spécial ?

Hors-normes

GPT-3 est absolument gigantesque ! GPT-2 était déjà énorme avec pas moins de 1,5 milliard de paramètres. Le précédent record était détenu par Turing-NLG de microsoft avec ces 17 milliards de paramètres. GPT-3 explose tous les records avec un indécent chiffre de 175 milliards de paramètres ! Du jamais vu.

Pour comprendre ce que sont que ces paramètres dans le contexte d’un réseau neuronal, je t’invite une nouvelle fois à la lecture de mon article détaillé sur le fonctionnement de l’intelligence artificielle. J’essaye de garder cet article le plus concis possible.

Qui dit taille hors normes, dit résultats hors normes. GPT-3 est capable de beaucoup trop de choses:

• écrire des poèmes avec le style de certains auteurs
• écrire tes emails avec ton propre style
• écrire des articles de blog sur lui-même
• écrire des articles de blogs numéro un sur hacker news
• écrire des fictions entières, beaucoup de fictions
• même des jeux de fictions interactives infini
• désigner de simple applications
• la liste est sans fin et ça s’allonge tous les jours… si tu veux te faire peur, un site les regroupent.

Et GPT-3 est capable d’autre chose qui a tout de suite inquiété les développeurs. GPT-3 est capable de produire du code. Tu veux une application todo list en ReactJS instantanément ? Y’a qu’à demander.

Elle peut en produire autant qu’elle peut le lire et l’interpréter. Elle peut le faire dans n’importe quel langage. La flemme de faire ton SQL, pas de problème. Du CSS ? Facile. Même ta 3D en Javascript ça se fait. Bref, tout ça pour dire que certaines petites taches facile que font les développeurs peuvent être automatisées par GPT-3.

Évidement, avec tout ça qui explose au même moment sur les Internets, beaucoup se sont posés la question de l’avenir des développeurs. Pour certains c’est carrément le début de la fin.

Quand je vous ai posé la question, je me suis rendu compte qu’il y avait deux camps. Ceux qui n’avaient pas du tout entendu parler de GPT-3, et ceux qui avaient été étonnés !

À l’heure où j’écris ces lignes, OpenAI refuse de donner le code source malgré son objectif de transparence. La raison officielle ? Cette technologie est trop grande et gourmande pour que les gens puissent la faire tourner eux-mêmes. Ils l’ont placée derrière un paywall qui permet à OpenAI de monétiser ses recherches.

Deux mois après la première apparition de GPT-3, la plupart des gens sont d’accord sur une chose. GPT-3 est aussi superbe que surestimé. Et c’est en particulier vrai pour les développeurs.

Overhyped

GPT-3 est super impressionnant. C’est un formidable outil pour faire beaucoup de choses. Mais le truc important à comprendre c’est que GPT-3 ne capte rien au contenu qu’elle crée. Cette technologie fait une prédiction mathématique que certaines lettres devraient apparaître dans un certain ordre.

Le boulot d’un développeur est infiniment plus compliqué. Développer une application complète et qui correspond à un besoin humain demande beaucoup de réflexion. Aucun algorithme n’a la capacité de penser aux problèmes comme le font les humains. Pas de pensée, pas de capacité de raisonnement, pas de chocolat.

En allant plus loin dans la réflexion on se rend compte que GPT-3 est simplement un nouvel outil pour les développeurs. C’est presque un nouveau langage ou l’interface serait directement des explications de ce qui doit être fait en lieu et place du code.

Et c’est assez pertinent de comparer les instructions données à GPT-3 à du code. GPT-3 ne comprend rien aux exigences vagues. GPT3 a besoin d’instruction très précise, chirurgicale, ou alors elle va te produire de la merde. Là où un être humain va traduire, corriger et arranger des demandes vagues, GPT-3 va juste faire n’importe quoi. Voir rien faire du tout.

GPT-3 est la plus grande table de recherche jamais créée. La superintelligence c’est une autre histoire. C’est tout sauf pour aujourd’hui et Sam Altam, le second fondateur d’OpenAI, le dit lui-même.

Et tout ça, sans même parler des nombreuses limitations et bêtises que GPT-3 produit tous les jours. Donc pour le moment, on est peinard. Pour le moment.

Et demain ?

L’année dernière, j’ai posté cet article sur l’avenir des développeurs. Je parle de no-code, low-code, d’informatique quantique et de plein de belles choses. J’avais fait la prédiction folle que d’ici 30 ans (c’est beaucoup) la machine commencera à grignoter certaines parties de notre travail. Pas de remplacement, juste un grignotage de certaines taches, voire de certaines parties.

Je m’étais fait crucifier. Des insultes par mail et sur Twitter, désabonnement et déception en pagaille. J’ai laissé les commentaires tels quels (comme toujours), c’est de toute beauté.

Un an plus tard, GPT-3 fait son apparition et prouve que certaines tâches de développeurs très simples peuvent déjà être déléguées à la machine.

GPT-3 ne peut rien contre le métier de développeur. Mais cette technologie augmente très légèrement la barre de compétences nécessaires pour devenir développeur. Pour faire ce que la machine ne peut pas faire toute seule.

Et si cette barre augmente déjà aujourd’hui, où sera-t-elle dans 30 ans ? Je suis le premier à trouver ridicule les discours qui diabolisent les IAs actuelles. Mais les discours qui parlent d’une IA bête comme ses pieds pour l’éternité me semblent très naïfs. Où sera la barre de compétences nécessaires pour battre la machine dans 30 ans ?

Je suis également bien conscient que la façon dont nous faisons les intelligences artificielles aujourd’hui atteint un plafond. Il faudrait une nouvelle façon innovante de faire de l’intelligence artificielle pour donner du sens à mes inquiétudes. Comment être sûr que ces nouvelles façons de faire ne vont pas émerger dans le futur ?

Épilogue

Pour le moment, l’avenir de la programmation est la programmation. L’intelligence artificielle continue son chemin, mais tant qu’elle ne comprend pas ce qu’elle fait, ça va bien aller. Il faut juste subir le fait qu’elle est capable de choses de plus en plus déstabilisantes. Comment tu peux être sûr que l’article que tu viens de lire n’est pas écrit par une intelligence artificielle ?