TECHNIQUE × LANGUES

Les grands modèles de langage

2022

Histoire · Époque contemporaine · Holocène · Méghalayen

Les grands modèles de langage, que ChatGPT a fait entrer dans l'usage courant en novembre 2022, sont des réseaux de neurones entraînés sur d'immenses quantités de texte à prédire le mot suivant.

Les grands modèles de langage sont des réseaux de neurones de l'architecture dite transformeur, entraînés à prédire le mot suivant d'une suite de mots. Le modèle estime, à partir de très grandes quantités de texte, ce qui vient après une séquence donnée, produit un mot, l'ajoute à la séquence et recommence. La capacité de conversation n'est pas une fonction ajoutée : elle résulte de cette prédiction répétée, ce qui explique à la fois la fluidité des énoncés et leur aptitude à affirmer des erreurs avec assurance, phénomène désigné dans la discipline sous le nom d'hallucination. L'ouverture au public de l'agent conversationnel ChatGPT en novembre 2022 a rendu ces systèmes d'usage courant.

Pourquoi c’est important

Les effets mesurés ont suivi de quelques mois. Une expérience randomisée conduite sur 453 professionnels et publiée par Science a relevé une réduction de 40 pour cent du temps consacré à des tâches de rédaction et une amélioration de 18 pour cent de leur qualité, l'écart entre les participants les plus et les moins performants se réduisant. Une étude parue dans PNAS a constaté que les choix d'un de ces modèles dans les jeux comportementaux classiques, portant sur la confiance, l'équité et la coopération, n'étaient pas statistiquement distinguables de ceux d'un être humain tiré au sort, avec un biais altruiste. Alan Turing avait proposé ce critère d'indiscernabilité en 1950, mais pour la conversation et non pour des jeux.

Datation et incertitude

L'ouverture au public date de novembre 2022. Les évaluations économiques portant sur la part des professions concernées sont en cours et leurs résultats divergent.

L’histoire de l’espèce en une journée

23:59:581,1 s avant minuit

si les 315 000 ans d’Homo sapiens étaient ramenés à un seul jour