Latest / Le centre de gravité / Transformers — Pourquoi l’attention a changé l’IA

Transcript

Transformers — Pourquoi l’attention a changé l’IA · Le centre de gravité

0:00
Épisode Transformers, pourquoi l'attention a changé ?
0:03
L'i, a chapitre un le langage n'est pas une file de mots.
0:08
Une phrase ne se comprend pas seulement en avançant, elle se
0:11
comprend en reliant et c'est peut être là que toute
0:15
l'histoire commence. Comprendre une phrase pour un
0:18
humain paraît presque d'une simplicité insultante.
0:20
On écoute, on lit et le sens vient enfin.
0:23
C'est ce qu'on croit. Parce qu'en réalité, comprendre
0:26
une phrase, c'est faire une quantité absurde de travail
0:28
invisible. Relier un pronom à la bonne
0:30
personne, sentir qu'un mot change de sens selon ce qui
0:33
l'entoure, garder en mémoire quelque chose dit 6 ou 8 mots
0:37
plus tôt pour comprendre ce qui arrive à la fin, comprendre
0:40
bref, c'est naviguer dans une structure, pas seulement dans
0:42
une ligne. Prenez une phrase minuscule, le
0:45
trophée ne rentre pas dans la valise parce qu'il est trop
0:47
grand. Qui est trop grand, le trophée,
0:50
maintenant, changez presque rien.
0:52
Le trophée ne rentre pas dans la valise parce qu'elle est trop
0:54
petite. Cette fois, c'est la valise.
0:56
Les mots ont à peine bougé. Le monde, lui, a changé, et ce
1:00
basculement dit quelque chose d'essentiel, le langage n'est
1:03
pas une simple succession de mots, c'est un système de
1:05
dépendance, un mot pointe vers un autre, un pronom se rattache
1:09
à un nom, un verbe attend son sujet, une ambiguïté se résout
1:13
non pas au mot suivant, mais dans l'architecture entière de
1:16
la phrase. Autrement dit, comprendre ne
1:18
consiste pas seulement à avancer, comprendre consiste à
1:21
relier, et c'est là que les ennuis commencent pour les
1:24
machines, car pendant longtemps. On a essayé de leur apprendre le
1:27
langage comme on ferait défiler un texte sur un tapis roulant,
1:30
un mot, puis le suivant, puis le suivant, avec l'espoir qu'en
1:34
arrivant à la fin, elles se souviennent encore du début.
1:37
C'était logique. Après tout, une phrase arrive
1:40
bien dans un certain ordre, sauf que le sens, lui, n'obéit pas
1:43
toujours à cet ordre. Là, il saute, il revient, il
1:46
dépend d'un détail lointain, il se révèle parfois après coup.
1:50
Une phrase à l'échelle du sens ressemble moins à une file
1:53
indienne qu'à une toile tendue entre des mots qui se répondent.
1:56
Plus simplement, ce n'est pas une route, c'est un réseau.
1:59
Pensez à cette autre phrase, le chat que le voisin de ma sœur a
2:02
recueilli hier soir dormait enfin, le mot important pour
2:05
comprendre dormait, ce n'est ni voisin, ni sœur, ni hier, ni
2:10
soir, c'est chat. Pourtant, entre les 2, la phrase
2:13
a pris son temps, un humain le sent presque sans effort, une
2:17
machine, elle doit apprendre qu'au milieu du bruit, certains
2:20
liens comptent plus que d'autres.
2:21
C'est tout le problème et c'est aussi la clé de toute l'histoire
2:24
qui suit. Parce qu'avant de fabriquer des
2:26
machines qui parlent, qui résument, qui traduisent ou qui
2:29
écrivent du code, il fallait résoudre une question beaucoup
2:32
plus primitive, beaucoup plus difficile aussi, comment sait on
2:36
exactement à quoi il faut prêter attention dans une phrase ?
2:40
Chapitre 2, avant 2017, des machines qui lisaient mot après
2:44
mot pendant longtemps, on a demandé au modèle de retenir la
2:48
phrase en avançant. Le problème, c'est qu'une
2:51
mémoire qui marche pas à pas finit souvent par perdre ce qui
2:54
change. Tout avant les Transformers, le
2:56
langage était déjà un territoire intensément travaillé.
2:59
Les machines n'étaient pas stupides, elles progressaient,
3:01
elles traduisaient mieux, elles complétaient des phrases, elles
3:04
classaient des textes, mais elles le faisaient avec une
3:06
contrainte lourde, presque physique.
3:08
Elles avançaient un mot après l'autre, comme un lecteur
3:10
condamné à marcher tout droit. Les grandes architectures
3:13
dominantes portaient des noms un peu arides, RNN puis LSTM puis
3:16
GRU. Derrière ces acronymes un peu
3:19
secs, il y avait toujours la même intuition générale, à
3:22
chaque nouveau mot, le modèle met à jour un état interne, une
3:25
sorte de mémoire condensée de tout ce qu'il a vu jusque là.
3:28
L'idée est belle, elle est même très humaine en apparence.
3:31
Lire, après tout, c'est bien traverser une phrase dans le
3:33
temps. Sauf qu'en pratique, cette
3:35
mémoire devait faire l'impossible, garder le fil du
3:37
début, intégrer le milieu, préparer la fin, tout ça dans un
3:41
espace limité, comprimé, réécrit à chaque étape, imaginer
3:44
quelqu'un à qui l'on demande de résumer un roman entier sur un
3:47
post it. Puis d'effacer et de réécrire ce
3:49
post it à chaque page. Voilà le problème en beaucoup
3:52
plus mathématique bien sûr, mais le problème tout de même, les
3:55
RNN ont très vite buté sur cette difficulté, plus la séquence
3:58
s'allonge, plus le début s'éloigne, plus le signal
4:01
s'affaiblit. En langage technique, on parle
4:02
de gradients qui s'évanouissent à l'oral.
4:05
On peut le dire autrement, la mémoire se délite.
4:08
Les LSTM, introduits en 1997 par Sepp O'Crayther et Jürgen
4:10
Schmituber. Ont représenté une avancée
4:15
majeure. Ils ajoutaient des portes, des
4:17
mécanismes pour décider quoi garder, quoi oublier, quoi
4:20
laisser passer. C'était intelligent, c'était
4:22
élégant et pendant des années, c'est comme ça qu'on a tenu la
4:25
ligne de front. Mais même avec ses raffinements,
4:27
une limite persistait, le modèle continuait de lire dans l'ordre.
4:31
Il devait toujours porter le passé avec lui au lieu de
4:33
pouvoir y revenir librement. Et ce détail allait devenir
4:36
fatal. Prenez la traduction
4:38
automatique, pendant longtemps, on a utilisé des architectures
4:41
dites séquence, tout séquence. Une première partie lit la
4:44
phrase source et la compresse dans une représentation, puis
4:47
une 2nde partie essaie de produire la phrase cible.
4:50
Le résultat pouvait être impressionnant, mais là encore,
4:53
tout dépendait de la qualité de cette compression.
4:55
Si la phrase était courte, ça passait.
4:57
Si elle s'allongeait, les ennuis commençaient.
5:00
Parce qu'une phrase n'est pas seulement longue, elle est
5:02
hiérarchique. Elle contient des retours, des
5:04
parenthèses, des dépendances lointaines, des points d'appui
5:07
qui reviennent tard. Or, ces architectures
5:09
transportaient tout ça dans une mémoire unique, comme si toute
5:12
la phrase devait survivre dans une valise trop petite.
5:15
En 2014, une première fissure apparaît avec les travaux de
5:18
Dimitri Badano Qiongyuncho et Yoshua Bengio.
5:20
Ils ajoutent un mécanisme d'attention dans les systèmes de
5:23
traduction. L'idée, déjà, est décisive.
5:27
Au lieu de tout compresser une fois pour toutes, le modèle peut
5:29
aller regarder les bons morceaux de la phrase source au moment où
5:32
il en a besoin. C'est une avancée immense, mais
5:35
l'attention reste alors un outil ajouté à une vieille structure.
5:38
Le moteur profond reste séquentiel.
5:40
Le lecteur marche toujours en file indienne.
5:43
Et ce n'était pas seulement un problème de qualité, c'était
5:45
aussi un problème de vitesse. Un modèle qui traite une phrase
5:48
mot après mot se parallélise mal.
5:50
Il doit attendre l'étape précédente pour calculer la
5:53
suivante. Dans un monde où les données
5:55
explosent et où les GPU deviennent les vraies machines
5:57
de guerre de l'i a, cette dépendance séquentielle commence
5:59
à coûter très cher. En d'autres termes, les anciens
6:02
modèles avaient déjà compris quelque chose du langage, mais
6:05
ils le comprenaient dans une position inconfortable, comme
6:07
quelqu'un qui essaierait d'observer une fresque immense à
6:10
travers une fente étroite, en avançant centimètre par
6:13
centimètre. Il voyait quelque chose, mais il
6:16
voyait tard et il voyait mal. Le problème n'était donc pas
6:20
seulement qu'ils oubliaient le problème, c'est qu'ils
6:22
regardaient le langage avec la mauvaise posture, pas le bon
6:25
angle, pas la bonne géométrie. Et un jour, quelqu'un a fini par
6:29
poser la question qui change tout, si le sens dépend des
6:32
relations entre les mots, pourquoi continuer à les traiter
6:34
comme une procession ? Chapitre 3, l'idée simple qui
6:38
change tout, l'attention. Et si le cœur du problème
6:42
n'était pas la mémoire ? Et si comprendre une phrase
6:44
consistait d'abord à savoir où ? Regarder, c'est souvent comme ça
6:47
que les vraies ruptures arrivent pas avec une réponse plus
6:50
compliquée, avec une question mieux posée.
6:52
Et parfois une discipline entière attend cette question
6:55
sans le savoir. Pendant des années, le problème
6:57
avait été formulé ainsi, comment aider une machine à garder en
7:00
mémoire ce qu'elle a déjà lu ? Puis peu à peu, une autre
7:02
formulation s'impose, peut être que la mémoire n'est pas le vrai
7:06
centre du sujet. Peut être que le vrai centre
7:08
c'est la sélection, la capacité à distinguer.
7:10
Dans une phrase, ce qui compte vraiment de ce qui ne compte pas
7:13
maintenant, c'est ça l'attention.
7:15
L'idée est presque embarrassante de simplicité, quand nous
7:18
lisons, nous ne donnons pas le même poids à chaque mot, nous
7:20
balayons une phrase, oui, mais en réalité, nous faisons mieux
7:23
que ça. Nous revenons vers les éléments
7:25
pertinents, un prenons vers son antécédent, un adjectif vers ce
7:28
qu'il qualifie, et parfois un mot banal devient décisif parce
7:31
qu'il change toute la scène. L'attention en I à formalise
7:34
précisément cela à un instant donné, certains morceaux de la
7:37
séquence comptent plus que d'autres, pas en général, pas
7:40
une. Fois pour toutes, maintenant
7:42
pour ce mot ci, dans ce contexte-là, c'est une idée très
7:45
fine parce qu'elle casse une illusion tenace, l'idée que le
7:48
contexte serait une sorte de halo uniforme autour des mots.
7:51
Non, dans une phrase, tout n'éclaire pas tout de la même
7:53
façon, certains liens sont faibles, d'autres sont décisifs.
7:56
Comprendre c'est donner le bon poids au bon endroit.
7:59
Prenez un exemple très simple, Marie a donné le livre à Sophie
8:03
parce qu'elle partait demain, qui part demain ?
8:05
Marie Sophie, nous humains, cherchons immédiatement les
8:08
éléments qui font tenir l'interprétation.
8:10
La Chine doit apprendre elle aussi à distribuer son regard,
8:13
l'attention. On peut l'imaginer comme un
8:15
surligneur mobile, ou mieux, comme un système de projecteur.
8:19
A chaque mot, le modèle éclaire autrement le reste de la phrase,
8:22
quand il traite un pronom, il cherche à quoi ce pronom peut
8:25
renvoyer, quand il traite un verbe, il cherche son sujet, son
8:28
objet, ses compléments, quand il traite un mot ambigu, il cherche
8:31
les indices qui vont stabiliser son sens.
8:33
Le point décisif, c'est que le sens ne naît pas seulement de la
8:36
proximité, il naît de la pertinence et la pertinence, il
8:40
faut la calculer. A ce stade de l'histoire, la
8:42
tension existe déjà dans certains systèmes, notamment en
8:44
traduction, mais elle reste un accessoire brillant accroché sur
8:48
une vieille machine, une aide, une béquille sophistiquée, pas
8:51
encore le centre de gravité. Et pourtant, l'idée contenait
8:54
déjà la révolution toute entière.
8:56
Car si ce qui compte dans une phrase c'est la carte des
8:59
dépendances, alors peut être qu'il faut arrêter d'organiser
9:02
les modèles autour du défilement, peut être qu'il faut
9:04
les organiser autour des relations elles-mêmes.
9:06
Le déplacement paraît subtil, en réalité il est immense, on ne
9:10
passe pas. D'un meilleur réglage à une
9:11
simple amélioration, on passe d'une manière de lire à une
9:14
autre manière de voir. La phrase n'est plus un tunnel,
9:17
elle devient une surface, mieux une géographie.
9:20
Et soudain on ne lit plus, on cartographie.
9:23
Chaque mot n'est plus seulement un point sur une ligne, mais un
9:26
nœud dans un réseau de liens, certains proches, certains
9:28
lointains, certains évidents, certains invisibles au premier
9:31
regard. Et tout à coup, l'ambition
9:33
change, il ne s'agit plus seulement d'avancer.
9:35
Sans oublier, il s'agit de cartographier les relations qui
9:38
donnent son sens à la phrase. À partir de là, la suite devient
9:42
presque inévitable. Si la tension est la vraie clé,
9:44
alors quelqu'un finira bien par proposer de bâtir toute
9:47
l'architecture autour d'elle. Et ce quelqu'un, ce sera Google
9:50
en 2017, avec un titre de papier qui ressemble moins à un article
9:54
scientifique qu'à une déclaration de guerre.
9:57
Chapitre 4200017 attention is all you need. 8 mots, une
10:00
promesse et derrière eux, une décision radicale, retirer la
10:03
vieille charpente et reconstruire l'édifice autour
10:06
d'un seul principe. En juin 2000171 article apparaît
10:10
sur archive. Son titre attention is all you
10:13
need 8 mots. Et dans ces 8 mots, une audace
10:16
presque insolente. Les auteurs, haschich vaswani,
10:18
Noam shazir, Nicky Parmar, Jacob Huskhoret, Lion Jones, Edan
10:22
Gomez, Luka Kaiser et ilia polosukin, travaillent chez
10:25
Google Brain et Google Research. Ils ne disent pas, nous avons
10:28
amélioré tel composant, ils ne disent pas, nous avons ajouté
10:31
une couche utile, ils disent en substance, et si l'attention
10:34
suffisait à elle seule ? Il faut mesurer ce que cela veut
10:38
dire. À l'époque, le langage est
10:39
encore largement dominé par des architectures récurrentes, on
10:42
lit mot après mot, on transporte une mémoire, on raffine, on
10:45
répare le papier de 2017, prend tout ça, regarde la vieille
10:47
mécanique et enlève le moteur. C'est rare.
10:49
Un geste aussi simple et aussi brutal.
10:52
Plus de récurrence, plus de convolution à la place, une
10:55
architecture fondée uniquement sur des mécanismes d'attention.
10:57
Le mot important ici, c'est seulement l'attention n'est plus
11:01
un bonus, elle devient la charpente, le reste s'aligne
11:04
autour d'elle. Dans le résumé du papier, la
11:07
phrase est nette, les modèles dominants de transduction de
11:09
séquences reposent sur des réseaux récurrents ou
11:12
convolutionnelles complexes. Nous proposons une nouvelle
11:14
architecture simple, le transformeur, fondée seulement
11:17
sur l'attention, sans récurrence ni convolution.
11:20
Ce genre de phrase arrive parfois en science, comme un
11:22
bruit sec, elle ne ressemble pas à une explosion, mais
11:25
rétrospectivement, c'en est une. Le chant ne le sait pas encore,
11:28
mais son centre de gravité est en train de bouger.
11:31
Le transformer n'est pas seulement élégant sur le plan
11:33
conceptuel, il arrive aussi au moment exact où l'industrie en a
11:37
besoin, parce qu'en supprimant la dépendance stricte au mot
11:40
précédent, il devient beaucoup plus parallélisable.
11:42
Et ça change tout. Ce n'est plus seulement une
11:45
meilleure idée théorique, c'est une idée faite pour l'époque des
11:47
très gros volumes de données et du calcul massif sur GPU et TPU.
11:51
En d'autres termes, le transformer n'épouse pas
11:53
seulement mieux le langage, il épouse aussi mieux l'économie
11:56
moderne du calcul. C'est une des raisons de sa
11:58
victoire. Les premiers résultats du
12:01
papier, notamment en traduction automatique, frappent vite, mais
12:04
l'essentiel n'est peut être même pas là.
12:06
L'essentiel, c'est que le papier rend soudain pensable un autre
12:09
avenir pour le traitement du langage.
12:11
Il montre qu'on peut représenter une séquence sans la traverser,
12:14
comme une procession, qu'on peut calculer des dépendances
12:16
directement à grande échelle, et qu'en faisant ça, on ouvre la
12:20
voie à autre chose qu'une amélioration locale.
12:22
On ouvre une plate forme, une grammaire générale, c'est
12:25
souvent le signe des papiers vraiment historiques.
12:28
Au moment où ils sortent, ils résolvent un problème précis.
12:31
Quelques années plus tard, on réalise qu'ils avaient surtout
12:33
changé la forme des questions qu'on pouvait poser.
12:36
Cette architecture naît dans la traduction, mais très vite, elle
12:39
déborde, compréhension du langage, génération, résumé,
12:43
recherche, vision, multimodalité.
12:46
En 2017, personne n'entend encore le mot chat GPT, mais le
12:49
sol est en train de bouger sous toute l'i a moderne.
12:52
Le titre, lui, restera. Attention, is all you need.
12:56
On peut l'entendre comme une formule de laboratoire.
12:58
On peut aussi l'entendre comme une intuition plus vaste,
13:00
presque philosophique. Dans le langage, comprendre
13:03
n'est pas d'abord accumuler, c'est savoir quoi regarder très
13:07
bien. Reste alors la vraie question,
13:08
quand on dit qu'un transformeur fait attention, que fait il
13:11
exactement ? Que se passe-t-il concrètement à
13:14
l'intérieur ? Chapitre 5, comment marche un
13:17
transformeur ? Sous le mot, il y a une
13:20
mécanique pas simple mais belle, prendre une phrase.
13:24
La transformer en relation puis recalculer chaque mot à la
13:27
lumière de tous les autres. Il faut maintenant entrer dans
13:30
la machine, pas trop profond, mais assez pour que le mot
13:33
transformé cesse d'être un prestige vague.
13:35
Assez pour qu'il commence à devenir une intuition.
13:37
Le principe général tient en une phrase, un transformeur prend
13:41
une séquence, découpe le texte en unité, transforme ses unités
13:44
en représentation numérique, puis recalcule chacune d'elles à
13:47
la lumière de toutes les autres. C'est ça le cœur.
13:50
D'abord, le texte est découpé en token, pas forcément des mots
13:53
entiers, parfois des. Morceau de mots, parfois de la
13:55
ponctuation, parfois des fragments très fréquents, peu
13:58
importe ici le détail exact. L'idée importante, c'est que le
14:01
langage devient une suite d'unités manipulables.
14:03
Ensuite, chaque token est converti en vecteur, c'est à
14:06
dire en représentation numérique.
14:08
Mais une phrase n'est pas seulement un sac de token, elle
14:10
a un ordre. Or le transformer précisément
14:13
veut traiter beaucoup de choses en parallèle, il faut donc lui
14:15
redonner le sens de la position, c'est le rôle des Encodages
14:18
positionnels dire au token où il se trouve dans la séquence, sans
14:22
ça le chien mord l'homme et. L'homme mord, le chien
14:25
risquerait de se ressembler dangereusement.
14:27
Et puis arrive le vrai cœur battant du modèle, la self.
14:30
Attention l'auto. Attention, le mot peut
14:32
impressionner l'idée, elle est simple, pour comprendre un token
14:36
donné, le modèle regarde tous les autres tokens de la même
14:39
séquence et estime lesquels sont les plus pertinents, pas les
14:42
plus proches, les plus pertinents.
14:43
Le token n'est donc plus défini, une fois pour toutes, il est
14:46
recalculé par son contexte. C'est l'idée décisive dans un
14:49
transformer un mot n'existe jamais seul, il existe à la
14:53
lumière des autres. Uniquement ce calcul passe par 3
14:55
objets devenus célèbres, query qui value, on peut les expliquer
14:59
sans cruauté. La Query c'est ce que cherche un
15:02
token, la qui c'est la manière dont les autres se présentent,
15:05
la value c'est l'information qu'ils portent réellement.
15:08
En simplifiant, chaque token arrive avec 3 cartes, une voilà
15:11
ce que je cherche, une autre, voilà comment on peut me
15:14
reconnaître une 3e, voilà ce que j'ai réellement à apporter.
15:17
Le modèle compare alors là query d'un token avec les quizz des
15:21
autres, quand ça correspond fortement, il récupère davantage
15:24
de. Value, autrement dit, il regarde
15:26
qui compte pour lui, puis il prend davantage chez eux.
15:28
Cette opération produit quelque chose de très puissant, le
15:31
modèle ne manipule plus des mots figés, il manipule des mots
15:34
contextuels, le mot banque ne se ressemble plus exactement à lui
15:38
même, selon qu'on parle d'un compte bancaire ou d'une rive,
15:41
le mot change parce que son voisinage change, le sens
15:44
devient calcul, et c'est précisément là que la magie
15:47
apparente redevient de l'ingénierie.
15:49
Et puis il YA1. Autre raffinement décisif, la
15:50
multihead. Attention, une seule attention
15:53
pourrait déjà. Être utile, mais une phrase
15:55
contient plusieurs types de relations en même temps, la
15:58
grammaire, la référence, les oppositions, les structures
16:01
logiques, la multihead. Attention, c'est donc plusieurs
16:04
façons de regarder la phrase simultanément, comme si
16:07
plusieurs lecteurs lisaient en parallèle, l'un suit les
16:09
pronoms, l'autre la syntaxe, l'autre les dépendances plus
16:12
abstraites, l'autre les grands motifs de sens.
16:15
Ensuite on combine ses lectures. Le résultat n'est pas une
16:18
compréhension plate, c'est une compréhension stratifiée.
16:21
Tout cela ne se produit pas une fois, mais couche après couche.
16:24
Chaque couche reprend les représentations produites par la
16:27
précédente et les affine, les relations deviennent plus
16:29
riches, les abstractions montent, le modèle voit de moins
16:32
en moins des unités brutes et de plus en plus des structures de
16:35
sens utiles à la tâche. C'est pour ça que le nom
16:38
transformer est bien choisi. Le modèle ne se contente pas de
16:41
lire, il transforme la représentation du texte à chaque
16:44
étage dans sa forme d'origine. L'architecture comporte un
16:47
encodeur et un décodeur, l'encodeur construit une
16:50
représentation riche de l'entrée, le décodeur génère la
16:52
sortie pour la traduction, c'est.
16:54
Idéal une phrase entre une autre sort.
16:57
Mais la vraie puissance du transformer c'est qu'il va
16:59
ensuite se laisser réarranger. Certains modèles n'utiliseront
17:02
surtout que l'encodeur, d'autres surtout le décodeur.
17:05
Et c'est là que l'histoire bascule, de la science élégante
17:07
au choc industriel. Parce qu'après 2017, cette
17:09
architecture n'est plus une architecture parmi d'autres,
17:11
elle devient une lignée et bientôt presque un climat.
17:16
Chapitre 6, Berthe GPT, Tchad GPT, la descendance.
17:20
Une bonne architecture ne reste jamais seule, elle se divisé, se
17:23
spécialisé, grossit changer d'échelle, puis finit par
17:27
redessiner tout le paysage. À partir de 2017, cette
17:29
architecture cesse très vite d'être une curiosité brillante.
17:32
Elle devient un point de départ. L'architecture originale, pensée
17:34
notamment pour la traduction, va donner naissance à plusieurs
17:38
lignées. Et parmi elles, 2 noms vont
17:40
structurer une bonne partie du paysage, Berthe et GPT Berthe.
17:44
Arrivé en 2018, son nom complet est déjà tout un programme.
17:49
Bidirectionnal encoder, representation from
17:51
Transformers. En clair, Berthe exploite
17:54
surtout la logique de l'encodeur.
17:55
Son métier n'est pas d'abord de produire du texte.
17:58
Son métier, c'est de fabriquer de bonnes représentations, de
18:01
lire profondément, d'intégrer le contexte à gauche et à droite,
18:04
de comprendre qu'un mot ne veut pas exactement la même chose
18:07
selon l'ensemble de la phrase. C'est une machine à enrichir le
18:10
langage avant d'agir dessus. Classification, extraction
18:14
d'information, recherche, compréhension.
18:16
Berthe devient très vite une base majeure du NLP moderne, GPT
18:19
lui vient d'une autre branche, son nom, generative prit train
18:22
transformer annonce déjà sa vocation, là où Berthe lit pour
18:26
mieux représenter GPT lit. Pour prolonger, il s'appuie
18:29
surtout sur la logique du décodeur et sur un apprentissage
18:31
d'apparence presque modeste, prédire le prochain token,
18:34
encore un, puis un autre, puis un autre.
18:39
Sauf qu'à grande échelle, cette tâche simple devient redoutable.
18:43
Pour bien prédire la suite, il faut internaliser une quantité
18:46
immense de régularité du langage, du style, des faits,
18:49
des structures argumentatives, des formes narratives.
18:53
Ce qui semblait être un jeu d'auto complétion devient
18:55
progressivement une machine générale à générer du texte.
18:58
C'est là que le détail technique commence à devenir une affaire
19:01
de civilisation numérique. La différence entre les 2
19:04
familles peut se dire simplement, Berthe apprend
19:06
surtout à lire, GPT apprend surtout à continuer.
19:09
C'est schématique bien sûr, mais c'est juste et c'est surtout
19:13
utile à l'oral parce que toute la vague qui va suivre
19:15
GPT2GPT3GPT4 puis les assistants conversationnels comme chat GPT
19:21
vient de là d'un pari sur la génération auto régressive,
19:25
amplifiée par l'échelle, plus de données, plus de paramètres,
19:28
plus de calculs et soudain des modèles capables de rédiger,
19:32
résumer, traduire, expliquer, dialoguer, coder.
19:36
Il faut faire attention à ne pas raconter ça comme une ligne
19:39
droite magique. Chat GPT n'est pas contenu tout
19:41
entier dans le papier de 2017 comme un destin écrit d'avance.
19:43
Il y a eu des avancées de taille, d'entraînement,
19:46
d'alignement d'infrastructures, d'interfaces de produits.
19:48
Mais la charpente, elle est bien là.
19:52
Quand le grand public découvre qu'une machine peut lui répondre
19:55
avec une fluidité troublante, il découvre sans le savoir le
19:58
succès historique d'une architecture née 6 ans plus tôt
20:02
autour de l'attention. Et la contagion ne s'arrête pas
20:06
au texte. En 2020, le vision Transformers
20:08
montre qu'on peut aussi découper une image en patch et lui
20:11
appliquer des idées analogues. L'architecture sort du langage,
20:14
elle devient une forme générale pour traiter des séquences ou
20:17
quasi séquences d'information texte, image audio,
20:20
multimodalité. L'architecture déborde de son
20:24
berceau. Quand une idée commence à
20:26
coloniser des domaines aussi différents, ce n'est plus
20:29
seulement une réussite technique, c'est un changement
20:31
de régime. On n'est plus dans un progrès
20:34
local, on est dans une bascule. Mais il reste une question,
20:37
pourquoi cette architecture parmi tant d'autres idées
20:39
ingénieuses en IAAT elle gagné avec une telle brutalité ?
20:42
Pourquoi est elle devenue pendant des années la forme
20:44
dominante de l'intelligence artificielle moderne ?
20:46
Pour répondre, il faut quitter un instant les phrases et
20:50
regarder les machines qui les. Entraînent chapitre 7, pourquoi
20:55
les Transformers ont gagné et pourquoi ils ne sont peut être
20:58
pas la fin de l'histoire. Une architecture peut dominer
21:01
son époque pour de très bonnes raisons.
21:03
Ça ne veut pas dire qu'elle a résolu une fois pour toutes le
21:06
problème qu'elle a rendu visible.
21:07
Les Transformers ont gagné pour une raison simple à formuler et
21:10
complexe dans ses conséquences, ils arrivaient avec la bonne
21:13
idée au bon moment dans la bonne économie du calcul.
21:15
La bonne idée, c'était l'attention comme principe
21:17
central. Le bon moment, c'était celui de
21:19
l'explosion des données numériques et de l'appétit pour
21:22
des modèles toujours plus grands.
21:23
Et la bonne économie du calcul, c'était celle des GPU et des
21:26
TPU, autrement dit des machines remarquablement adaptées au
21:27
traitement parallèle. 1RNN lit une phrase comme une procession,
21:31
un transformer peut traiter bien plus de choses en même temps
21:34
dans une ère de skale. Ce détail n'en est pas un, c'est
21:37
un empire, et les empires techniques ne gagnent jamais
21:39
seulement parce qu'ils ont raison, ils gagnent parce qu'ils
21:41
épousent leur époque. Il faut être clair, la victoire
21:43
des Transformers n'est pas seulement scientifique, elle est
21:46
aussi industrielle. Une architecture qui s'entraîne
21:48
mieux à grande échelle, qui exploite mieux le matériel
21:51
disponible, qui accepte de grandir avec les données et la
21:54
puissance de calcul part avec un avantage colossal.
21:56
Et c'est exactement ce qui s'est passé, les Transformers.
22:00
Ont extraordinairement bien ce qu'elle est.
22:02
Plus on leur a donné de paramètres, de textes, de
22:04
calculs, plus ils ont révélé de capacités.
22:06
Toutes les architectures ne réagissent pas aussi bien à
22:08
l'échelle celle-ci si, c'est pour ça qu'elle a fini par
22:11
structurer presque tout le paysage.
22:13
Mais une victoire n'est jamais un absolu.
22:15
L'attention a un prix dans sa forme standard, elle compare
22:18
chaque token à tous les autres. Ce tout à tout est puissant mais
22:21
coûteux, très coûteux. Quand les séquences s'allongent,
22:23
la mémoire et le calcul explosent.
22:25
C'est une des grandes limites des Transformers, leur force
22:27
conceptuelle devient parfois leur faiblesse pratique.
22:30
Pour relier tout à tout, il faut payer le prix de ce tout à tout.
22:33
Il y a aussi la question du contexte, même avec des fenêtres
22:36
immenses, un modèle ne peut pas tout prendre en charge
22:38
indéfiniment, il faut découper, résumer, sélectionner,
22:41
externaliser une partie de la mémoire.
22:43
Et puis il y a une autre limite, plus dérangeante, parce qu'elle
22:46
touche à notre propre illusion, un texte très cohérent n'est pas
22:49
forcément un texte vrai. Les grands modèles fondés sur
22:51
des Transformers peuvent produire des réponses fluides,
22:54
plausibles, élégantes et fausses.
22:56
Leur maîtrise des formes ne garantit pas la vérité de leur
22:58
contenu, là encore, on peut le dire.
23:00
Simplement parler n'est pas savoir et c'est peut être la
23:03
phrase qu'il faut garder en tête devant toute l'i a
23:05
contemporaine. Reste la grande question,
23:07
comprennent ils ? C'est un débat plus
23:08
philosophique que technique et il vaut mieux l'aborder avec
23:11
prudence. Ce qu'on peut dire sans tricher,
23:13
c'est ceci, les Transformers capturent remarquablement bien
23:15
des régularités, des structures, des dépendances, des patrons de
23:19
langage et d'informations. Ils produisent des performances
23:21
spectaculaires. Mais savoir jusqu'où cette
23:23
performance ressemble à une compréhension au sens humain
23:26
reste une question ouverte, il ne faut ni minimiser leur
23:28
puissance, ni l'enchanter trop vite.
23:30
Et c'est justement pour ça que d'autres architectures
23:32
commencent à intéresser la recherche des modèles plus
23:35
efficaces sur certaines longues séquences.
23:37
Les approches fondées sur les State Space models mamba par
23:40
exemple, propose une autre manière de traiter l'information
23:42
séquentielle avec une meilleure efficacité dans certains.
23:45
C'est rien ne dit aujourd'hui qu'il remplacera les
23:47
Transformers, mais son existence rappelle une loi très simple de
23:50
l'histoire des techniques. Toute architecture dominante
23:52
finit par révéler le contour exact de ses limites.
23:55
C'est peut être ça la bonne façon de conclure cette
23:57
histoire. Les Transformers n'ont pas
23:59
simplement. Ils ont déplacé son centre de
24:02
gravité. Ils ont appris aux machines à
24:04
redistribuer leur regard, à calculer des relations, à faire
24:07
du contexte. Le vrai lieu du sens, c'était
24:09
assez pour changer la recherche, assez pour changer l'industrie,
24:12
assez finalement pour changer notre rapport quotidien aux
24:14
machines qui écrivent, mais suffisant pour épuiser la
24:17
question de l'intelligence. Rien ne permet de l affirmer.
24:20
Les Transformers n'ont peut être pas résolu l'intelligence, mais
24:22
ils ont changé la manière dont les machines regardent le monde
24:24
écrit, et cela pour une discipline entière était déjà
24:28
immense. Vous écoutiez Transformers.
24:30
Pourquoi l'attention a changé ? L'i a merci de votre écoute.
24:33
Si cet épisode vous a été utile, le plus simple est de le
24:36
partager autour de vous ou sur LinkedIn.