Latest / Le centre de gravité / TurboQuant, la compression presque parfaite

Transcript

TurboQuant, la compression presque parfaite · Le centre de gravité

0:00
Épisode turbo coin, la compression presque parfaite.
0:06
Chapitre un, le mur de la mémoire.
0:10
Chaque mot qu'une intelligence artificielle génère a un coup,
0:14
un coup en mémoire, en énergie, en argent, et ce coup explose
0:18
avec la longueur de la conversation. 700000$ par jour,
0:22
c'est, selon une estimation du cabinet semi Analysis en 2023,
0:25
ce que coûtait l'infrastructure de Tchat GPT. 700000$ chaque
0:30
jour et depuis, ce chiffre n'a fait qu'augmenter.
0:33
Certaines estimations parlent aujourd'hui de plusieurs 1000000
0:36
par jour. Et la première cause de ce coût,
0:38
ce n'est pas le calcul, c'est la mémoire.
0:40
Quand vous posez une question à chat GPT à Gemini ou à Claude,
0:43
il se passe quelque chose de très concret dans un data Center
0:46
quelque part dans le monde, un processeur graphique 1GPU se met
0:49
au travail et ce GPU fait 2 choses, il calcule et il se
0:53
souvient calculer, c'est ce qu'on imagine spontanément.
0:58
Des multiplications de matrices, des opérations mathématiques
1:01
massives. Mais se souvenir, ça, c'est le
1:04
problème que presque personne ne voit, et c'est pourtant celui
1:07
qui coûte le plus cher. Pour voir où l'argent s'évapore,
1:10
il faut revenir à la mécanique de base.
1:12
Les grands modèles de langage fonctionnent avec un mécanisme
1:15
appelé l'attention. L'idée est simple, chaque
1:18
nouveau mot que le modèle génère doit pouvoir regarder tous les
1:21
mots précédents, tous pour décider lequel est important,
1:24
lequel l'Est moins, et construire sa réponse en
1:26
conséquence. Concrètement, chaque mot est
1:29
transformé en 3 vecteurs, 3 listes de nombres.
1:32
Le premier, c'est la requête, ce que le mot cherche, le 2e la
1:35
clé, ce qu'il représente, le 3e, la valeur, l'information utile
1:40
qu'il porte. Le modèle compare la requête du
1:42
nouveau mot avec les clés de tous les mots précédents, calcul
1:45
des poids d'importance, puis combine les valeurs.
1:48
C'est élégant, c'est puissant et c'est extrêmement gourmand en
1:51
mémoire. Parce que pour chaque mot
1:53
généré, il faut garder en mémoire l'ensemble des clés et
1:56
des valeurs de toute la conversation.
1:58
C'est le KV cache, le cache des clés et des valeurs et il
2:01
grossit avec chaque mot supplémentaire.
2:02
Prenons un exemple concret, l'amma 3, le modèle open source
2:07
de Meta. Dans sa version à 8 milliards de
2:09
paramètres pour un contexte de 128000 tokens, le KV cache pèse
2:13
environ 16 gigaoctets, 16 Gigaoctets, juste pour se
2:15
souvenir de ce qui précède. 1GPUH100 de Nvidia à 80
2:20
gigaoctets de mémoire. Faites le calcul avec un seul
2:23
utilisateur et un contexte long. Le KV cache mange déjà 1/5 de la
2:27
mémoire totale du GPU. Avec l'AMA 70B, le modèle plus
2:30
gros, le cache atteint environ 39 gigaoctets.
2:32
Ajouter les 140 gigaoctets de poids du modèle en demi
2:35
précision et un seul GPU ne suffit plus.
2:39
Et dans la réalité, un data Center ne sert pas un seul
2:41
utilisateur, il en sert des milliers simultanément.
2:49
Or, la phase critique, la génération de texte mot par mot,
2:53
n'est pas limitée par la puissance de calcul, elle est
2:55
limitée par la bande passante mémoire, le va et vient entre la
2:58
mémoire et le processeur. C'est ce goulot là qui détermine
3:01
le coût. Selon plusieurs analyses du
3:03
secteur, cette phase de décodage représente 70 à 80% de la
3:07
facture d'inférence. Le prix par token a chuté pour
3:11
un modèle de pointe, il est passé de 30 à 60$ par 1000000 de
3:14
token en 2023 à quelques dollars en 2025.
3:18
Et même sous le dollar pour les modèles open source.
3:21
Mais le volume, lui, a explosé. Plus de contexte, plus
3:24
d'utilisateurs, plus de requêtes.
3:26
Le KV cache est devenu le poste budgétaire invisible de
3:29
l'intelligence artificielle. Et personne n'en parle.
3:32
Et c'est là qu'intervient une question très simple, si on
3:34
pouvait réduire la taille de ce cache par 4, par 5, par 6, sans
3:39
perdre en qualité de réponse, on libérerait de la mémoire, on
3:42
accélérerait le décodage et on diviserait les coûts.
3:46
Peut-on compresser autant sans casser quelque chose ?
3:49
Pour répondre à cette question, il faut remonter à 1948 à un
3:52
homme qui circulait en monocycle dans les couloirs des belle
3:54
Labs, en jonglant. Chapitre 2 la limite de Shannon
4:01
en 10091481, mathématicien discret, pose les bases de toute
4:04
la théorie de l'information. Son nom, Claude Shannon.
4:06
Et dans ses équations se cache une vérité brutale.
4:12
Il existe une frontière qu'aucun algorithme ne pourra jamais
4:16
franchir. Claude Shannon est probablement
4:18
le génie le plus sous-estimé du 20e siècle.
4:20
Mathématicien, ingénieur, jongleur, bricoleur de génie, il
4:23
a construit une souris mécanique capable de résoudre un
4:26
labyrinthe. Il jouait de la trompette lance
4:27
flamme pour amuser ses collègues et il se déplaçait dans les
4:30
couloirs des bellabs en monocycle.
4:31
Mais entre 2 excentricités, il a inventé l'ère numérique en 1937,
4:35
à 21 ans. Son mémoire de master démontre
4:36
qu'on peut utiliser l'algèbre de Boulle pour concevoir des
4:38
circuits électriques. C'est le pont entre les
4:40
mathématiques. Et l'électronique, la fondation
4:44
de tout ordinateur moderne. Et en 1948, il publie un article
4:46
intitulé À Mathematical Theory of Communications.
4:48
Ce papier crée un champ entier, la théorie de l'information.
4:52
Shannon y pose une question fondamentale, quand on transmet
4:54
un message, quand on le stocké, quand on le compressé, quelle
4:57
est la quantité minimale d'informations nécessaires pour
4:59
le représenter ? Il introduit le concept
5:02
d'entropie de l'information, une mesure de l'incertitude du
5:05
contenu en surprise d'un message.
5:06
Et il démontre qu'il existe une limite théorique à la
5:09
compression, sans perte, on ne peut pas descendre en dessous.
5:12
De l'entropie point. Mais Shannon va plus loin, en
5:15
1959, il s'attaque à un problème encore plus subtil, celui de la
5:17
compression avec perte. L'idée c'est celle-ci, si on
5:20
accepté une certaine dégradation, une certaine
5:22
distorsion, combien de bits faut-il au minimum pour
5:25
représenter le signal ? C'est ce qu'on appelle la
5:27
fonction débit distorsion, et Shannon prouve qu'il existe là
5:30
aussi une frontière infranchissable pour un niveau
5:32
de distorsion donné, il YA1 plancher un nombre minimal de
5:35
bits en dessous duquel aucun algorithme, aussi malin soit il
5:38
ne peut descendre sans dépasser cette distorsion.
5:42
La plus simple, c'est la photographie, vous compressez
5:45
une image au début, vous ne voyez pas la différence, puis
5:47
les détails commencent à disparaître, les visages
5:49
deviennent flous et à un moment il YA1 mur en dessous d'un
5:52
certain nombre de bits par pixel, les visages sont
5:54
méconnaissables. Shannon a prouvé que ce mur
5:56
n'est pas un défaut de nos algorithmes, c'est une propriété
5:59
fondamentale de l'information elle même, et c'est exactement
6:01
ce cadre qui s'applique au KV cache dans un modèle de langage,
6:04
les clés et les valeurs sont stockées en haute précision,
6:07
typiquement 16 bits par coordonnées pour des vecteurs de
6:10
128 dimensions par tête d'attention sur.
6:12
Des dizaines de couches, on veut les compresser.
6:14
Descendre à 4 bits à 3 bits peut être même à 2 bits, mais en
6:18
gardant leur structure géométrique, parce que ce qui
6:20
compte ce n'est pas la valeur exacte de chaque coordonnée,
6:23
c'est la relation entre les vecteurs, leur distance, leurs
6:25
produits scalaires, c'est à dire le calcul qui déterminé si 2
6:28
mots sont liés ou non. Le mécanisme d'attention repose
6:31
entièrement sur ces produits scalaires, si la compression les
6:34
déforme trop. Le modèle des rails.
6:35
La question que pose turbo coint est donc très précise, peut-on
6:38
atteindre cette limite de Shannon ?
6:40
peut-on compresser le KV cache avec une distorsion ?
6:42
Quasi optimal, le minimum théorique ou presque.
6:45
En avril 2025, une équipe de Google Research publie un papier
6:48
sur archive, 4 chercheurs, Amir zandier, spécialiste des
6:52
algorithmes sous linéaires, madhid daliri de l'université de
6:55
New York, Madhid dadian de Google Deep mind, Eva Amirokni,
6:58
vice-président et Google Fellow. Leur réponse, c'est oui.
7:02
Leur algorithme s'appelle Turbeau Qwant et ils s
7:04
approchent de la borne de Shannon à un facteur 2,7.
7:07
Autrement dit là distorsion de turbeau, Qwant n'est que 2,7
7:10
fois supérieur au minimum absolu.
7:12
Imposé par les lois de l'information, laissez ce
7:14
chiffre raisonner un instant 2,7 fois le plancher théorique, pas
7:18
10 fois, pas 100*2,7 pour les faibles largeurs de BIT, un ou 2
7:22
bits par coordonnées, ce facteur descend même à 1,45 presque le
7:26
plancher. Pour y arriver, ils ont utilisé
7:28
un tour de passe-passe géométrique.
7:30
Et c'est là que l'histoire devient vraiment belle, parce
7:32
que la solution est d'une simplicité presque insolente.
7:35
Chapitre 3. Le tour de passe-passe pour
7:37
compresser un vecteur à 1000 dimensions.
7:38
On pourrait penser qu'il faut connaître intimement les données
7:41
turbocuant. Exactement l'inverse.
7:43
Il commence par tout mélanger et c'est ce mélange qui rend la
7:46
compression optimale. Le.
7:48
Problème de départ est le suivant, vous avez un vecteur,
7:50
une liste de nombres en très haute dimension, disons 128
7:53
dimensions. Comme dans une tête d'attention
7:54
d'un modèle de langage, vous voulez le représenter avec moins
7:57
de bits, mais les coordonnées ne sont pas indépendantes, elles
7:59
sont corrélées, entremêlées. Compresser chacune séparément
8:02
sans tenir compte des autres donne un résultat médiocre.
8:04
Les méthodes classiques, comme la Product quantisation utilisée
8:07
dans les bases de données VECTORIELLES contournent ce
8:09
problème en entraînant des dictionnaires sur les données.
8:12
On prend un gros échantillon, on fait tourner un keymins, un
8:15
algorithme de regroupement pour trouver les meilleurs
8:17
représentants, et on stocke pour chaque vecteur, l'indice du plus
8:20
proche. Ça marche, mais c'est lourd et
8:22
c'est lent, il faut un entraînement préalable et
8:24
surtout c'est dépendant des données.
8:25
Si les données changent, le dictionnaire devient obsolète.
8:28
Pour le cas V cache, c'est rédhibitoire, le cache se
8:30
remplit en temps réel, mot après mot.
8:31
On ne peut pas s'arrêter. Pour entraîner un dictionnaire,
8:34
il faut ce qu'on appelle un algorithme data oblivius,
8:37
aveugle, donné, qui compresse instantanément, sans
8:39
préparation, sans jamais regarder ce qu'il va recevoir,
8:42
et vous, et vous, et vous, et vous, et vous, qui.
8:42
Voici l'idée centrale de Turbocwant, si on ne peut pas
8:45
adapter la compression aux données, on va adapter les
8:47
données à la compression. Comment ?
8:49
Par une rotation aléatoire, on prend le vecteur d'entrée et on
8:52
le multiplie par une matrice de rotations tirées au hasard.
8:54
Imaginez une orange posée sur une table ou la faites rouler
8:57
dans une direction imprévisible. L'orange ne change pas de forme,
9:00
elle ne change pas de taille, mais l'endroit exact où elle
9:02
touche la table lui change complètement.
9:04
C'est la même chose avec le vecteur, la rotation ne Touche
9:07
pas sa longueur ni sa structure globale, mais elle redistribue
9:10
totalement ses coordonnées et c'est là que tout bascule.
9:12
Après cette rotation aléatoire, le vecteur se retrouve
9:15
uniformément distribué sur la surface d'une sphère en haute
9:18
dimension. C'est un résultat classique en
9:20
géométrie, et soudain il se passe quelque chose
9:22
d'extraordinaire. Chaque coordonnée du vecteur
9:24
tournée suit une loi mathématique très précise, une
9:27
distribution bêta. Qu'est ce qu'une distribution
9:29
bêta ? Une courbe en cloche concentrée
9:31
autour de 0, dont la forme ne dépend que de la dimension, pas
9:34
des données. Quand la dimension augmente,
9:36
cette bêta converge même vers une gaussienne, la fameuse
9:39
courbe en cloche. Mais le plus important, c'est
9:41
ceci, les coordonnées du vecteur.
9:42
Leurs tournées deviennent presque indépendantes les unes
9:44
des autres. C'est un résultat profond de la
9:46
théorie des probabilités, la quasi indépendance des
9:49
coordonnées, et c'est la clé de tout.
9:50
Pourquoi ? Parce que si les coordonnées
9:52
sont indépendantes, alors on peut les compresser séparément
9:55
sans perdre d'optimalité. Un problème multidimensionnel
9:58
monstrueux se décompose soudainement en centaines de
10:00
petits problèmes identiques, chacun en une seule dimension.
10:03
Et pour résoudre chacun de ces petits problèmes, turbocant
10:06
utilise un outil qui date de 1960, le quantifieur de
10:08
Lloydmax. L'idée est celle d'un kemins en
10:11
une dimension. Imaginez la courbe en cloche de
10:14
chaque coordonnée. Vous voulez la découper en
10:16
intervalles et placer un représentant dans chacun ?
10:18
Si vous avez 2 bits, vous avez 4 intervalles 3 bits 8
10:21
intervalles, 4 bits, 16 intervalles.
10:24
Le Quantifieur de Lloydmax pose les frontières à mi-chemin entre
10:27
2 représentants et positionne chaque représentant au centre de
10:30
gravité de son intervalle, là où il y a beaucoup de probabilité.
10:33
Au centre de la cloche, les intervalles sont étroits pour
10:36
être précis, là où il y a peu de probabilité.
10:38
Dans les queues, les intervalles sont larges parce que la
10:40
précision y importe moins, c'est optique.
10:43
Démontrée mathématiquement, et puisque la distribution est
10:45
toujours la même, elle ne dépend que de la dimension.
10:48
Les tables de quantification peuvent être pré calculées une
10:51
seule fois et réutilisées indéfiniment.
10:53
Pas de kemins à chaque nouveau vecteur, pas d'entraînement, pas
10:56
de dictionnaire, juste une rotation, un arrondi coordonné
10:59
par coordonnées et c'est fait. Le résultat à 3 bits par
11:02
coordonnées, la distorsion est d'environ 3% à 4 bits, moins de
11:05
un pour 100, presque rien et la vitesse sur les benchmarks du
11:08
papier avec des vecteurs en 1536 dimensions.
11:12
La Product Quantisation Classic prend 240 secondes pour indexer
11:15
le corpus parce qu'elle doit entraîner ces dictionnaires.
11:18
Un autre algorithme récent, RABBIT Q, prend 2268 secondes
11:21
Turbocante 0,0013 secondes près de 200000 fois plus rapide,
11:24
parce qu'il n'y a rien à entraîner, pas de dictionnaire,
11:28
pas de camins, juste une rotation et un arrondi.
11:29
La compression la plus puissante du monde repose sur un coup de D
11:34
géométrique et un algorithme des années 60.
11:36
Mais il restait un problème, un problème subtil.
11:42
Presque invisible, un problème de biais ?
11:45
Chapitre 4, le problème du biais, minimiser l'erreur, c'est
11:48
nécessaire, mais la tension ne mesure pas des erreurs, elle
11:51
mesure des ressemblances et sur ce terrain là, turbocante
11:54
première version trichait un peu involontairement.
11:56
Pour comprendre le problème, il faut revenir à ce que le
11:59
mécanisme d'attention fait réellement, il ne compare pas
12:01
des vecteurs en mesurant leur distance, ils calculent des
12:04
produits scalaires un produit scalaire.
12:06
C'est une mesure de similarité entre 2 vecteurs. 2 vecteurs qui
12:10
pointent dans la même direction ont un produit scalaire élevé. 2
12:13
vecteurs Perpendiculaires ont un produit scalaire nul.
12:15
Le mécanisme d'attention utilise ces produits scalaire pour
12:19
décider quel mot est pertinent pour quel autre mot.
12:21
Donc quand on compresse les vecteurs du KV cache, ce n'est
12:24
pas seulement l'erreur de reconstruction qui compte.
12:26
Ce qui compte vraiment, c'est que les produits scalaires entre
12:29
le vecteur compressé et les autres vecteurs restent fidèles
12:32
aux originaux. Et là, le premier étage de
12:35
Turbocante, le Quantifieur optimisé pour l'erreur
12:37
quadratique, pose un problème, il est biaisé, c'est à dire
12:40
qu'en moyenne il ne restitue pas.
12:42
Exactement la bonne valeur du produit scalaire, il la sous
12:45
estime systématiquement. Le papier le démontre avec un
12:48
cas simple à un BIT. Par coordonnées, le biais
12:51
multiplicatif est de 2 sur PI, soit environ 0,64.
12:54
Le produit scalaire estimé ne vaut en moyenne que 64% de la
12:58
vraie valeur. À 2 bits, le biais diminue, à 3
13:00
ou 4 bits, il devient négligeable, mais à faible
13:03
nombre de bits, là où la compression est la plus
13:06
agressive et la plus utile, le biais est un vrai problème pour
13:09
le corriger l'équipe. De Google Research a utilisé un
13:14
outil mathématique développé un an plus tôt par 2 des mêmes
13:18
auteurs, le QJL, le Qantis Johnson Lindenstrauss le QJL
13:22
s'appuie sur un résultat fondateur, le lem de Johnson
13:25
Lindenstrauss. C'est un résultat fondamental en
13:27
géométrie algorithmique. Et il dit en substance ceci, si
13:30
vous avez un ensemble de points en très haute dimension, vous
13:33
pouvez les projeter dans un espace beaucoup plus petit,
13:36
beaucoup moins de dimensions, tout en préservant à peu près
13:39
les distances entre les points. Imaginez une.
13:42
Rempli de gens. Si vous les photographiez depuis
13:45
le plafond, vous aplatissez l'espace de 3 dimensions à 2,
13:48
mais les gens qui étaient proches restent proches sur la
13:50
photo, les gens qui étaient loin restent loin.
13:53
Vous avez réduit les dimensions, mais les distances ont survécu.
13:56
Le Lemme de Johnson Lyndon Strauss prouve qu'on peut faire
13:59
ça même en passant de 1000 dimensions à quelques centaines,
14:02
en multipliant par une matrice de nombre tirée au hasard.
14:05
C'est contre intuitif, mais c'est prouvé mathématiquement,
14:08
le QJL pousse cette idée à l'extrême, il projette le
14:10
vecteur avec une matrice. Disgotienne aléatoire, puis
14:14
prend uniquement le signe de chaque coordonnée, plus ou moins
14:17
un seul BIT par coordonnée, et il démontre que le produit
14:20
scalaire estimé à partir de ces signes est non biaisé.
14:23
En moyenne, il donne exactement la bonne valeur.
14:26
La solution de turbocante est donc un algorithme en 2 étages
14:30
premier étage, appliquer le quantifier Lloyd Max optimisé
14:33
pour l'erreur quadratique avec un bit de moins que le budget
14:36
total. Cela minimise la taille du
14:38
résidu, l'écart entre le vecteur original et sa version
14:41
reconstruite. 2e étage, prendre ce résidu et appliquer le QJL
14:46
dessus un seul bit supplémentaire.
14:48
Par coordonnées, on stocke 3 choses, les indices de
14:50
quantification du premier étage, les signes du QJL sur le résidu
14:54
et la norme du résidu. Le résultat est un estimateur de
14:58
produits scalaires non biaisé dont la distorsion est bornée
15:01
formellement, la borne inférieure de Shannon, celle que
15:04
personne ne peut battre thurbocant est un petit facteur
15:07
constant de cette limite pour tous les bits, pour toutes les
15:10
dimensions, non biaisé 2 étages 2. 2 idées vieilles de plusieurs
15:14
décennies et soudain, un résultat que personne n'avait
15:16
atteint avant chapitre. 5 ce que ça change la théorie est
15:21
élégante, mais la vraie question c'est celle des résultats, que
15:23
se passe-t-il quand on branche turbocante sur un vrai modèle de
15:27
langage avec de vraies requêtes sur de vrais GPU ?
15:31
Le premier test est le plus spectaculaire.
15:33
On l'appelle le Middle in Rey Stack.
15:35
L'aiguille dans une botte de foin.
15:36
L'idée est simple. On prend un très long document,
15:39
jusqu'à 104000 tokens, et on y cache une phrase précise à un
15:42
endroit aléatoire, puis on demande au modèle de la
15:44
retrouver. C'est un test de mémoire pure.
15:46
Si la compression du KV cache fait perdre de l'information, le
15:49
modèle rate l'aiguille. Plusieurs méthodes concurrentes
15:51
ont été testées dans les mêmes conditions, avec un taux de
15:55
compression de 4. Autrement dit, le cache ne pèse
15:57
plus qu'un quart de sa taille originale.
15:58
Snap KV obtient un score de rappel de 0,858 pyramide KV
16:01
0,895. Qui vit une méthode de
16:07
quantification scalaire atteint 0,981 polarcante, un
16:10
prédécesseur de turbocant développé par la même équipe,
16:13
monte à 0,995 et le modèle sans aucune compression pleine
16:16
précision 0,997 et turbocant 0,997 exactement le même score
16:18
que le modèle non compressé. Laissez ce chiffre résonner un
16:21
instant. Avec 4 fois moins de mémoire,
16:32
l'aiguille est retrouvée à chaque fois, quelle que soit sa
16:34
position dans le document, quelle que soit la longueur du
16:37
texte. Le 2e test est plus complet,
16:39
long bench, un benchmark qui couvre des tâches variées,
16:42
questions, réponses sur un ou plusieurs documents, résumés,
16:45
apprentissage, par exemple Complétion de code.
16:48
Là encore, turbocant à 3,5 Bits obtient un score moyen de 50,06
16:53
exactement identique au modèle non compressé à 16 bits.
16:57
À 2,5 Bits, une compression de plus de 6 fois le score ne
17:00
baisse que de 0,6 points de 50,06 à 49,44 presque rien et
17:03
turbocante à 2,5 bits fait mieux que qui vit à 3 bits qui obtient
17:07
48,50. Il fait mieux que polarcante à
17:09
3,9 Bits qui obtient 49,78 avec moins de bits pour la recherche
17:13
de plus proches voisins. L'autre grand cas d'usage, celui
17:15
des bases de données VECTORIELLES.
17:24
Surbocante surpasse systématiquement la
17:26
productantisation classique en taux de rappel et le temps
17:29
d'indexation est essentiellement nul.
17:31
Qu'est ce que tout ça signifie concrètement ?
17:33
rappelez-vous, la mémoire représente 70 à 80% de la
17:37
facture d'inférence. Compresser le KV cash par un
17:39
facteur 4 à 6, c'est libérer de la mémoire GPU, servir plus
17:43
d'utilisateurs simultanément sur le même matériel et accélérer
17:46
chaque réponse à l'échelle d'un chat GPT, les économies se
17:50
chiffrent en centaines de milliers de dollars par jour.
17:52
Pour les bases de données vectorielles, l'impact est
17:54
différent, mais tout aussi significatif.
17:57
Moins de mémoire par vecteur, c'est plus de vecteurs par
17:59
serveur. C'est pouvoir indexer des
18:01
milliards de documents sans faire exploser les coûts et
18:04
ajouter des données en temps réel sans phase de
18:06
prétraitement. Mais il faut nuancer, turbocwant
18:09
cible l'inférence, pas l'entraînement.
18:11
Les coûts d'entraînement des modèles restent ce qu'ils sont
18:13
et turbocwant n'est pas encore déployé en production, pas dans
18:17
Gemini, pas dans Google cloud. Pour l'instant, c'est de la
18:20
recherche, mais de la recherche que Google prend très au
18:22
sérieux. Le 24 mars 2026, il y a 10
18:25
jours, Google Research a publié un billet de blog officiel
18:27
intitulé Turbocwant, Redefining AI et Fish and C with Extreme
18:32
compression. Le papier sera présenté à ICLR
18:34
2026, l'une des plus grandes conférences mondiales en
18:36
apprentissage automatique, dans les prochaines semaines.
18:37
TechCrunch a titré sur la comparaison avec Pie Piper,
18:41
l'algorithme de compression fictive de la série Silicon
18:43
Valley. Sommes hardware a couvert
18:49
l'annonce et le jour de l'annonce, les actions de
18:52
plusieurs fabricants de mémoire ont baissé.
18:54
Le marché a compris le signal. Si on peut diviser par 6 la
18:57
mémoire nécessaire à l'inférence, la demande en plus
18:59
mémoire pour l'i a pourrait être moins forte que prévue.
19:02
Le biais met aussi en avant les implications pour la recherche
19:05
sémantique et là encore, le signal est énorme.
19:08
Les bases de données vectorielles sont au cœur du
19:10
moteur de recherche. Compresser ses index sans perte
19:13
de qualité avec un temps d'indexation quasi nulle, c'est
19:16
potentiellement une révolution pour l'infrastructure de Google
19:19
Search elle même. L'équipe derrière Turbau qwant
19:21
n'en est pas à son premier coup. Amir zandier avait déjà publié
19:24
QJL en 2024, avec Magid Daliri et Insou Han, présenté à tripoal
19:28
I 2025, puis avec Vaa Mirokni, vice-président et Google Fellow.
19:31
Il avait cosigné Polar qwant début 2025.
19:34
Accepté à histats 2026. Turbocant est l'aboutissement de
19:41
cette ligne de recherche. Ce qui est frappant au fond,
19:45
c'est que la solution repose sur des idées vieilles de plus de 60
19:49
ans. Shannon a posé les fondations en
19:51
1948, puis définit les bornes de distorsion en 1959.
19:53
L'œil et Max ont inventé leur quantifieur en 1960, Johnson et
19:57
Lyndon Strauss ont démontré leur lem en 1984.
19:59
Turbocante ne fait qu'assembler ses pièces.
20:08
Mais il les Assemble d'une manière que personne n'avait
20:11
trouvé avant. Une rotation aléatoire qui
20:13
transforme un problème impossible en un problème
20:16
trivial, un quantifer scalaire vieux de 65 ans qui s'avère
20:20
optimal quand les coordonnées sont indépendantes, et un
20:23
correcteur de biais à un bit qui rend le tout non biaisé.
20:27
Le tout en 1/1000 de 2nde a un facteur 2,7 de la perfection
20:32
mathématique. Il y a quelque chose de très
20:35
Shannon là-dedans. Shannon qui jonglait dans les
20:38
couloirs, qui construisait des souris mécaniques et qui posait
20:42
tranquillement les lois fondamentales de l'information.
20:46
La compression la plus puissante du monde repose sur des idées
20:49
que n'importe quel mathématicien des années 60 aurait pu
20:52
formuler. Mais il a fallu attendre 2025
20:55
pour que quelqu'un les regarde sous le bon angle.
20:58
L'élégance n'est pas dans la complexité de la solution, elle
21:01
est dans la simplicité du regard porté sur le problème.
21:04
Et parfois, c'est comme ça que la recherche avance.
21:07
Pas en ajoutant, en retirant, vous écoutiez.
21:12
Turbocant la compression presque parfaite.
21:15
Merci de votre écoute. Si cet épisode vous a intéressé,
21:18
le plus simple est de le partager.