Latest / Le centre de gravité / Fei-Fei Li, le scoop industriel derrière la révolution de l'IA

Transcript

Fei-Fei Li, le scoop industriel derrière la révolution de l'IA · Le centre de gravité

• 0:00
  Épisode Faith failli, le scoop industriel derrière la
• 0:03
  révolution de l'i. A chapitre un, le mauvais récit
• 0:08
  de 2012, la révolution n'était pas algorithmique, elle était
• 0:13
  industrielle et elle se cachait dans le sous-sol.
• 0:17
  Florence, Italie, octobre 2012, conférence ECCV, l'une des
• 0:21
  grandes messes de la vision par ordinateur.
• 0:24
  Au fond d'une salle, un doctorant, un peu nerveux,
• 0:26
  présente les résultats d'un système qu'il vient de finir
• 0:28
  d'entraîner avec son directeur de thèse.
• 0:30
  Le doctorant s'appelle Alex Krygevski, le directeur de thèse
• 0:34
  s'appelle Geoffrey Hinton. Le système s'appelle Alex nette
• 0:37
  et le résultat est brutal. Sur le concours images net de
• 0:41
  cette année-là, Alex nette écrase la concurrence avec 10
• 0:44
  points d'écart. 10 points dans une discipline où on se bat
• 0:47
  habituellement pour gagner 1/2 point, c'est l'équivalent d'un
• 0:50
  séisme de magnitude 9. Le récit officiel commence ce
• 0:54
  jour-là. Le Deep learning a vaincu les
• 0:56
  réseaux de neurones CONVOLUTIFS ont gagné, l'i a moderne est
• 1:00
  née. Tous les manuels reprennent
• 1:01
  cette version qui est pourtant racontée au mauvais endroit
• 1:05
  parce qu'alexneit sur le plan algorithmique, n'invente
• 1:07
  quasiment rien. Les réseaux convolutifs, c'est
• 1:10
  Yann le Cain au belllabs en 1989, la Rétropropagation c'est
• 1:12
  rumelart hinton et Williams en 1986.
• 1:15
  Les unités relues et le dop out sont des ajustements importants.
• 1:21
  Mais il ne porte pas seul. Un séisme à 10 points.
• 1:24
  Ce qui a changé en 2012, ce n'est pas le code, c'est le
• 1:27
  carburant. Le carburant, c'est.
• 1:28
  Image nette, 14000000 d'images étiquetées 20000 catégories, une
• 1:32
  base de données disponible gratuitement depuis 2009.
• 1:34
  Sans cette base, Alex net ne s'entraîne sur rien.
• 1:37
  Avec cette base, n'importe quel modèle suffisamment large
• 1:40
  décolle. Et la personne qui a fabriqué
• 1:45
  cette base, qui s'est battue contre ses collègues, contre ses
• 1:48
  financeurs, contre les comités de relecture pendant 3 ans pour
• 1:51
  qu'elle existe, s'appelle Faye Faye Lee, à l'époque professeur
• 1:55
  assistante à Princeton, 33 ans. Et l'histoire qu'on devrait
• 1:58
  raconter sur la révolution de 2012, c'est la sienne, pas celle
• 2:01
  d'Alex nette. Mais cette histoire là dérange
• 2:04
  parce qu'elle révèle ce que la Silicon Valley n'aime pas
• 2:06
  montrer. La révolution de l'i a n'est pas
• 2:09
  une révolution de cerveau brillant dans des bureaux
• 2:11
  silencieux. C'est une révolution
• 2:14
  industrielle classique. Avec sa chaîne d'assemblage, ses
• 2:17
  ouvriers invisibles et ses subventions cachées.
• 2:20
  Le Doctorant krijevski vivait dans le monde du dessus.
• 2:23
  Fay Fay Li. Elle avait bâti le sous-sol.
• 2:26
  Chapitre 2, la cuisine cachée d'images nettes 14000000
• 2:31
  d'images n'apparaissent pas par magie.
• 2:32
  On va voir qui les a étiquetés. Dans quelles conditions ?
• 2:36
  2006, Faith Eidy est à l'université de Divinois, jeune
• 2:40
  chercheuse en vision par ordinateur et elle observe
• 2:42
  quelque chose qui la frustre profondément.
• 2:45
  Ses confrères passent des années à raffiner des algorithmes sur
• 2:48
  des bases d'images minuscules, quelques milliers d'images,
• 2:51
  quelques dizaines de catégories, les modèles plafonnent et tout
• 2:55
  le monde en conclut que les algorithmes sont à blâmer.
• 2:58
  Faith eidy fait le pari inverse, si les algorithmes plafonnent,
• 3:01
  c'est peut être parce que les données plafonnent les enfants
• 3:04
  humains. Tel dans une interview
• 3:06
  rétrospective au Stanford, profile voit des dizaines de
• 3:09
  1000000 de scènes visuelles avant l'âge de 3 ans.
• 3:12
  Pourquoi un modèle devrait-il apprendre avec 1000 fois moins ?
• 3:15
  L'idée est juste, mais elle est mal reçue.
• 3:17
  En 2007, retour à Princeton comme assistant professeur.
• 3:20
  Elle propose le projet imagnet à ses pairs.
• 3:23
  Refus de financement de la NSF1 collègue lui dit, selon le
• 3:26
  profil reconstitué par Qanta magazine, que personne ne
• 3:29
  donnera jamais d'argent à un projet de catalogage d'images.
• 3:34
  Elle persiste, elle s'appuie sur wordnet, une base de données
• 3:37
  linguistique construite à Princeton depuis 1985 par
• 3:39
  Christiane Feldbaum, qui organise 22000 noms communs
• 3:42
  anglais en hiérarchie. C'est sa structure mère.
• 3:44
  Pour chaque mot de wordnet, elle veut au moins 1000 images.
• 3:47
  Calcul rapide, 22000 mots fois 1000 images, ça fait 22000000
• 3:51
  d'images à trouver et à étiqueter à la main.
• 3:53
  À ce moment-là, elle paie des étudiants de Princeton à 10$ de
• 3:57
  l'heure pour annoter chacune des images, une par une, au rythme.
• 4:04
  Observée, elle estime qu'il faudra 19 ans pour terminer la
• 4:08
  bascule. C'est l'été. 200071 de ses
• 4:10
  doctorants lui parle d'une plateforme qu'Amazon a lancé
• 4:12
  discrètement en 2005, mechanical Turk.
• 4:14
  Des dizaines de milliers de personnes dans le monde
• 4:17
  acceptent de réaliser des micro tâches en ligne pour quelques
• 4:20
  0,00€ la pièce Faye DY voit immédiatement le levier qui
• 4:24
  change le projet d'échelle. Elle reformule la tâche pour
• 4:27
  chaque image candidate associée à un mot.
• 4:29
  Plusieurs workers indépendants doivent voter.
• 4:34
  Et un système de consensus filtre les votes incohérents.
• 4:38
  Le travail démarre en juillet 2008.
• 4:39
  Selon la documentation publique d'images nettes, il mobilisera
• 4:42
  49000 travailleurs répartis dans 167 pays, à raison d'environ 50
• 4:46
  images par minute par travailleur.
• 4:51
  Le chantier se termine en avril, 20001022 mois plus tard.
• 4:54
  Avec 14000000 d'images étiquetées sur 20000 catégories
• 4:56
  en 2012, Imagenet est le plus gros utilisateur académique de
• 5:00
  mechanical Turk dans le monde. La rémunération moyenne
• 5:03
  tournait, selon les estimations recoupées par l'enquête de la
• 5:06
  chercheuse Marie Gray dans son livre ghostwork, publié en 2019,
• 5:09
  autour de 2$ de l'heure pour les turkers actifs sur ce type de
• 5:13
  tâches. Voilà à quoi ressemble la
• 5:15
  matière première du Deep learning.
• 5:16
  Une chaîne d'assemblée. Planétaire de cliqueurs
• 5:22
  invisibles, payés à la pièce, sans contrat, sans assurance et
• 5:26
  dont les noms ne figurent dans aucun papier scientifique.
• 5:32
  Chapitre 3, le playbook s'est répliqué partout.
• 5:36
  Ce qui a marché pour image net est devenu la signature
• 5:39
  industrielle de toute l'i a moderne.
• 5:41
  Première infection à retenir, ce qui a été fait pour image net en
• 5:44
  2008 n'était pas un accident historique.
• 5:46
  C'était le prototype d'un mode de production qui structure
• 5:48
  aujourd'hui toute la chaîne de valeur de l'i a prenons
• 5:50
  l'exemple le plus actuel, le RLHF, l'apprentissage par
• 5:53
  renforcement à partir de feedback humain qui a transformé
• 5:56
  GPT3 en chat GPT en novembre 2022.
• 5:59
  Cette technique exige des dizaines de milliers
• 6:01
  d'annotateurs humains qui notent en continuent les réponses du
• 6:04
  modèle qui compare 2 sorties qui signalent.
• 6:06
  Les toxicités. Sans eux, le modèle reste un
• 6:08
  perroquet statistique brillant et imprévisible.
• 6:11
  Avec eux, il devient un assistant.
• 6:13
  L'enquête de référence du Time magazine de janvier 2023, signée
• 6:15
  par Billy Périgo, a documenté comment open AI sous traitée à
• 6:19
  Sama, une entreprise basée à San Francisco mais opérant à
• 6:21
  Nairobi, l'étiquetage des contenus les plus toxiques
• 6:24
  produits par GPT. Des Annotateurs Kényans payés,
• 6:25
  selon le reportage entre un et 2$ de l'heure, devaient lire des
• 6:29
  descriptions explicites d'abus sexuels, de violence, de
• 6:31
  meurtre, de discours de haine pour entraîner.
• 6:36
  Le modèle allait refuser. Plusieurs ont développé un
• 6:38
  syndrome de stress post traumatique documenté par leurs
• 6:41
  avocats lors d'une plainte déposée à Nairobi en 2023.
• 6:44
  Même schéma, presque exactement que les modérateurs de Facebook
• 6:47
  aux Philippines, décrits par le documentaire the Cleaners en
• 6:50
  2018. Tirons la lecture industrielle,
• 6:52
  la conversation polie et raisonnable de votre chatbot a
• 6:55
  été écrite à la sueur d'un autre continent.
• 6:57
  Et c'est Fay Fay le qui, sans l'avoir explicitement voulu, a
• 7:00
  inventé cette architecture de production.
• 7:02
  Elle ne l'a pas inventé par cynisme, elle l'a inventé par
• 7:05
  ingéniosité de chercheuse. Face à un mur de financement.
• 7:07
  Mais ce qui marchait pour étiqueter des chats et des
• 7:10
  chiens fonctionne aussi pour calibrer la frontière du
• 7:12
  tolérable. C'est la même chaîne
• 7:13
  démultipliée à l'échelle de l'industrie, et le résultat pour
• 7:16
  un dirigeant qui regarde son budget I à en 2026 doit poser
• 7:19
  une question précise, quand vous payez une licence à un
• 7:21
  fournisseur LLM qu achetez vous au juste ?
• 7:24
  3 étages tiennent dans le tarif. Le plus visible, c'est le
• 7:27
  compute, autrement dit des GPU et de l'électricité.
• 7:30
  L'étage médian, c'est l'algorithme, les poids du
• 7:32
  modèle optimisé pendant des mois sur des clusters dédiés et au
• 7:35
  sous-sol invisible sur la facture, vient le travail cumulé
• 7:38
  de centaines de milliers d'annotateurs payés au tarif
• 7:41
  minimal de pays, sans réglementation forte.
• 7:43
  Cette 3e couche, qu'on appelle dans le jargon industriel le
• 7:46
  Human in the loop, représente, selon les estimations rendues
• 7:49
  publiques par entropiques en 2024, entre 15 et 25% du coût
• 7:53
  total de mise au point d'un modèle.
• 7:54
  Entière fait failli a inventé un mode de production et ce mode de
• 7:58
  production reste la couche cachée la moins discutée de
• 8:00
  l'économie de l'i a. Chapitre 4, ou la première fois
• 8:05
  où le système s'est retourné contre elle, la même
• 8:08
  intelligence qui a vu la donnée n'a pas vu la politique.
• 8:11
  Janvier 2017, Fay Faydi accepte de quitter temporairement
• 8:14
  Stanford pour rejoindre Google en tant que Chief Scientist for
• 8:18
  AI and machine learning de Google cloud.
• 8:21
  Diane Green, qui dirige Google cloud à l'époque, veut une
• 8:23
  figure scientifique reconnue pour rattraper Amazon web
• 8:26
  Services et Microsoft Azure sur les services ia en entreprise.
• 8:31
  Le recrutement est public, presque triomphal, et 9 mois
• 8:34
  plus tard, en septembre 2010, 71E mail interne circule à
• 8:36
  Mountainview qui va tout changer.
• 8:37
  Scott frohmann, le responsable des ventes défense et
• 8:41
  renseignements chez Google, demande à Faye faily des
• 8:43
  Conseils pour communiquer sur un contrat que Google vient de
• 8:46
  signer avec le département de la défense des États-Unis.
• 8:50
  Un contrat de 9000000 de dollars.
• 8:52
  Nom de code, Project Maven, dont l'objet est de développer un
• 8:55
  système d'i. A pour identifier des objets et
• 8:57
  des personnes dans les images vidéo des drones militaires.
• 8:59
  La réponse de Fay Fay D. Révélée par le New York Times en
• 9:03
  mai 2018, tient en une phrase qui restera dans les mémoires de
• 9:06
  la Silicon Valley, a void at alcost any mention Or
• 9:09
  implication of AI éviter à tout prix toute mention ou
• 9:13
  implication d'i a. Elle ajoute, je cite, this is
• 9:17
  Red meet to the Media to find always to damage Google.
• 9:21
  C'est de la viande rouge pour les médias qui cherchent un
• 9:23
  angle pour démolir Google. Elle avait raison de le prévoir
• 9:26
  quand l'information fuite. Début 2018, plus de 3000
• 9:29
  employés de Google signent une pétition interne demandant
• 9:31
  l'arrêt du contrat. Une dizaine démissionne avec
• 9:33
  lettre publique. En juin 2018, Google annonce ne
• 9:36
  pas renouveler le contrat meven à son expiration en mars 2019,
• 9:39
  sous la pression interne. Fay feely, elle quitte ses
• 9:44
  fonctions à Google cloud en septembre 2018, officiellement
• 9:48
  pour retourner enseigner à Stanford.
• 9:50
  Dans les faits, parce que sa position est devenue intenable.
• 9:54
  Tirons la leçon stratégique de l'épisode, Fay Feely avait vu,
• 9:57
  plutôt que la plupart de ses pairs, que la donnée étiquetée
• 10:00
  allait devenir l'intrant stratégique de l'i.
• 10:02
  A elle l'avait industrialisée à Princeton dès 2009.
• 10:06
  Mais elle n'avait pas vu en 2017 que cette même IA allait devenir
• 10:09
  un actif géopolitique et militaire et que sa moindre
• 10:12
  association avec un État ferait l'objet d'une mobilisation
• 10:15
  morale interne, pas seulement externe.
• 10:18
  Ce n'est pas un défaut personnel, c'est un trou de
• 10:20
  génération. La cohorte des fondateurs et
• 10:23
  fondatrices de l'i. A des années 2000A été formée à
• 10:25
  avoir le problème de l'algorithme et le problème des
• 10:27
  données, mais pas le problème politique de la diffusion.
• 10:31
  Meven a été pour Fay fadi le moment d'apprentissage forcé
• 10:35
  d'une dimension qu'elle n'avait pas codée dans son modèle mental
• 10:37
  de la technologie. De retour à Stanford fin 2018,
• 10:41
  elle cofonde le Stanford Human Center AI Institute, le Hai, qui
• 10:45
  est explicitement un institut de gouvernance, pas un laboratoire
• 10:48
  d'optimisation. La trajectoire est claire, elle
• 10:51
  a tiré la leçon. Chapitre 5, le pari spatial.
• 10:58
  Pourquoi Word Labs vaut déjà un milliard et lève un autre
• 11:01
  milliard en février 2026 ? Avril 2024, Faith failli annonce
• 11:04
  qu'elle cofonde une start-up qui s'appelle Word Labs.
• 11:06
  Avec elle, 3 cofondateurs aux compétences très précises,
• 11:09
  Justin Johnson, ancien doctorant de Stanford devenu spécialiste
• 11:12
  de la génération d'images à Michigan, Christophe Lasner, ex
• 11:15
  chercheur Meta sur le rendu Neuronal, et surtout Ben Milden
• 11:19
  Hall, l'un des co créateurs en 2020 des neural radians Fields,
• 11:22
  mieux connus sous l'acronyme nerf, qui ont révolutionné la
• 11:25
  reconstruction de scènes en. 3 dimensions à partir de quelques
• 11:29
  photos. La promesse de l'entreprise
• 11:31
  tient en 2 mots, spatial, intelligence, intelligence
• 11:33
  spatiale. Septembre 2024, sortie du mode
• 11:36
  furtif levée de fonds de 230000000 de dollars,
• 11:39
  valorisation un milliard investisseurs principaux,
• 11:42
  andrissen Horowitz, nvidia, radical Ventures, AMD, Fidelity,
• 11:46
  Autodesk, Emerson collective et le conglomérat singapourien.
• 11:49
  Si. Février 2026, 2e tour, un
• 11:52
  milliard de dollars supplémentaires levés sur le
• 11:54
  même thésaurus d'investisseurs renforcés Selon Yahoo finance et
• 11:57
  the. Question évidente, qu'est ce qui
• 11:59
  justifie une valorisation de cet ordre pour une société de moins
• 12:02
  de 2 ans qui n'a publié pour l'instant qu'un produit de
• 12:05
  démonstration appelé Marvel ? La réponse de Faith Faily,
• 12:08
  qu'elle a développée dans son livre the World IC, publié chez
• 12:11
  Flat Iron Books en novembre 2023, est reprise dans plusieurs
• 12:13
  interviews à Wired et au MIT Technology review en 2024.
• 12:16
  Et net. Le langage seul est un plafond.
• 12:18
  Les modèles de langage ont prouvé qu'on pouvait extraire
• 12:20
  énormément d'intelligence d'un corpus textuel, mais il leur
• 12:22
  manque une dimension fondamentale.
• 12:28
  La compréhension du monde physique en 3 dimensions, du
• 12:30
  mouvement, de l'occlusion, de la profondeur, du fait qu'un objet
• 12:33
  existe quand on ne le voit plus. Cette dimension qu'aucun
• 12:36
  téraoctet de texte ne contient est ce que Word Labs veut
• 12:39
  modéliser ? La position est point pour
• 12:41
  point, l'inverse de celle que turing tenait en 1950 quand il
• 12:44
  refusait l embaudiment tirons la lecture stratégique premium,
• 12:46
  Word Labs ne lève pas un milliard de dollars sur une
• 12:49
  promesse algorithmique, elle le lève parce qu'elle est la
• 12:52
  première à parier que la prochaine couche DI à aura
• 12:54
  besoin d'un nouveau type de carburant.
• 12:55
  Pas de texte, pas. Plates mais des scans en 3
• 12:59
  dimensions des reconstructions volumétriques des environnements
• 13:03
  simulés réalistes. La question intéressante n'est
• 13:05
  donc pas technique, elle est industrielle, qui va produire ce
• 13:08
  nouveau carburant ? Avec quel travailleur, dans
• 13:10
  quelles conditions ? La même faily Faily, qui a
• 13:12
  inventé en 2008 le mode de production basé sur mecanical
• 13:15
  Turk, doit aujourd'hui, en 2026, inventer le mode de production
• 13:19
  de la donnée spatiale. Et tout indique qu'elle a déjà
• 13:22
  commencé. Les recrutements publics de
• 13:23
  World Labs en 2025 mentionnent des partenariats avec des
• 13:26
  studios de capture volumet. À Los Angeles, à Séoul et à Sao
• 13:30
  Paulo, le sous-sol se ré outille boucle bouclée.
• 13:33
  La carrière de fait failli raconte une seule chose, sur 3
• 13:36
  cycles successifs, la valeur dans l'i a ne se trouve jamais
• 13:39
  où les manuels regardent. Elle se trouve dans la cuisine
• 13:41
  du dessous, celle qui fabrique le signal que les machines
• 13:44
  apprennent. Vous écoutiez faithfaily le
• 13:46
  scoop industriel derrière la révolution de l'i a merci
• 13:48
  d'avoir écouté jusqu'au bout. Si cet épisode vous a parlé,
• 13:51
  partagez le.