Latest / Le Dernier Clic (avant la fin du monde) / 11 - IA frugale : les vrais coûts d'un token

Transcript

11 - IA frugale : les vrais coûts d'un token · Le Dernier Clic (avant la fin du monde)

0:10
Bonjour et bienvenue dans le Dernier Clic,
0:12
votre podcast tech,
0:13
IA et no code.
0:14
On se retrouve cette semaine avec Lulu.
0:16
Comment tu vas Lulu ?
0:18
Fatiguée mais ça va.
0:19
Oui,
0:20
dur comme le matin.
0:21
On enregistre un matin,
0:22
on n'a pas l'habitude.
0:23
À 11h du matin,
0:24
oui c'est ça.
0:25
Oui,
0:26
le matin tôt,
0:27
c'est l'aube de l'aurore.
0:28
Et aujourd'hui,
0:30
on se retrouve pour un épisode thématique sur l'IA frugale.
0:34
On va se calculer.
0:36
Ouais.
0:36
Si vous n'avez pas suivi nos précédents épisodes,
0:39
je vous invite quand même à aller écouter ce qu'on s'est dit côté un peu fondamentaux de l'IA,
0:45
notamment les briques de l'IA gentilles aussi.
0:47
Ça peut être cool pour comprendre un petit peu les principes.
0:51
On mettra les liens à des épisodes précédents.
0:54
Et donc,
0:55
après avoir parlé des communs numériques la dernière fois,
0:57
un petit peu sur l'aspect open source et vers où on allait,
1:00
notamment côté IA,
1:01
sur les modèles qui étaient ouverts et donc qu'on pouvait déployer.
1:05
entre guillemets chez soi,
1:06
en tout cas sur ses propres serveurs,
1:08
sur son propre ordinateur.
1:10
Aujourd'hui,
1:10
on va parler de l'IA frugale,
1:11
définir un peu ce que c'est.
1:13
Et dans les cas en ligne,
1:14
en fait,
1:16
avant qu'on se lance,
1:17
l'IA frugale,
1:17
ça va être le fait de parler d'IA plus efficiente,
1:21
plus en accord d'un point de vue environnemental,
1:24
et voilà,
1:25
qu'il soit moins gourmand,
1:26
moins énergivore,
1:27
mieux pensé.
1:29
On va essayer de vous expliquer un petit peu tout ça.
1:33
les différentes techniques qu'il existe,
1:35
un petit peu des choses qui se font,
1:38
et vers quoi on peut tendre si on essaye d'utiliser l'IA d'une manière un peu plus raisonnée,
1:42
intelligente et efficiente.
1:44
Et surtout,
1:45
pourquoi cette problématique se pose ?
1:48
Pourquoi est-ce qu'on ne continue pas à fonctionner juste comme on le fait aujourd'hui ?
1:51
Tout à fait.
1:54
Même si on verra qu'il n'y a rien de simple dans l'histoire.
1:57
C'est très complexe,
1:58
comme énormément de sujets où il y a une adoption très rapide comme l'IA.
2:03
Alors,
2:05
écoute,
2:06
c'est parti.
2:08
Est-ce qu'à la limite,
2:10
tu veux bien nous rappeler un petit peu l'actualité,
2:13
en tout cas la news qui nous a fait tiquer et invité aussi à aller sur ce sujet-là ?
2:19
C'est vrai qu'on peut voir l'intelligence artificielle.
2:22
Je pense que tout le monde est un peu au courant qu'il y a des conséquences sur l'environnement,
2:27
que ce n'est pas neutre comme technologie,
2:29
ce n'est pas juste quelque chose qui se passe dans les nuages.
2:32
comme on aimerait bien nous faire un peu abstraire tout ça.
2:38
En général,
2:38
le sujet environnemental,
2:39
c'est rarement l'objectif principal des boîtes.
2:45
Mais après,
2:45
quand ça commence à toucher au portefeuille,
2:48
là,
2:50
peut-être que les boîtes vont commencer à s'en emparer.
2:52
Et c'est justement l'actualité qui nous a fait nous pencher là-dessus.
2:56
Et c'est
2:57
Uber qui avait déclaré avoir...
3:02
cramé.
3:03
Ces tokens qu'ils avaient alloués pour l'année,
3:05
le budget alloué à l'IA sur l'année,
3:07
ils l'avaient cramé en un trimestre.
3:11
Juste,
3:11
pardon,
3:11
petite précision avant que tu continues.
3:12
Pour un rappel,
3:13
pour celles et ceux qui n'ont plus forcément en tête,
3:17
les tokens,
3:17
c'est l'unité de mesure d'une IA générative.
3:21
Quand elle vous parle,
3:24
elle parle en token,
3:25
en syllabes,
3:25
globalement.
3:27
Et c'est ce qui sert aussi en unité de mesure aujourd'hui dans les coûts réels.
3:30
donc soit vous avez des abonnements comme vous avez pour du cloud,
3:34
chat GPT et tout ça et en fait c'est ce qu'on appelle le IA subventionné c'est à dire que vous allez consommer plus de tokens que ce que ça coûte réellement et voilà il vous faut un petit cadeau pour vous garder captif de l'écosystème soit vous allez payer directement à l'usage c'est ce qui se fait le plus dans la partie développement et API et automatisation et un peu tout ça et
3:55
donc c'est l'unité de mesure et aujourd'hui ce qui s'est passé c'est que Uber a
3:59
avait acheté une quantité comme ça de token pour l'année,
4:03
a utilisé donc une quantité d'IA générative qu'elle avait le droit d'utiliser sur l'année.
4:07
Et au lieu de racheter plus de token,
4:12
c'est le directeur,
4:15
je crois,
4:15
opérationnel qui met un hola sur l'utilisation de l'IA parce qu'il ne voit pas forcément de gros changements de productivité.
4:25
Donc maintenant,
4:27
on ne va plus forcer.
4:28
les personnes à utiliser l'IA.
4:30
Parce que c'est aussi une autre tendance qu'on avait pu voir,
4:33
notamment chez Amazon ou dans des grosses boîtes tech américaines.
4:36
Alors,
4:36
je ne sais pas si c'est le cas en Europe ou pas,
4:39
mais cette tendance de token maxing où presque on met des tableaux de comparaison entre les employés qui utilisent le plus de tokens pour voir leur productivité.
4:49
Sauf qu'on sait très bien que c'est...
4:53
Pas corrélée à la productivité,
4:54
si bien qu'il y a même des salariés qui faisaient tourner leur IA sur des tâches complètement débiles pour les faire boucler et monter dans les tableaux,
5:02
quoi,
5:03
pour gagner des rangs.
5:04
Et c'est un peu...
5:06
Comme,
5:06
je ne sais pas,
5:08
les développeurs ou les pseudo-développeurs qui disent « Ouais,
5:11
mais moi,
5:12
j'ai déjà 80 000 lignes de code. »
5:13
Enfin,
5:14
ce n'est pas les lignes de code qui comptent pour parler par rapport à la qualité d'un logiciel.
5:21
Voilà,
5:21
là,
5:21
on est énormément dans la quantité.
5:23
Il y a presque illimité où on force tout le monde à l'utiliser.
5:27
Sauf qu'on se rend compte que ça coûte cher.
5:30
Donc ça,
5:30
c'est vraiment l'angle qui va peut-être faire aller vers plus.
5:36
d'open source ou de modèles moins chers ou adopter des techniques diafrugales.
5:40
Et forcément,
5:41
par extension,
5:42
ça sera mieux pour l'environnement.
5:44
Mais c'est rarement par là que les boîtes se disent il y a ou peu importe les autres domaines,
5:50
il faut que ça touche au portefeuille.
5:52
Et ça va toucher au portefeuille.
5:53
Donc ça commence par les entreprises,
5:54
mais ça va arriver aussi sur les particuliers.
5:58
Donc plus vite on adopte ce type de technique,
6:01
mieux on est préparé.
6:03
pour le moment,
6:04
pour le jour où les abonnements,
6:06
les limites baissent encore,
6:08
enfin augmentent,
6:09
enfin bref.
6:10
Il y a plus de limites,
6:12
ou alors ça devient de plus en plus cher,
6:14
ou alors c'est plus subventionné,
6:15
et faire tourner ces produits sur des techniques comme si ce qu'on a aujourd'hui continuera d'être demain,
6:23
alors que ça bouge très très vite.
6:25
Ça,
6:25
on en avait parlé aussi,
6:26
mais
6:27
Anthropique, qui au niveau des entreprises,
6:31
même tout ce qui est automatisé.
6:34
où il le fait passer sur un API,
6:35
je ne sais pas si tu veux en parler rapidement.
6:39
Alors,
6:40
je veux revenir justement sur quelque chose que tu as expliqué juste avant,
6:42
pour revenir sur le token maxing.
6:44
En fait,
6:44
je trouve ça marrant parce que c'est un peu le...
6:46
On va en dire,
6:47
les fake escoules des boîtes qui ont fait du forcing sur l'IA à vouloir que les employés l'adoptent absolument,
6:54
même quand ce n'était pas nécessaire,
6:56
même quand ils n'étaient pas formés et prévenus.
7:00
Et du coup...
7:02
A partir du moment où on a voulu les obliger à utiliser l'IR,
7:05
ils ont dit ok,
7:05
je vais m'en servir,
7:06
et ils l'ont utilisé de manière complètement déraisonnée,
7:10
justement en bourrant l'usage,
7:11
en automatisant à fond,
7:13
et en se disant qu'à partir du moment où ça produisait des choses,
7:16
on les voyait comme des gens productifs.
7:19
Mais typiquement,
7:20
le cas du beurre,
7:21
on est dans un système où une grosse boîte a voulu forcer le truc sans le faire de manière réfléchie,
7:28
et ça retrouvait...
7:30
dans une situation absurde,
7:31
avoir tout consommé pour des résultats qui n'étaient pas là.
7:35
Et voilà,
7:36
ce sera eux,
7:37
ce ne sera pas les seuls.
7:38
Après,
7:38
il y a quand même une vraie problématique sur les entreprises,
7:41
c'est le fait,
7:42
si de base,
7:43
en amont,
7:43
on n'a pas bien pensé ces process,
7:45
on n'a pas évalué comment,
7:47
enfin voilà,
7:48
d'un point de vue,
7:49
il y a en fait ce qu'on consommait pour tel ou tel usage,
7:52
on se retrouve avec des estimations qui peuvent être complètement sous-cotées.
7:57
Et voilà,
7:57
ils se retrouvaient dans une situation aussi comme celle-là.
8:00
Donc c'est tout un cadre,
8:01
c'est tout un ensemble qui,
8:03
cumulé,
8:04
mis bout à bout,
8:05
arrive à une situation comme celle d'Uber.
8:07
Pour revenir sur le cas d'Anthropic,
8:10
donc effectivement,
8:12
Anthropic,
8:12
en gros,
8:13
propose des abonnements pour les particuliers avec plusieurs paliers,
8:17
et pour les entreprises,
8:18
un peu sur les mêmes logiques.
8:20
Vous avez l'abonnement à 20 euros un petit peu pour tout le monde qui va servir pour le quotidien,
8:24
on va dire.
8:26
et dès qu'on rentre sur les abonnements au-dessus,
8:28
là,
8:28
ça va être vraiment pour la partie développement avec du code,
8:32
la partie usage métier qui peut être davantage avec des automatisations ou en tout cas avec plus de contexte,
8:39
plus de documents,
8:40
plus d'usage intensif.
8:41
Si vous avez déjà utilisé ce type d'outil,
8:43
vous avez bien vu qu'il y a des limites.
8:45
Et chez Cloud et S1,
8:46
c'est des limites de toutes les 5 heures,
8:47
des limites d'utilisation et des limites à la semaine.
8:51
Et en fait,
8:52
le fait de monter sur les abonnements permet de pallier à ça.
8:54
d'avoir des quotas et des limites qui sont plus hautes mais typiquement en mai
9:00
Entropiq a annoncé que justement pour les parties entreprises ils allaient arrêter de subventionner au delà du montant de l'abonnement c'est à dire que par exemple si vous étiez sur un abonnement à 100€ les 20 premiers euros ils vont continuer à être très large vous aurez beaucoup plus de tokens que ce que représentent
9:18
les 20€ par contre quand vous dépassez ces 20€ vous allez être sur un usage
9:23
type API donc d'un usage en temps réel.
9:26
Donc vous avez littéralement vous avez droit en gros à 100 balles d'usage par API par mois.
9:34
Mais aujourd'hui quand on utilise un abonnement on a droit à je crois que c'était un indice de 8 fois plus ou quelque chose comme ça donc l'écart pour quelqu'un qui utilisait très fort ce type d'abonnement va faire très très mal et on va voir un peu comment ça se passe justement à partir de juin et les prochains mois.
9:51
Je sais que ça passe aux US,
9:53
je ne sais pas si c'était applicable en Europe pour la partie entreprise,
9:56
mais en tout cas c'est une réalité.
9:58
Sur d'autres usages,
9:59
côté automatisation et boîte,
10:00
pareil,
10:00
ils ont commencé à dire on arrête la partie limitée que vous avez avec les abonnements,
10:05
maintenant vous allez payer à la consommation,
10:07
payer à l'usage,
10:08
et petit à petit les autres acteurs vont le faire aussi.
10:11
Ça ne convient pas à tout le monde.
10:13
Anthropique est le premier à le faire à ce point parce que c'est les premiers qui approchent de la rentabilité.
10:18
Elle devait être rentable à la base plus tard que ça et finalement,
10:20
ils vont probablement l'être en 2027.
10:23
Oui,
10:23
ça peut paraître fou de se dire qu'une des plus grosses boîtes aujourd'hui dans l'innovation et dans la tech est une boîte qui a quand même fait,
10:30
en deux ans,
10:31
a atteint un revenu annuel annuel récurrent de...
10:39
en stick.
10:40
Quoi de 45 millions ?
10:42
Milliards ?
10:42
Pardon,
10:42
je ne sais plus.
10:43
Je ne sais plus le montant exact,
10:44
mais en gros,
10:44
en deux ans,
10:46
ils ont fait la même chose que ce que Microsoft a mis 15 ans à faire.
10:50
Donc on est sur des échelles et une rapidité qui fait peur.
10:55
Mais du coup,
10:56
une boîte comme ça n'était pas encore rentable,
10:58
va l'être,
10:58
alors qu'à côté,
10:59
ils sont en confrontation avec la rentrée en bourse,
11:01
avec du SpaceX,
11:02
qui eux sont vraiment luneurs,
11:04
et ça n'a aucun sens ce qu'ils font.
11:07
qui rentre en bourse la semaine prochaine,
11:08
on va voir ce que ça donne l'histoire,
11:11
et OpenAI qui est encore à perte pour un moment.
11:16
C'est pour ça qu'ils avaient arrêté Sora aussi,
11:19
OpenAI,
11:19
ça leur coûtait trop cher.
11:21
Ils ont recadré,
11:22
sachant qu'il y a une problématique qui les touche tous,
11:26
c'est la disponibilité des data centers.
11:29
Pour la faire très courte,
11:30
et ça nous permettra d'aller sur un peu justement,
11:33
qu'on revienne sur les...
11:34
l'aspect un peu plus frugal et comment ça peut se concrétiser.
11:37
Mais pour que vous représentiez un petit peu,
11:39
l'IA générative,
11:40
pour fonctionner,
11:41
elle a besoin d'un data center,
11:43
d'un centre de données qui va faire tourner des cartes graphiques pour pouvoir faire fonctionner les différents réseaux de neurones et les différents IA,
11:55
les différents modèles d'IA.
11:58
Donc ces data centers,
11:59
il faut les alimenter en deux choses,
12:02
essentiellement.
12:03
En électricité,
12:05
Et en carte graphique.
12:07
Depuis 2-3 ans,
12:08
justement,
12:09
au fur et à mesure qu'il y a eu l'engouement sur l'IA,
12:11
la course a été de se dire on va lancer plein de chantiers de data center un peu partout dans le monde,
12:17
on va barder le truc comme des ânes pour pouvoir répondre à la demande et être super compétitif et faire ça.
12:23
De toute façon,
12:24
c'est l'avenir et il faut y aller comme des beaux.
12:26
En pratique,
12:27
sur la partie data center,
12:29
Je crois que c'est la moitié ou les deux tiers des data centers prévus pour cette année aux Etats-Unis ne vont pas être réalisés dans les temps pour plein de raisons.
12:38
Parce qu'il y a des problèmes au niveau des chantiers,
12:41
il y a des problèmes au niveau des ressources,
12:48
et des ressources matérielles.
12:49
Vu que tout le monde s'est lancé sur les mêmes marchés au même moment et a cannibalisé la demande,
12:56
vous avez
12:57
On en a déjà parlé ici un petit peu et vous avez dû en entendre parler aussi,
13:01
il y a une vraie crise de l'infrastructure,
13:04
avec notamment la mémoire,
13:06
donc la RAM,
13:07
qui va être utilisée dans les cartes graphiques et dans d'autres matériels du grand public.
13:13
Alors ce n'est pas exactement la même techno,
13:15
le cartes graphiques,
13:16
mais en gros les fabricants ont décidé de s'orienter sur la technologie qui est utilisée dans les data centers,
13:21
parce que c'était beaucoup plus rentable.
13:23
Ce qui fait que le...
13:24
marché grand public et du reste de l'industrie est en pénurie et ce qui fait que sur les data centers comme tout le monde en veut mais c'est aussi en crise et et en plus de ça mais sur la partie data center il ya plein de choses qui rentrent en compte donc le fait de pouvoir il faut permettre
13:41
l'approvisionnement électrique donc il y en a comme elon musk qui ont grugé avec colossus
13:47
1 qui ont fait des data centers alimentés avec des turbines à gaz mobile pour
13:55
déjouer la législation en place.
13:58
Alors déjà que les législations aux Etats-Unis sont déjà relativement laxistes,
14:01
mais du coup il les a contournées,
14:04
notamment en allant,
14:06
au lieu de mettre en place en gros tout un système fiable qui est censé être cohérent avec l'ensemble du bassin,
14:14
il amène des camions avec des turbines à gaz,
14:16
il balance ça à l'arrache et puis régulièrement il fait tourner les camions pour rester dans les clous,
14:21
à peu près.
14:23
Mais c'est une hérésie pure en termes d'alimentation électrique.
14:28
Et d'écologie.
14:30
Et d'écologie.
14:31
Et il faut savoir que même Anthropic a fait un petit accord avec Elon Musk pour profiter de ce data center-là.
14:35
Petit.
14:36
Notamment.
14:37
Petit gros accord,
14:38
mais bon,
14:38
parce qu'ils étaient sous trop de demandes.
14:40
Et bref,
14:41
en fait,
14:41
c'est...
14:42
Juste pour terminer sur les data centers et le fonctionnement.
14:44
Donc voilà,
14:45
ça va être très...
14:47
Je suis désolé,
14:47
je le fais de manière très,
14:48
très,
14:48
très synthétique et résumée.
14:50
N'hésitez pas à aller rechercher un peu sur...
14:52
sur internet pour avoir le détail et si ça vous intéresse au niveau de ce que ça consomme et ça crée.
14:58
Mais voilà,
14:59
à retenir,
15:00
c'est que ça consomme énormément,
15:01
que sur l'autre frein qu'il y a aujourd'hui sur l'implantation des data centers,
15:06
ce sont les gens.
15:07
Parce qu'aux Etats-Unis,
15:09
le réseau électrique est très mauvais,
15:12
très instable et coûte très cher.
15:15
Et en fait,
15:16
quand une boîte comme Google se met à un endroit,
15:18
ils vont prendre en charge une partie de l'abonnement et des choses comme ça sur les gens,
15:24
sur les populations autour pour qu'elles soient inclines et OK avec le fait de s'installer.
15:29
Sauf qu'une fois que ça tourne,
15:30
ça peut consommer l'électricité justement des habitations,
15:33
ce qui engendre des coupures,
15:33
ce qui engendre des hausses d'électricité,
15:35
je crois,
15:36
sur les États-Unis,
15:36
dans certains États.
15:38
Oui,
15:39
en Virginie.
15:39
Je crois que c'est au Texas.
15:41
Virginie s'est grimpée de...
15:44
Presque 300%
15:45
en 5 ans,
15:46
les factures d'électricité.
15:48
Donc là,
15:48
on n'est pas sur de la petite augmentation.
15:51
C'est surtout qu'en général,
15:54
les populations,
15:55
là où on va installer des data centers,
15:57
ce n'est pas les populations les plus riches.
15:59
C'est en général des personnes qui sont déjà un peu précaires parce qu'en plus,
16:02
les data centers,
16:03
ce n'est pas tout propre.
16:04
Il y a aussi des émissions de particules fines.
16:06
Surtout que c'est une très bonne idée d'aller installer des data centers dans un endroit où il fait chaud.
16:10
Parce qu'il faut quand même aussi les refroidir.
16:13
C'est une...
16:13
partie de la facture d'électricité.
16:15
Oui,
16:17
tu as tout à fait raison.
16:18
C'est à dire que bon ça tient énormément de jus,
16:19
ça impacte la population locale,
16:21
ça génère énormément de chaleur,
16:24
ça tape aussi dans la consommation d'eau.
16:26
Quand on parle,
16:27
et vous avez peut-être déjà entendu des histoires de oui quand je génère une image avec ChatGPT,
16:34
ça me consomme tant de bouteilles d'eau.
16:37
Alors en fait la réalité elle est très différente,
16:39
enfin elle est très différente si ça tape de l'eau.
16:42
mais ça va dépendre complètement de data center au niveau de sa taille,
16:45
au niveau de où il est,
16:46
au niveau du matériel qui est utilisé derrière.
16:48
Et pourquoi ça consomme de l'eau ?
16:50
C'est parce qu'en fait,
16:51
la chaleur qui est générée par les cartes graphiques va passer dans des systèmes d'aération.
16:57
Et tout un système justement avec des...
17:00
Je ne vais pas rentrer dans le détail,
17:03
mais en gros,
17:03
la manière dont ça va refroidir va provoquer de l'évaporation et donc occasionner de la perte d'eau à un moment donné.
17:11
Même si c'est en circuit fermé que ça tourne,
17:12
au bout d'un moment,
17:13
ça génère de la perte.
17:15
Et donc,
17:15
on se retrouve avec une consommation d'eau et d'électricité qui est par accord.
17:21
Et les boîtes aussi grugent avec la conformité,
17:28
en tapant dans une centrale à charbon un endroit pour récupérer les lecs,
17:34
pour alimenter leur data center.
17:36
Mais à côté de ça,
17:37
elles vont investir dans de l'éolien.
17:41
quelque chose de plus écologique,
17:43
mais à l'autre bout de l'État ou à l'autre bout du continent.
17:47
Et ce qui permet,
17:48
à la fin de l'année,
17:49
sur un bilan RSE,
17:50
de montrer que on est dans les clous,
17:52
regardez,
17:54
on a de l'éolien,
17:55
on a un équilibre,
17:56
alors qu'en pratique,
17:57
il y a des data centers qui vont taper de l'énergie électrique qui est complètement dégueulasse.
18:03
C'est de la magouille,
18:04
comme un peu les quotas CO2 qui ont été mis aussi en place en Europe,
18:08
où des entreprises très très polluantes vont racheter des quotas CO2 à des entreprises qui polluent moins.
18:13
Et voilà,
18:14
c'est un sacré marché de ce côté-là aussi.
18:18
Mais c'est aussi pour dire là rapidement,
18:21
c'est pas parce que l'eau s'évapore,
18:22
enfin oui,
18:22
on dit le cycle de l'eau,
18:24
donc à un moment ça va revenir,
18:25
sauf qu'avec le dérèglement climatique,
18:27
c'est aussi déréglé le cycle de l'eau.
18:29
Et on se rend compte qu'il y a une partie de l'eau douce.
18:32
qui part et qui finalement va devenir de l'eau salée,
18:34
donc qui n'est plus consommable et qui n'est plus de l'eau,
18:36
enfin qui peut être potable.
18:38
Donc c'est beaucoup plus compliqué que ça et on peut avoir toujours la même quantité d'eau sur Terre,
18:44
mais ça ne veut pas dire qu'elle sera douce et donc potable ou utilisable pour nous,
18:50
à moins de passer par de la désalinisation.
18:53
Mais là,
18:53
c'est encore des techniques,
18:55
là,
18:56
ce n'est plus du tout pareil.
18:58
Et toutes les grosses boîtes maintenant veulent aussi leur petite centrale nucléaire à eux,
19:02
à côté de leur entreprise.
19:05
Là,
19:06
c'est un peu pareil.
19:08
Nous,
19:08
c'est vrai qu'en France,
19:09
on a de la chance d'avoir un parc nucléaire avec une énergie qui est relativement propre.
19:15
Mais ce n'est pas possible pour tous les pays.
19:19
C'est vraiment aussi pour dire que l'IA qu'on utilise,
19:22
le chatbot...
19:23
Après,
19:23
le chatbot,
19:24
c'est vraiment qu'une partie immergée de l'iceberg,
19:25
il y a un lia,
19:26
elle est utilisée dans plein d'autres choses aussi pour du ciblage publicitaire.
19:29
Une grosse partie des data centers,
19:31
c'est pour ça.
19:34
De bien montrer que ce n'est pas juste quelque chose un peu qui n'est pas palpable.
19:40
Il y a vraiment des choses derrière et des impacts.
19:42
C'est des infrastructures,
19:43
c'est des métaux,
19:44
c'est de l'eau qui est consommée,
19:45
c'est de l'électricité.
19:46
C'est vraiment un impact sur la planète sur laquelle on vit.
19:52
sur des personnes comme nous.
19:55
Et qu'il ne faut pas ramener la consommation à une requête.
20:00
C'est là où on va parler justement de l'effet rebond.
20:03
On en avait déjà parlé dans un épisode où c'est quand on rend une technologie pas chère et accessible,
20:11
on se dit c'est cool,
20:12
ça fait baisser la consommation.
20:15
à l'unité,
20:16
donc là par exemple à la roquette,
20:18
sauf que vu que c'est plus accessible,
20:19
on se retrouve à l'utiliser beaucoup plus.
20:21
Et si on regarde les émissions,
20:23
la consommation globale,
20:24
elle est beaucoup plus importante qu'avant.
20:27
C'est un peu comme se dire maintenant,
20:29
avec ma voiture électrique,
20:30
je ne consomme rien,
20:31
donc je ne roule plus qu'en voiture électrique ou alors c'est cool,
20:35
maintenant on a des LED qui ne consomment pas beaucoup,
20:37
mais on va en mettre partout,
20:39
on va faire des grands panneaux publicitaires avec plein de LED alors qu'avant,
20:43
on n'aurait pas eu ça et finalement...
20:45
on se retrouve à consommer plus.
20:46
Oui,
20:47
alors,
20:48
du coup,
20:48
si tu annonces directement les trucs tristes,
20:51
il nous reste quoi pour les suivre ?
20:52
Ça sera un épisode assez triste,
20:53
de toute façon,
20:54
on est le dernier clic avant la fin du monde.
20:57
Là,
20:57
on rentre bien dedans.
20:59
Oui,
21:00
en fait,
21:01
pourquoi dire ça ?
21:02
Parce que,
21:03
justement,
21:04
le constat,
21:05
vous avez compris que ça consomme énormément,
21:07
je vais aussi vous préciser deux choses juste après,
21:09
avant qu'on continue à ce sujet de la consommation.
21:12
Mais,
21:12
euh...
21:14
Même avec les techniques biais frugales dont on va vous parler après,
21:16
il faut garder en tête que malheureusement,
21:18
il y a cette histoire d'effet rebond.
21:20
Et là,
21:21
les exemples de lui sont très bien.
21:22
Mais si on voulait un autre,
21:24
dites-vous qu'à partir du moment où on a inventé les autoroutes,
21:27
on a fait plus de distance,
21:31
on a fait plus de trajets parce qu'on pouvait aller facilement plus loin au lieu de juste en faire moins et continuer à y aller ponctuellement,
21:37
mais que ce soit plus simple d'y aller.
21:39
Même avec l'avion,
21:40
au final,
21:40
c'est avec les gens restés.
21:41
assez proche dans les villes,
21:43
mais maintenant,
21:43
il y a eu un grand étalement,
21:44
même des expatriations.
21:46
Donc ça fait que,
21:47
oui,
21:47
si on veut revoir sa famille,
21:48
on est obligé de refaire beaucoup de trajets.
21:50
C'est des problématiques qui ont été rendues par la mondialisation.
21:54
Donc c'est sûr que si on...
21:58
Là,
21:59
c'était un développeur qui avait estimé,
22:01
justement,
22:02
son usage en équivalent CO2 d'IA,
22:05
et il l'avait estimé à une tonne par an d'équivalent CO2.
22:09
Alors,
22:09
il faut savoir qu'un Français moyen,
22:11
il consomme 10 tonnes par an.
22:13
Je ne sais pas si toi,
22:14
tu as déjà fait ton calcul avec l'ADEME pour savoir combien tu étais.
22:19
Alors non,
22:19
je ne l'ai pas fait,
22:19
mais justement,
22:21
je laisse finir,
22:22
mais sur l'IA,
22:22
ça ne marchera pas.
22:25
Non,
22:25
mais juste pour savoir,
22:26
pour donner une ordre de grandeur,
22:27
comment on se situe déjà par rapport à un Français moyen.
22:30
Et sachant que le GIEC,
22:34
l'organisme qui...
22:36
fait les scénarios par rapport aux dérèglements climatiques,
22:39
si on veut tenir les objectifs,
22:42
il faudrait que chaque Français en soit à 2 tonnes par an.
22:45
Et là,
22:45
ça voudrait dire qu'une tonne d'un développeur part dans l'IA,
22:48
c'est-à-dire que sa moitié de consommation sur l'année,
22:50
elle part juste dans l'IA.
22:53
Donc ça fait qu'il ne reste qu'une tonne pour tout le reste.
22:57
Et ça ne laisse pas beaucoup.
23:00
Mais c'est intéressant aussi de juste savoir à peu près combien on consomme et de se dire,
23:05
ah mince !
23:06
Ok,
23:06
et de voir les ordres de grandeur.
23:08
Justement,
23:09
c'est là où j'ai mis un bémol,
23:10
c'est qu'en termes d'IA,
23:11
on ne peut pas vraiment savoir ce qu'on consomme.
23:16
Je vais revenir sur deux points concernant justement cette histoire de consommation.
23:20
Tout à l'heure,
23:21
j'ai parlé des cartes graphiques qui servent à alimenter les différents modèles.
23:26
Il faut savoir qu'un modèle,
23:28
une IA générative,
23:29
quand elle va coûter,
23:30
ça va être à l'entraînement.
23:31
Ça représente à peu près 35%
23:33
de la charge.
23:36
de consommation et de charge carbone.
23:38
Pour la charge globale,
23:40
ça va être à peu près 35%
23:42
d'un modèle qui va être mis en production industrialisée et qui va durer dans le temps.
23:48
Le reste,
23:49
ça va être l'inférence.
23:51
Donc l'inférence,
23:52
c'est ce que vous avez en temps réel.
23:53
Quand vous parlez avec votre chatbot,
23:56
vous allez envoyer votre question au serveur de chez Anthropique.
24:00
Il vous envoie la réponse et sous-traite.
24:02
là,
24:02
ce chemin-là,
24:03
c'est ça qu'on appelle l'inférence.
24:04
C'est le calcul en temps réel.
24:07
Donc le calcul,
24:09
justement,
24:09
le coût de l'inférence,
24:11
des boîtes comme OpenAI,
24:12
comme Google,
24:13
ont balancé des chiffres,
24:15
mais qui veulent rien dire parce qu'ils sortaient,
24:17
en fait,
24:17
nous,
24:17
l'inférence s'étend à la requête.
24:20
Mais en fait,
24:21
ça n'a aucun sens.
24:22
Ils ne donnaient aucune mesure de token,
24:25
donc ça ne voulait absolument rien dire.
24:27
C'est que ça manque de mesures de token,
24:29
ça manque de mesures de contexte,
24:30
ça manque de mesures de...
24:32
C'est comme si,
24:34
littéralement,
24:35
vous preniez votre bagnole,
24:36
vous disiez,
24:37
ma voiture ne consomme que 4 litres au 100,
24:41
mais sans dire le au 100.
24:44
Et sans tenir compte de...
24:46
Est-ce que vous avez fait un trajet de 5 minutes ou est-ce que vous avez fait un trajet de 5000 bornes ?
24:50
En tente.
24:52
Pas les mêmes enjeux.
24:53
J'ai utilisé que le frein moteur sur tout le trajet.
24:56
Oui,
24:57
tout à fait.
24:59
Et en fait c'est un peu la même logique quand ils ont balancé des chiffres sur l'inférence,
25:03
c'est que sorti d'un contexte et en manquant de tous les éléments,
25:06
littéralement ça veut rien dire.
25:08
Donc déjà,
25:09
il faut savoir que le coût global se fait entre l'inférence et l'entraînement,
25:13
et l'entraînement ça peut représenter des mois de charge et de travail sur
25:18
NIA, et déjà ça c'est difficile à quantifier.
25:21
Ensuite,
25:22
il y a les cartes graphiques en elles-mêmes.
25:24
Donc il y a des chercheurs qui ont été jusqu'à broyer
25:27
des carburafiques comme ça destinés à l'IA,
25:30
donc des
25:31
H100.
25:33
Et en gros,
25:34
ce qu'ils ont évalué là-dedans,
25:36
c'est que le carbone ne représentait que un tiers de la partie,
25:40
enfin de la carburafique.
25:42
Oui,
25:43
parce qu'en fait,
25:43
ce qu'il y a,
25:43
c'est que les grands acteurs se concentrent uniquement sur le CO2 émis,
25:48
alors qu'en fait,
25:49
c'est qu'une petite métrique parce qu'il y a toute l'histoire des limites planétaires.
25:54
qu'on franchit une à une.
25:56
À chaque fois,
25:57
on se dit qu'il n'y a plus de marché arrière possible.
26:03
C'est de plus en plus la merde.
26:06
Mais effectivement,
26:07
la partie carbone,
26:08
ça permet un peu de rediriger en disant « Oui,
26:10
mais regardez,
26:11
si on compare à d'autres secteurs,
26:13
ce n'est pas trop grave. »
26:14
Mais justement,
26:15
le fait d'être allé broyer des cartes graphiques,
26:17
parce qu'il y a toute la tension autour des métaux rares aussi,
26:20
parce que Nvidia ne donne pas du tout.
26:23
la composition de ces cartes.
26:25
C'est pour ça qu'ils ont été les broyer pour voir physiquement de quoi elles étaient composées.
26:29
Oui,
26:30
et sachant qu'on parle d'une carte à 10 000 balles,
26:31
donc on n'est pas sûrs.
26:33
Pour en arriver là,
26:34
c'est parce qu'on n'a pas de la peau nulle part,
26:36
donc ils sont obligés d'aller là-dessus.
26:39
Et donc,
26:40
un tiers,
26:41
au final,
26:42
représente justement la partie carbone.
26:45
Et en fait,
26:46
sur les deux tiers restants,
26:47
on va avoir à peu près...
26:50
Globalement,
26:50
ça va être 20-25 %.
26:52
qui va être sur les métaux rares.
26:56
Ensuite,
26:57
on va avoir à peu près une vingtaine de pourcents sur la particule fine.
27:01
Et le dernier...
27:02
Grand problème de santé publique,
27:04
la particule fine.
27:05
Voilà.
27:06
Et le dernier pan qui reste,
27:07
c'est le...
27:09
Jamais de mot,
27:09
l'eutrophisation.
27:10
L'eutrophisation des sols.
27:13
Oui.
27:13
C'est sûr que si on rend des sols impropres,
27:15
à faire pousser des choses ou à contaminer les sols,
27:19
voilà.
27:19
C'est aussi une des limites planétaires où si on atteint un point de bascule,
27:24
les sols ne peuvent plus,
27:26
enfin on ne peut plus cultiver ou faire quoi que ce soit de ces sols à une échelle de temps qui est raisonnable pour l'être humain.
27:36
Et voilà,
27:37
pollution des sols,
27:38
pollution des eaux.
27:39
Donc voilà,
27:39
c'est pour ça que je disais avant que la partie carbone,
27:42
au final,
27:42
n'ait pas du tout quantifiable objectif parce que déjà il y a toute cette partie-là,
27:46
parce que c'est que la partie très très très émergée de l'iceberg.
27:50
Et que même comme ça,
27:51
on ne peut pas la calculer réellement.
27:54
Puisque,
27:55
en gros,
27:56
aujourd'hui,
27:56
il y a des acteurs,
27:58
je crois que c'est la SNCF,
27:59
il me semble que Orange,
27:59
aussi il y a des choses comme ça,
28:00
où ils ont des systèmes,
28:02
ils ont des calculs,
28:04
ils ont des outils qui leur permettent de calculer,
28:06
de donner un indicateur de la consommation.
28:09
En fait,
28:09
c'est des bouts de code que tu peux mettre,
28:12
par exemple,
28:12
dans ton code.
28:13
Je crois que c'est du code Python que tu peux mettre toi-même dans ton code et qui te permet de faire des estimations de consommation.
28:19
Et ça,
28:19
on peut le trouver,
28:20
on peut l'injecter pour savoir,
28:22
par exemple,
28:22
combien d'agents...
28:24
C'est...
28:25
Avec des calculs en amont,
28:27
mais je crois que c'est une initiative française aussi.
28:31
Il faudra que...
28:32
Enfin,
28:33
je te retrouverai le site,
28:34
mais ça peut être assez intéressant.
28:35
Mais là,
28:35
on est sur du un peu plus technique.
28:37
Mais certaines entreprises peuvent s'emparer de ça pour savoir exactement...
28:41
Enfin,
28:41
avoir en tout cas une estimation de la consommation.
28:44
Alors,
28:45
ouais,
28:45
je regarde.
28:45
Non,
28:46
je ne savais pas pour les petites...
28:47
justement les bouts de code et le fait qu'il y ait des initiatives ouvertes.
28:50
En tout cas,
28:51
à l'échelle des boîtes,
28:51
ils se sont fait des trucs en interne pour avoir des évaluations et des idées grossières.
28:56
Le problème,
28:57
c'est que pareil,
28:58
les évaluations sont complètement...
29:00
En gros,
29:00
ça va être une estimation calculée qui part de la carte graphique avec son
29:06
TDP. Donc le TDP,
29:08
en fait,
29:08
c'est l'enveloppe thermique maximale qu'elle va générer en termes de chaleur.
29:12
Donc grosso modo,
29:13
votre carte graphique,
29:14
quand elle tourne,
29:14
elle va générer de la chaleur jusqu'à...
29:16
un certain nombre de watts et il faut la refroidir.
29:19
Donc on se base là dessus déjà comme première unité.
29:22
On va se calc...
29:23
Enfin,
29:24
ça va se baser aussi justement sur la calcul...
29:27
Bon bref,
29:27
il y avait le calcul temps réel.
29:28
Après,
29:29
ça va se faire au niveau du data center.
29:30
Donc en gros,
29:31
le data center,
29:31
quand il est à pleine charge ou en moyenne,
29:35
on tient compte de ces montants là et on va multiplier ça derrière par après le modèle en lui même.
29:42
Sauf que le problème,
29:43
c'est que les modèles
29:44
on n'a aucune idée de...
29:46
Enfin,
29:46
les modèles ouverts,
29:47
on le sait,
29:47
puisqu'on a les mesures des apprentissages et on a ce que ça coûte sur une carte graphique en temps réel.
29:53
Mais en fait,
29:54
pour les modèles propriétaires,
29:55
on n'a aucune idée de ce que ça coûte,
29:56
puisque derrière,
29:57
on ne sait pas combien de cartes sont utilisées pour un modèle,
30:00
quel type de carte c'est,
30:01
même s'ils font des annonces,
30:02
ils donnent des grandes lignes,
30:03
mais on ne sait jamais quel modèle en temps réel a accès à quoi.
30:07
Et au niveau des data centers,
30:09
on ne sait pas non plus la consommation de tout,
30:10
puisqu'on en a parlé tout à l'heure,
30:12
typiquement,
30:12
quand ça...
30:13
On part dans un data center qui tape du gaz ou du charbon,
30:16
mais en ELEC,
30:17
on n'est pas du tout sur la même efficience,
30:20
mais ça,
30:20
on ne peut pas le mesurer.
30:22
Et en gros,
30:23
quand on commence à mettre tout ça bout à bout,
30:26
et du coup,
30:28
pour faire des équivalences,
30:29
ils font par rapport à un modèle open source équivalent sur du matériel connu,
30:33
mais qui ne reflète absolument pas la réalité derrière.
30:38
Donc même ces systèmes-là qu'ils ont en interne dans des grosses boîtes pour se donner des échelles RSE et de consommation et de pouvoir même eux se projeter sur ce qui se passe et ce qu'ils font,
30:49
en fait on est déjà dans un immense flou artistique parce qu'on n'a tout simplement pas les infos.
30:55
Donc ils vont les prendre au plus proche sur de l'open source et les choses qu'on peut quantifier,
31:00
mais de là on en fait des extrapolations et des estimations et des calculs qui ne sont pas...
31:08
très probablement pas représentatif de la réalité des boîtes privées pour les raisons évoquées.
31:15
Encore une fois,
31:16
je suis désolé,
31:16
je fais des versions vraiment très résumées,
31:18
synthétiques.
31:18
Il y a plusieurs articles et dossiers sur le sujet,
31:21
si vous voulez creuser dans la partie réelle.
31:23
Mais aujourd'hui,
31:24
on n'a pas de moyens réels de connaître la consommation d'IA.
31:28
On sait juste que chaque fois qu'on met le nez dedans,
31:32
c'est scandaleux.
31:35
Et à tous les niveaux,
31:36
et quand on est loin de pouvoir estimer à quel point ça tape.
31:39
Et qu'il ne faut surtout pas prendre pour argent comptant les chiffres qui sont balancés par
31:44
Sam Altman au détour d'un billet de blog qui n'est pas du tout consacré à ça.
31:50
C'est sûr qu'ils vont prêcher pour leur paroisse.
31:54
Quand après,
31:55
on met le nez dedans,
31:56
on se rend compte que ce n'est pas forcément les mêmes ordres de grandeur,
31:59
c'est très opaque,
32:00
on n'a pas leur méthode de calcul,
32:01
donc autant balancer des chiffres.
32:04
à l'arrache c'est pareil ouais bon ceci étant dit c'est bon on a bien produit une grande introduction c'est bon je crois que l'épisode soit il va être très très long soit ça va finir encore en deux épisodes on verra ça dépend ça dépend mais en
32:19
tout cas voilà maintenant qu'on vous a bien miné le moral
32:23
Lulu est-ce que tu veux bien nous parler un petit peu de comment on fait pour faire de l'IA frugale en partant de là en sachant tout ce qu'il y a comment on fait justement pour gagner un petit peu
32:33
aux différents niveaux.
32:35
Déjà,
32:36
vraiment le plus intéressant avant de se demander comment est-ce que je peux utiliser une IA qui consomme moins,
32:41
c'est déjà de se demander tout simplement est-ce que j'ai vraiment besoin d'IA ?
32:45
De questionner son usage,
32:51
déjà de savoir si je veux faire un projet même qui va intégrer de l'IA,
32:55
plutôt que de se demander quel IA je dois mettre,
32:58
de réussir à justifier pourquoi l'IA est pertinente.
33:01
et sans la mettre d'office dedans.
33:03
Parce que c'est vrai qu'il y a quand même un peu cette injonction à mettre de l'IA partout pour rester compétitif.
33:09
Et ça,
33:09
mine de rien,
33:10
on le voit bien dans l'écosystème no-code où tout le monde est un peu obligé de prendre le tournant de l'IA,
33:16
même s'il y a quand même quelques outils qui font le choix de dire on met le minimum dedans et si vous voulez utiliser,
33:22
c'était un peu le cas de Fibery.
33:24
Après,
33:24
il y a Obsidian aussi.
33:26
Mais c'est vrai qu'il y en a beaucoup qui ont fait le tournant de l'IA.
33:29
Je ne sais pas si tu as en tête d'autres outils,
33:31
mais moi,
33:31
c'est les deux.
33:34
Là,
33:34
tu parlais de no-code,
33:35
mais en fait,
33:35
que ce soit le no-code ou tous les logiciels aujourd'hui,
33:38
le balance de l'IA.
33:40
Selon les cas,
33:41
c'est soit des ajouts pertinents,
33:43
soit la majorité.
33:45
En tout cas,
33:45
très souvent,
33:46
c'est de l'IA un peu forcing et pushing,
33:48
où ils en collent absolument partout.
33:50
C'est ça,
33:50
et ça,
33:51
ça pourrait être une idée d'épisode aussi sur le design dans les applications pour forcer à cette utilisation,
33:57
alors que ce n'était pas forcément nécessaire.
33:59
et qui prend beaucoup de place dans l'appli alors que tout le monde ne l'a pas demandé.
34:04
Déjà,
34:05
on va peut-être juste rapidement définir ce que c'est que la frugalité,
34:08
parce que c'est souvent confondu avec l'efficience.
34:12
Sauf que la frugalité,
34:13
c'est vraiment,
34:14
on va questionner le besoin et on vise un résultat qui est suffisant.
34:18
Il n'y a pas vraiment cette même question de performance que dans l'efficience.
34:22
Et dans le côté frugalité,
34:24
c'est vraiment la contrainte sur les ressources qui est au cœur de la réflexion d'un professeur.
34:28
projet et on peut s'autoriser à revoir un peu à la baisse l'efficacité et les résultats.
34:36
Alors que par contre,
34:37
l'efficience,
34:38
c'est une fois que le besoin est défini et le résultat,
34:40
on va optimiser toute la solution pour atteindre
34:44
ce besoin,
34:45
mais ce n'est pas la ressource qui prime.
34:47
Mais on va chercher à l'optimiser.
34:49
C'est une petite distinction entre les deux.
34:52
Pour un peu résumer,
34:54
c'est que la frugalité vise vraiment la performance,
34:56
mais avec le minimum de ressources.
34:59
Et on essaye de trouver la performance la plus viable possible,
35:05
minimum.
35:09
Et souvent,
35:09
la frugalité,
35:10
on va penser que c'est de la simplicité,
35:12
sauf que c'est beaucoup plus compliqué que ça.
35:15
Et ça demande vraiment des fois plus de réflexion que simplement de se dire,
35:19
je vais juste mettre de l'IA et ça va gérer à ma place.
35:22
Même en termes de conception,
35:23
c'est intéressant de penser par design la sobriété plutôt que de se demander,
35:29
une fois qu'on a notre produit,
35:30
comment est-ce que je réduis un peu les coûts ?
35:32
Mais de le penser dès le départ et de questionner vraiment les usages.
35:37
Oui,
35:37
parce que...
35:38
Même aujourd'hui,
35:39
c'est vrai qu'on en parlait tous les deux sur des sujets de classifier de la donnée,
35:44
de rechercher de la donnée.
35:46
En fait,
35:46
avant l'IA,
35:47
il y avait des solutions qui existaient avec des scripts ou avec d'autres outils qui allaient faire des traitements de la recherche de certaines manières qui étaient très efficaces.
35:57
Et aujourd'hui,
36:01
on a tendance à aller faire traiter ces sujets naturellement avec l'IA parce qu'on l'a à portée de main et que c'est plus simple de balancer un document.
36:08
à côté,
36:09
alors qu'en réalité si on prenait 5-10 minutes pour trouver un outil qui va bien ou faire un script qui va bien,
36:13
on aurait quelque chose qui n'utilise pas d'IA,
36:15
qui est récurrent,
36:16
qui est fiable,
36:16
qui est déterministe et qui pourrait être justement réutilisé dans une ou dans plusieurs solutions donc c'est ce type de questionnement qu'il faut se poser quand on est dans un process,
36:27
là on va parler plus process métier et d'entreprise puisque c'est là où on a,
36:31
enfin il y a les deux questionnements il y a en tant qu'usage personnel est-ce que j'ai vraiment besoin de ça
36:37
et celui qu'on prend d'habitude c'est de se dire est ce que j'ai besoin de faire une recherche Google ou de poser la question à l'IA malheureusement la recherche Google est temps à disparaître pour être remplacé par de l'IA puisque Google a annoncé qu'ils allaient supprimer les liens cliquables donc la question du moteur de recherche va vraiment se poser aussi très prochainement j'avoue
36:56
que moi je suis sur Vivaldi,
36:57
j'utilise Startpage depuis un moment qui est une alternative à Google et me dire que quand j'ai envie juste d'aller récupérer un lien ça m'arrangerait même si déjà
37:06
C'est déjà pollué par l'IA parce qu'il y a eu tout le slope IA et donc maintenant quand on va chercher un article,
37:12
il doit y avoir au milieu de
37:14
10 000 tas de merde.
37:15
Mais en tout cas,
37:17
côté perso,
37:17
ça va être de se dire est-ce que j'ai besoin d'IA pour faire ça ?
37:19
Et côté entreprise,
37:21
ça va être ça sur d'autres outils,
37:23
de se dire mais en fait,
37:24
il y avait des outils avant,
37:25
il y a encore des outils et des manières de faire.
37:27
On peut même utiliser de l'IA pour se fabriquer des petits bouts d'outils pour qu'après ils tournent sans IA.
37:34
Oui,
37:35
c'est pour ça que c'est toujours un peu la comparaison de se dire,
37:39
OK,
37:39
on veut plus d'énergie renouvelable,
37:41
mais pour construire ces énergies renouvelables,
37:43
il faut donner l'impulsion avec de l'énergie fossile,
37:46
mais on concentre ces énergies fossiles pour construire du renouvelable derrière qui va être plus respectueux.
37:53
Bon,
37:53
sauf que finalement,
37:54
là,
37:55
ce qu'on fait,
37:55
c'est qu'on continue à fonctionner et on continue à utiliser les énergies fossiles dans nos usages plutôt que de les servir.
38:02
pour une impulsion et avoir quelque chose qui peut tourner sans après.
38:05
Avec l'IA,
38:06
c'est un peu pareil.
38:07
On ne dit surtout pas qu'il faut complètement arrêter de l'utiliser.
38:12
Mais déjà de se demander de ne pas réinventer ce qui existe,
38:15
de prendre un temps et voir tout simplement ce qui existe pour ne pas refaire un autre produit par-dessus,
38:22
potentiellement avec de l'IA alors qu'il y a déjà quelque chose qui fonctionne très bien,
38:26
et essayer d'inverser un peu plutôt que de se dire comment est-ce que je mets de l'IA dedans.
38:31
On essaye de faire sans IA par défaut,
38:33
surtout qu'on va souvent avoir des solutions qui sont un peu plus élégantes en termes de conception.
38:39
Et c'est la personne qui veut mettre de l'IA qui doit prouver qu'elle ne peut pas faire autrement.
38:45
Donc on peut essayer un petit peu comme ça,
38:48
et même c'est super intéressant parce qu'on va aller questionner les usages,
38:51
se demander même,
38:51
on va se mettre plus à la place de l'utilisateur,
38:53
parce que coller des chatbots partout,
38:55
ce n'est pas la solution.
38:56
Ce n'est pas ce qui marche.
39:00
Et là,
39:00
par exemple...
39:02
ça on mettra aussi les liens des articles,
39:03
mais il y avait une entreprise de transport,
39:06
c'était Terraconita,
39:07
donc l'IA était pertinente pour accélérer la partie expédition des commandes.
39:14
Et là,
39:15
ça valait le coup,
39:15
ça a été pertinent.
39:18
Par contre,
39:19
pour gérer tout ce qui était de demande interne et externe,
39:23
faire de l'IA en mode chatbot pour interroger les données,
39:25
c'était moins pertinent que de faire un tableau de bord sans IA et qui fonctionne.
39:30
Très,
39:30
très bien.
39:31
Et il y a une autre,
39:32
ça,
39:32
c'est une startup française,
39:33
c'est Miralia.
39:36
Ça,
39:37
c'est une petite dédicace à Alexis,
39:38
il faudra qu'on lui en parle parce que ça pourrait l'intéresser,
39:40
qui sert à trier les emails,
39:42
tout ce qui est factures et documents,
39:44
et qu'ils ne vont pas utiliser de l'IA génératif qu'ils consomment plus,
39:48
mais une IA symbolique.
39:50
Alors,
39:52
au lieu de se baser sur de la génération token par token en reprenant à chaque fois les tokens d'avant,
39:58
Là,
39:58
c'est une IA qui va se baser sur des symboles.
40:01
Donc,
40:01
pour catégoriser,
40:02
elle est beaucoup plus efficace.
40:04
Et ils vont en utiliser 90%
40:06
d'IA symbolique.
40:07
Et tout le reste qui ne peut pas être fait,
40:08
même pour,
40:08
par exemple,
40:09
rédiger les brouillons d'email,
40:10
là,
40:10
ils vont passer sur du génératif.
40:12
Et que ça permet
40:15
100 fois moins d'émissions qu'une solution tout LLM.
40:17
Et c'est super intéressant parce que pour des résultats qui sont même meilleurs,
40:23
parce qu'au niveau déterminisme...
40:26
c'est beaucoup plus intéressant de passer par du symbolique pour faire de la catégorisation.
40:31
Des fois,
40:31
même juste de réfléchir un peu plus,
40:33
c'est plus efficace derrière.
40:36
Et on se rend compte que souvent,
40:38
les besoins,
40:39
si on prend le temps de les explorer un peu plus,
40:41
on peut aller vers du plus déterministe et de se dire « bon,
40:43
si c'est ça,
40:44
alors ça » .
40:45
Et ça veut dire aussi que c'est plus pérenne dans le temps.
40:47
Parce qu'on n'est pas dépendant d'un changement de modèle,
40:49
surtout si c'est des modèles qui sont fermés.
40:53
C'est pas tout ou rien.
40:54
Il y a peut-être des moments où l'IA va être pertinente en phase d'exploration pour mieux définir les besoins ensuite.
40:59
Mais il ne faut pas que ce soit la première solution.
41:02
Pour moi,
41:02
c'est presque la dernière quand on ne peut pas faire autrement.
41:05
Oui,
41:07
complètement d'accord.
41:09
On est déjà à trois quarts d'heure.
41:10
Donc,
41:11
ce que je te propose,
41:11
Lulus,
41:12
c'est qu'effectivement,
41:14
on va découper cet épisode en deux parties.
41:16
Comme ça,
41:16
aujourd'hui,
41:16
on vous a bien briefé.
41:18
J'espère en tout cas qu'on vous a donné un petit peu une idée de ce qu'implique l'utilisation de l'IA.
41:23
en quoi la frugalité est nécessaire,
41:27
même s'il y a l'enjeu de l'effet rebond et que ça va passer par d'autres approches aussi.
41:32
À un moment,
41:32
il faudra de la politique RSE au niveau des boîtes et au niveau de l'État pour vraiment se questionner,
41:37
justement,
41:38
comme l'a dit Lulu à l'instant,
41:39
sur est-ce qu'on met ou pas de l'IA pour répondre à tel besoin et dans la mesure où on met de l'IA,
41:44
à quel niveau et en quelle intensité pour répondre aux besoins.
41:48
Et en ayant conscience que...
41:53
Ça va aussi se jouer sur un point de vue financier.
41:56
On ne va pas se leurrer.
41:58
Les boîtes et même l'état n'ira pas dessus.
42:00
C'est sûr que faire tourner un script par rapport à faire tourner un agent IA,
42:06
on n'est clairement pas sur les mêmes ordres de grandeur.
42:08
Il n'y a même pas de comparaison.
42:11
Mais on peut servir de l'IA pour rédiger le script et avoir par exemple des regex qui sont beaucoup plus détaillés.
42:18
Et pourquoi pas ?
42:20
utiliser un petit modèle en local pour avoir un meilleur champ sémantique quand on cherche des choses.
42:24
Mais pas,
42:25
là c'est presque utiliser un bazooka pour tuer une mouche,
42:28
comme on dit.
42:29
Un bazooka qui coûte très cher.
42:31
Et qui risque de louper la mouche en plus.
42:33
C'est surtout que sur des usages,
42:37
on va dire simples,
42:38
par exemple un résumé ou alors extraire une information ciblée d'un document,
42:44
les petits modèles,
42:46
quand je parle de petits modèles...
42:48
des modèles à
42:49
10 milliards de paramètres qu'on peut avoir sur des modèles open source qu'on peut faire tourner sur son ordi.
42:55
On en reparle bientôt parce que c'est le genre de modèle avec lesquels on joue en ce moment avec Lulu.
43:00
Mais en fait,
43:00
sur des usages comme ça,
43:03
ils font aussi bien que des modèles comme le dernier opus qui coûte un bras.
43:10
Sauf que la charge,
43:10
la quantité,
43:12
n'aura rien à voir puisque d'un côté,
43:13
on va utiliser...
43:15
que 10 milliards de paramètres sur un petit outil qui tourne sur un ordi simple,
43:18
et de l'autre côté on va faire travailler un modèle qui tourne sur un data center avec des cartes graphiques à plusieurs dizaines de milliers d'euros et sur un réseau neuronal gigantesque pour le même résultat.
43:31
Et parfois même un moins bon résultat parce que le modèle est trop généraliste et va peut-être partir trop loin,
43:39
alors qu'on peut trouver aussi des petits modèles qui sont
43:42
soit généralistes,
43:43
soit vraiment spécialisés dans la tâche qu'on veut.
43:45
Et là,
43:46
on en trouve énormément sur Gling Face,
43:48
ne serait-ce que pour le code,
43:50
on va avoir des modèles qui ont été fine-tunés par rapport à des tâches spécifiques.
43:56
Et parce que dans tous les cas,
43:57
quand on entraîne un modèle,
43:59
vu que les données d'entrée sont en général pas très propres,
44:02
on se rend compte qu'il y a énormément de données qui ne servent pas et qu'on peut couper.
44:08
et de l'apprentissage qui a été fait sur ces données,
44:10
on peut carrément enlever des réseaux de neurones complets et avoir un modèle qui tourne.
44:15
Mais voilà,
44:16
c'est pour la prochaine partie.
44:17
Ne dis pas tout,
44:18
parce que là,
44:18
ça y est,
44:19
tu es dans le spoil.
44:21
Si les dernières phrases de Lulu vous ont un peu fait peur,
44:24
que vous n'avez pas tout compris,
44:26
retournez sur notre épisode 3 où on expliquait comment fonctionne un LLM,
44:30
puisqu'on expliquait aussi comment se passe l'entraînement,
44:32
et notamment le fine tuning,
44:33
qu'est-ce que c'est.
44:35
Et on vous y renvoie très fort parce qu'effectivement,
44:38
la prochaine fois,
44:39
on continuera sur le sujet de l'IA frugale et on va aller davantage dans le concret,
44:44
dans la technique pour vous expliquer un peu les différentes techniques aujourd'hui qui existent,
44:49
les grandes techniques importantes,
44:51
les différentes manières de faire.
44:52
On parlera aussi de green prompting,
44:54
donc vraiment d'une manière de penser comment on va donner ses consignes à l'IA.
45:00
C'est plus la dernière étape quand on n'a pas le choix,
45:02
enfin ou intégrer en bonne pratique.
45:05
parce qu'il y a plusieurs ordres de grandeur encore une fois.
45:08
Mais voilà,
45:08
on reviendra sur ces sujets et je pense qu'on en parlera aussi dans l'épisode côté outils de la semaine prochaine et on reviendra probablement dessus dans le prochain épisode thématique.
45:17
On parlera aussi d'IA justement locale et de solutions ou locales ou en tout cas un peu plus souveraines pour aller aussi gagner en efficience.
45:28
Voilà,
45:28
donc merci à vous de nous avoir suivis.
45:32
est-ce que t'as une
45:33
Petite note de fin,
45:33
Lulu,
45:34
un petit mot à ajouter ?
45:35
C'est juste savoir est-ce qu'on se dit qu'on continue l'épisode dans deux semaines sur l'IA Frugal ou est-ce qu'on fait un petit épisode spécial No Code Week où je suis en mode...
45:47
C'est vrai que...
45:49
Dans deux semaines,
45:49
je serai à la No Code Week et je vais aussi parler d'IA Frugal là-bas.
45:54
Je me dis que ça peut être sympa de faire un petit tour des actus,
45:57
de ce qui est présenté et de faire un peu vivre...
46:02
Voilà,
46:02
c'est ça.
46:02
En tout cas,
46:02
dans le côté outil de la semaine prochaine,
46:04
on parlera d'IA local,
46:05
on en parlera déjà en quelque sorte de frugalité sur certains sujets.
46:09
Et effectivement,
46:11
la semaine d'après,
46:11
on parlera de la NoCode Week,
46:13
puisque c'est un salon du NoCode.
46:15
Et l'IA,
46:16
surtout,
46:16
aussi,
46:17
maintenant.
46:18
Et l'IA aussi.
46:19
On vous le représentera,
46:20
d'ailleurs.
46:20
Enfin,
46:21
alors non.
46:22
Allez voir sur le site de NoCode Week.
46:23
On vous met le lien dans les sources.
46:25
Allez regarder.
46:26
C'est un super événement qui dure une semaine,
46:28
qui se passe à Francfort cette année,
46:30
qui...
46:32
qui est très conviviale avec plein de gens bien où on vient.
46:34
Il y a plein de mini-conférences,
46:36
il y a des petits ateliers,
46:38
il y a des temps d'échange,
46:39
il y a des activités.
46:41
C'est vraiment passionnant.
46:43
C'est là-bas qu'on s'est rencontrés d'ailleurs avec Lulu l'an dernier et avec Nico aussi,
46:48
de Marie.
46:49
C'était trop bien,
46:50
on avait passé une super semaine,
46:52
il y avait des gens passionnants.
46:55
Cette année,
46:55
ça se refait à Francfort.
46:56
On vous met le lien,
46:57
allez regarder.
46:58
Si vous avez envie de bouger un petit peu justement et d'aller explorer ces sujets-là,
47:03
la communauté est très bienveillante et on avait des gens qui n'avaient jamais fait de no-code l'an dernier ou quasiment pas et qui en débarquaient.
47:11
Je pense à Patrice notamment qui est expert comptable et à d'autres personnes comme ça qui sont venues et qui c'était très très chouette d'échanger,
47:18
de discuter.
47:19
Donc voilà,
47:21
si vous êtes dispo dans deux semaines...
47:23
Et on n'est pas du tout sur un événement corporate avec...
47:27
Enfin,
47:27
voilà,
47:27
c'est...
47:29
Le prix des billets,
47:29
il est voulu pour rester aussi accessible.
47:32
Et c'est vraiment colonie de vacances avec tout le monde,
47:34
le PC sur les genoux,
47:35
à montrer comment est-ce qu'on bidouille.
47:37
Franchement,
47:37
c'est ça qui est trop,
47:38
trop génial.
47:40
Donc voilà,
47:41
très bel événement.
47:43
Allez jeter un coup d'œil et on fera un épisode effectivement dédié dans deux semaines.
47:49
Et on laisse un petit peu en plan le sujet frugalité.
47:51
Enfin,
47:51
pas en plan...
47:53
Je pense que je reparlerai parce que j'aurais peut-être fait mon atelier dessus.
47:57
Donc ce sera l'occasion de faire des retours et puis de voir un peu les réactions que ça a suscité.
48:01
Ça sera un peu le pont vers le moment où peut-être même prendre des retours sur comment les gens font pour utiliser moins de tokens.
48:08
Ce qui fait que si on utilise moins de tokens,
48:10
forcément,
48:11
on consomme moins et il y a moins d'impact.
48:14
Donc je vais aller à la pêche aux informations.
48:16
On t'envoie en expédition,
48:17
en investigation,
48:18
en espionnage là-bas.
48:20
Merci Lulu de m'avoir accompagné sur cet épisode.
48:23
On vous souhaite une très bonne journée ou fin de journée selon quand vous nous écouterez.
48:27
Et on se retrouve la semaine prochaine pour un épisode Côté Outils.
48:30
Salut !