Latest / Le Dernier Clic (avant la fin du monde) / 12 - Côté outils : L'IA frugale en pratique (dictée vocale, transcription et modèles locaux)
Transcript
- 0:10Bienvenue sur Le Dernier Clic,
- 0:12votre podcast tech,
- 0:13IA et no code.
- 0:14On se retrouve encore une fois avec Lulu pour un épisode Côté Outils.
- 0:18Comment tu vas Lulu ?
- 0:20Ça va.
- 0:21Fatiguée,
- 0:22mais ça va le faire.
- 0:25Alors,
- 0:26on s'est retrouvés la semaine dernière pour parler d'IA frugale.
- 0:31Voilà,
- 0:31si vous ne l'avez pas écouté,
- 0:32je vous invite à aller y jeter une oreille,
- 0:37puisque c'est un peu la lignée de notre épisode d'aujourd'hui.
- 0:40Donc après notre épisode sur l'IA frugale,
- 0:42où on a évoqué un petit peu justement ce que ça impliquait d'utiliser
- 0:46DLLM en cloud,
- 0:48avec les fournisseurs de manière un peu plus traditionnelle,
- 0:51et de vous faire prendre conscience un peu qu'il y avait probablement des choses à faire pour utiliser l'IA de manière un peu plus éthique et un peu plus...
- 1:00rationnelle et efficiente et donc nous on a commencé à mettre les mains un petit peu sur de l'IA local donc par local j'entends qu'on fait tourner sur notre propre ordinateur et aujourd'hui dans ce qu'on va parler on n'est pas sur des justement des solutions qu'on a mis sur des serveurs ou des choses comme ça qu'on aurait l'ol on va parler vraiment d'IA dans
- 1:20nos machines avec l'ELU et voilà donc
- 1:25On va essayer de vous faire un petit topo sur ce qu'on a utilisé,
- 1:28ce qu'on a essayé,
- 1:31de quoi on est parti,
- 1:32parce que le but,
- 1:33ce n'est pas non plus de coller de l'IA pour de l'IA.
- 1:35Ça,
- 1:35ça va à quelque chose.
- 1:36Donc,
- 1:38est-ce que ça te va,
- 1:38Lulu,
- 1:39et qu'on attaque ?
- 1:40Je ne sais pas si tu veux déjà nous dire,
- 1:43toi,
- 1:43justement,
- 1:44suite à l'épisode de l'autre fois.
- 1:46Et bon,
- 1:46ce n'était pas que l'épisode de l'autre fois,
- 1:47puisque c'était quelque chose qu'on avait en tête depuis un moment.
- 1:50Le point de départ sur les usages comme ça de l'IA locale,
- 1:53il y a un peu plus frugal.
- 1:54c'était quoi de ton côté au niveau des besoins ?
- 1:58Les premières choses que tu as vues,
- 1:59que tu as identifiées,
- 2:00auxquelles tu as voulu répondre.
- 2:02Sachant,
- 2:03petit rappel aussi,
- 2:03tu nous avais parlé dans un des épisodes précédents de la dictée vocale et du fait que tu t'étais installé.
- 2:11Que tu n'avais pas essayé et que tu étais réfractaire,
- 2:15que tu ne voyais pas d'intérêt.
- 2:17Alors non,
- 2:18ce n'était pas ce point.
- 2:20Oui,
- 2:20tu étais tapé et que ça te permettait de structurer ce que tu écrivais.
- 2:25Oui,
- 2:25mais je vais revenir un petit peu sur cet avis et sur ce qui a changé,
- 2:30comment ma vie a basculé depuis la dictée vocale.
- 2:32Ça fait une semaine que je n'ai pas touché un clavier.
- 2:36J'aimerais bien,
- 2:37mais il y a des moments où je suis obligé.
- 2:39Non,
- 2:39j'exagère,
- 2:40je ne suis pas encore à vouloir absolument un assistant,
- 2:43comme on a l'avoir en toutes circonstances.
- 2:47Mais bon,
- 2:47en tout cas,
- 2:48il y a deux semaines,
- 2:48tu nous avais parlé du fait que tu étais amatrice de dictée vocale,
- 2:51que tu en utilisais déjà et que tu avais troqué tes outils habituels par un LLM local.
- 2:59Et voilà,
- 3:00je veux bien qu'on reparte de là,
- 3:01en fait,
- 3:01déjà de ce premier besoin-là et de ce qu'il y avait autour de ce qu'elle n'avait pas forcément répandu.
- 3:07Et je ne t'ai même pas demandé si,
- 3:08en fait,
- 3:08ce que tu utilisais il y a deux semaines,
- 3:10c'est le même outil que ce que tu utilises encore aujourd'hui.
- 3:14Voilà,
- 3:14je vais vous expliquer,
- 3:15nous raconter un petit peu tout ça.
- 3:17Alors,
- 3:17d'où ça partait ?
- 3:19Avant,
- 3:19quand j'étais sur mon
- 3:21PC Windows,
- 3:22c'était inenvisageable de faire tourner quelque chose en local.
- 3:25Donc là,
- 3:25j'étais obligée de me tourner vers une solution cloud,
- 3:29donc avec abonnement.
- 3:31Là,
- 3:31j'avais choisi
- 3:33Aqua à l'époque.
- 3:34Et j'aimais bien le côté,
- 3:37peu importe où on est dans un éditeur de texte,
- 3:39on appuie sur un raccourci,
- 3:41on parle.
- 3:43On peut avoir notre vocabulaire personnalisé,
- 3:46on peut avoir des raccourcis.
- 3:48C'est assez cool.
- 3:50Et puis,
- 3:52tous les outils de dictée vocale ont un peu leur tableau de bord gamifié.
- 3:59On voit combien de temps on a gagné,
- 4:01combien de mots on a dicté,
- 4:02et combien de temps ça nous a fait économiser.
- 4:04C'est toujours un petit peu rigolo.
- 4:07Et là,
- 4:08plus récemment,
- 4:09en passant sur Mac OS,
- 4:11j'ai...
- 4:12Je savais qu'on pouvait faire tourner des modèles en local et que ça marchait très très bien.
- 4:16Donc là,
- 4:17ce n'était même pas forcément question de vie privée,
- 4:20c'était juste une question économique.
- 4:22Si ça pouvait me faire économiser un abonnement,
- 4:24tant mieux.
- 4:26Et il y a deux semaines,
- 4:28j'étais sur
- 4:29Voice Inc.
- 4:31Qui est vraiment top.
- 4:32Pardon,
- 4:33déjà juste pour situer,
- 4:34à quoi tu le payais combien comme abo ?
- 4:37C'était 10 euros par mois à peu près.
- 4:39C'est à peu près les prix...
- 4:42Si on prend du
- 4:45Whisperflow aussi,
- 4:46qui est très connu,
- 4:47ils font énormément de pubs.
- 4:49Si on va sur Product Hunt,
- 4:51il y a leur pub partout.
- 4:55Mais après,
- 4:55ils ont aussi des applications mobiles où c'est pareil,
- 4:59avec un raccourci,
- 5:00on peut...
- 5:02insérer du texte où on veut et c'est compris en général dans l'abonnement.
- 5:06Donc ça peut rester assez pratique.
- 5:08Quand tu es sur mobile,
- 5:10alors là,
- 5:11toi,
- 5:11tu l'utilisais parce que l'ordi ne te permettait pas de faire tourner en local,
- 5:14donc c'était que du cloud sur Aqua.
- 5:16Et si tu l'utilisais sur mobile,
- 5:18ça partait aussi en cloud,
- 5:19j'imagine ?
- 5:20Oui,
- 5:22C'est un peu chaud quand même de faire tourner du local sur un téléphone.
- 5:29Ça peut marcher.
- 5:32Mais ça va consommer beaucoup de batterie et ce n'est pas comme avec un PC où on peut être branché.
- 5:37En général,
- 5:37on essaye un petit peu d'économiser la batterie de son téléphone.
- 5:41Oui,
- 5:42on va revenir dessus après parce qu'effectivement,
- 5:44j'ai fait le test aussi et ça n'a pas été probant sur téléphone.
- 5:48Moi,
- 5:50j'ai un iPhone 13 Pro qui commence à dater et le modèle local passait.
- 5:56Ça allait,
- 5:57mais ça mange trop de ressources.
- 6:02Ouais,
- 6:03sur mobile...
- 6:05Après,
- 6:06c'est vrai que j'ai jamais...
- 6:07J'ai pas trop testé la dictée vocale propre à Apple.
- 6:10Je sais pas si t'as retesté celle qui était propre à
- 6:13Android, toi,
- 6:14ou pas.
- 6:15Alors justement,
- 6:17quand je parlais de dictée vocale les dernières fois,
- 6:19du fait que j'avais pas adhéré jusqu'à présent,
- 6:22c'était avec des solutions natives.
- 6:24Donc sur le téléphone,
- 6:24ouais,
- 6:25c'était celle d'Android,
- 6:26enfin,
- 6:27côté Google,
- 6:28du coup.
- 6:29et qui est correct mais sans plus,
- 6:33il y a quand même pas mal de loupés.
- 6:35Et sur PC,
- 6:36je ne sais plus ce que j'avais testé mais c'était un truc de...
- 6:39dans ce goût-là.
- 6:39Et si,
- 6:40après il y a des années,
- 6:41j'avais testé du Dragon.
- 6:43Oui,
- 6:44oui,
- 6:44oui.
- 6:45Grosse référence pro,
- 6:47on l'avait évoqué,
- 6:47qui est utilisé notamment dans les hôpitaux et dans d'autres outils.
- 6:51Mais pareil,
- 6:51Dragon,
- 6:52au final...
- 6:52Alors,
- 6:53je me suis rendu compte,
- 6:55maintenant en testant après des
- 6:57LLM locaux et des outils locaux,
- 7:00que j'ai visiblement soit une voix qui a l'air d'être difficile à interpréter pour les systèmes,
- 7:08soit un mélange sur mes intonations,
- 7:10ma façon de parler,
- 7:11je suis peut-être trombone ou corde,
- 7:12je sais pas trop,
- 7:13mais c'est vrai que sur la plupart des solutions que j'ai testées,
- 7:18même avec de l'IA,
- 7:19elles étaient quand même pas probantes.
- 7:20Donc voilà,
- 7:21Dragon était peut-être dans le lot aussi,
- 7:24mais c'est peut-être pas anormal en fait que ça ait autant galéré vu...
- 7:28comme j'ai eu du mal à trouver un outil au final qui marche bien pour moi.
- 7:33Tu te fine-tunes ton propre modèle.
- 7:36C'est l'étape d'après.
- 7:38Ouais,
- 7:38on va y aller tranquillou.
- 7:41Donc,
- 7:42t'étais sur Aqua,
- 7:43t'avais testé tout ça,
- 7:44après t'as basculé sur Mac.
- 7:46Ouais,
- 7:49c'était Voice Inc.
- 7:51Parce qu'il y a je crois que c'est
- 7:54Whisper ou Super Whisper.
- 7:57qui est aussi sur Mac,
- 7:59mais là,
- 8:01j'avais un petit peu comparé,
- 8:03je voulais retrouver un peu les mêmes fonctionnalités qu'Aqua,
- 8:06avec pareil la possibilité d'avoir ce raccourci,
- 8:12de pouvoir déposer aussi des audios pour les transcrire.
- 8:16Et c'était ça qui était ressorti.
- 8:20En général,
- 8:20j'aime bien quand c'est des achats uniques,
- 8:23parce que c'est un moyen de quand même soutenir.
- 8:26les développeurs qui ont fait cette solution mais c'est pas un abonnement et donc ça ça m'allait bien et là plus récemment je voulais intégrer la partie notes de réunion et ça j'avais pas vraiment réussi à trouver de bons
- 8:43candidats pour remplacer nos chaînes et c'est là que j'avais vu c'était
- 8:48Vogue One je crois que là j'utilise et que je teste et qu'a priori me va bien
- 8:55qui détecte quand une réunion commence.
- 8:58Mais après,
- 8:59chaque fois,
- 9:00c'est les mêmes modèles de base.
- 9:01C'est vraiment ce qu'on va rajouter en surcouche par-dessus.
- 9:05Et c'est vrai que si c'était pas sur Mac et Windows,
- 9:07il y a Open Whisper,
- 9:09qui est bien aussi,
- 9:11même s'il y a des petites choses qui ne sont pas dans mes usages,
- 9:17notamment pour la transcription de réunion.
- 9:19Là,
- 9:19ce que j'aime bien avec
- 9:21Vowen, c'est de...
- 9:24de ne pas avoir d'IA derrière,
- 9:26en plus du modèle de transcription,
- 9:29d'avoir un modèle qui est assez petit,
- 9:32de laisser tourner et de pouvoir quand même retranscrire derrière avec un modèle plus gros si j'ai envie.
- 9:37Et voilà,
- 9:38ça me suffit,
- 9:39ça enregistre l'audio du PC,
- 9:42enfin le son du PC.
- 9:45Il n'y a pas le bot qui va rejoindre les réunions,
- 9:48et enfin,
- 9:50ce genre de trucs qui peut pas mal agacer.
- 9:54Parce que je crois qu'en entreprise,
- 9:56je crois que c'était dans un podcast de CDLT,
- 9:59elle arrive des fois en avance dans une réunion,
- 10:02elle est toute seule avec quatre ou cinq bottes,
- 10:04et ce qu'elle fait,
- 10:05c'est qu'elle fait une...
- 10:07elle rejoue comme si le Titanic allait s'écraser contre l'iceberg,
- 10:10comme ça,
- 10:11ça fausse complètement et à la fin,
- 10:14les gens se retrouvent avec un résumé de...
- 10:16On pense dans un iceberg.
- 10:17Petit acte de résistance.
- 10:24Aussi vécu quand j'étais en botte,
- 10:25d'arriver dans des réunions avec beaucoup trop de bottes.
- 10:28T'as même des gens qui s'envoient leur botte et qui se pointent pas à la réunion.
- 10:32C'est le petit...
- 10:36Le must,
- 10:37tu vois la petite cerise.
- 10:38Voilà,
- 10:38donc il y a moyen de résister et puis de faire complètement foirer leurs notes de réunion.
- 10:44Et ça peut être marrant.
- 10:48Petit conseil.
- 10:49Bon,
- 10:49en tout cas,
- 10:50tes besoins,
- 10:51c'était la dictée vocale,
- 10:53le fait de pouvoir enregistrer des réunions,
- 10:55ça c'était la nouveauté que tu voulais rajouter.
- 10:58Oui,
- 10:58pour me passer de Notion.
- 10:59Voilà,
- 11:00et idéalement avoir tout au même endroit.
- 11:02Oui,
- 11:03et de pouvoir après,
- 11:04tu l'as dit,
- 11:04déposer un audio.
- 11:05Typiquement,
- 11:06ça peut nous servir pour déposer un épisode de podcast et avoir un transcript qui soit potentiellement plus propre que celui qui est généré avec notre outil de podcasting.
- 11:19Mais c'est vrai que ça peut servir aussi dans d'autres cas.
- 11:22Pas le fait de déposer un audio,
- 11:24mais d'ailleurs,
- 11:24je ne sais pas si...
- 11:25Oui,
- 11:25je crois qu'il le fait,
- 11:27le fait d'enregistrer un audio sur ton ordi.
- 11:30Ça,
- 11:30je pense à tout ce qui va être webinaire ou alors une vidéo YouTube ou un truc comme ça,
- 11:34où vous avez...
- 11:35envie de garder des infos,
- 11:37une trame,
- 11:38des astuces ou des techniques sans forcément être actif en mode prise de notes en permanence.
- 11:45Et dans ces cas-là,
- 11:46ça peut être très pertinent d'avoir ça.
- 11:49Pas forcément pour en faire un résumé.
- 11:51Je sais que je ne m'en sers pas.
- 11:52Ces usages-là,
- 11:53ce n'est pas pour en faire des résumés,
- 11:54c'est plus pour les choper des bouts du contenu dont je vais réutiliser pour les mettre en pratique.
- 11:59Et voilà,
- 12:00donc si sur Vauvent,
- 12:02tu es parti là-dessus...
- 12:04Vaux,
- 12:04ouais,
- 12:04c'est pas...
- 12:04Je suis pas super sympa à dire,
- 12:07j'aime pas trop.
- 12:08Mais en tout cas,
- 12:09tu l'as choisi parce que ça te permettait de centraliser en un seul outil toutes ces fonctions-là,
- 12:14tous ces problèmes-là.
- 12:15Pour l'instant,
- 12:16j'ai cherché un petit peu la solution.
- 12:20Enfin,
- 12:20pas forcément facile,
- 12:21parce que c'est pas facile d'utiliser des modèles en local.
- 12:25C'est sûr qu'il y a des solutions,
- 12:28même un peu moins chères que 10 balles par mois,
- 12:30mais là,
- 12:30je me dis,
- 12:30bon,
- 12:31le modèle,
- 12:31il peut tourner.
- 12:32J'ai une petite interface sympa qui permet de,
- 12:38sans me soucier de crédit,
- 12:41de limites,
- 12:42je peux transcrire,
- 12:44là j'avais fait le test avec des épisodes de podcast d'une heure,
- 12:47une heure trente,
- 12:47même une vidéo.
- 12:49Ça marche nickel,
- 12:51avec large V3,
- 12:53même pas besoin de mettre le turbo,
- 12:54parce que là ça tourne derrière,
- 12:58et même pas pour...
- 13:00Une vidéo d'1h30,
- 13:02je crois qu'il a mis
- 13:044-5 minutes à me la transcrire.
- 13:07C'est super honorable et c'est très propre derrière.
- 13:11Il y a les timestamps,
- 13:12je peux exporter.
- 13:14Voilà,
- 13:14moi en tout cas...
- 13:17Juste pour préciser,
- 13:19là tu as parlé de Whisper Large.
- 13:21On va en reparler après quand on va aller plus dans le détail des modèles qui sont utilisés par ces outils-là.
- 13:27Et timestamp,
- 13:28c'est juste le fait d'avoir les balises de temps en même titre que la vidéo pour dire,
- 13:32une minute 3,
- 13:33il y avait telle phrase en face,
- 13:34une minute 5,
- 13:35c'était telle phrase,
- 13:35et ainsi de suite.
- 13:37Parce qu'il y a des usages,
- 13:39typiquement,
- 13:39sur le podcasting,
- 13:40ça en a.
- 13:41Mais après,
- 13:41dans d'autres cas,
- 13:42même de réunion,
- 13:43de retrouver un passage ou un endroit ou un moment de la conversation,
- 13:46on sait qu'on abordait tel ou tel sujet,
- 13:48de pouvoir le retrouver dans une réunion,
- 13:49par exemple.
- 13:50Pour sous-titrer des vidéos.
- 13:53Voici.
- 13:53C'est dans un format un peu spécial.
- 13:56SRT ou je crois qu'il y en a d'autres aussi où là ça affiche carrément le temps l'intervalle de temps où la phrase doit s'afficher c'est un format assez strict et
- 14:12sachant alors là en plus on parle d'Ialocam mais Vohen alors déjà il a un achat unique parce que là t'as parlé d'abonnement mais il a aussi un achat unique et il te permet aussi potentiellement de prendre un abonnement là pour les Merci.
- 14:24La version cloud.
- 14:26Quelqu'un qui voudrait avoir...
- 14:27Il n'y a pas de...
- 14:29Ce n'est pas un abonnement ?
- 14:30Non,
- 14:31non,
- 14:31c'est juste un achat unique.
- 14:32Et puis après...
- 14:33Parce que sur les LLM,
- 14:34du coup,
- 14:35quand tu pars sur du cloud,
- 14:37tu payes à qui ?
- 14:39C'est
- 14:40Bring Your Own Key.
- 14:42OK,
- 14:42tu amènes ta clé API et tu payes ton abonnement à côté.
- 14:45D'accord.
- 14:46Ou alors,
- 14:48tu peux rediriger vers ton modèle local.
- 14:53Avec Oyama ou autre chose.
- 14:56Ouais,
- 14:58d'ailleurs,
- 14:59sans te clarifier avant d'aller parler des outils que moi j'ai testés.
- 15:03C'est que,
- 15:03alors en fait,
- 15:04à chaque fois,
- 15:04vous avez la partie vraiment outils logiciels,
- 15:06justement ces interfaces qui vont vous permettre de mettre des raccourcis,
- 15:09d'avoir les différentes fonctionnalités dont on a parlé.
- 15:13Mais derrière ces outils-là,
- 15:16ça appuie sur des modèles.
- 15:18Donc il va y avoir grosso modo trois choses à prendre en compte.
- 15:23La première,
- 15:24ça va être le matériel.
- 15:25C'est-à-dire que les modèles vont utiliser la mémoire vidéo de votre machine.
- 15:31Donc dans un Mac,
- 15:32c'est un...
- 15:32unifier ces mélanger à votre mémoire globale dans un pc ça va être différent puisqu'on va être sur la partie qui est dédiée à la vidéo voilà donc à la partie de votre carte graphique donc déjà il ya selon ce que vous avez un peu comme config il ya deux
- 15:49approches un peu différentes et ça va consommer une ressource ou pas en fonction ensuite ces modèles ils peuvent utiliser justement la partie accélération graphique de votre carte graphique
- 16:00Je ne sais pas comment ça se passe sur le côté Mac,
- 16:02mais sur le côté Windows,
- 16:03grosso modo,
- 16:04si tu n'actives pas cette option et si tu n'as pas une carte graphique dédiée,
- 16:07ça va taper dans ton processeur,
- 16:09donc ça va taper dans ton moteur de la machine.
- 16:11Pas de bordier.
- 16:13Donc typiquement,
- 16:16si vous avez un ordi qui est juste bureautique,
- 16:18un peu léger,
- 16:20globalement,
- 16:20les modèles locaux,
- 16:21vous pouvez plus ou moins oublier parce que ça risque d'être assez violent.
- 16:26Soit sur votre processeur,
- 16:27soit sur votre mémoire vidéo,
- 16:28mais ça peut...
- 16:30ça peut vraiment vous taper de la ressource de l'électricité,
- 16:32enfin typiquement si vous n'utilisez que un petit PC portable bureautique,
- 16:38les LLM locaux ne seront pas une bonne...
- 16:41généralement ne seront pas une bonne idée.
- 16:42Mais après,
- 16:43vous allez pouvoir choisir d'activer ou pas cette fameuse accélération.
- 16:46Quand vous activez ça,
- 16:48ça permet de prendre en compte complètement votre matériel,
- 16:51ce qui est très bien,
- 16:52ça permet d'avoir des temps de traitement.
- 16:53Et donc après,
- 16:54sur les modèles en eux-mêmes,
- 16:55vous allez choisir soit...
- 16:58un modèle déjà pour la partie transcription en temps réel,
- 17:01donc vraiment quand vous êtes en dictée vocale.
- 17:03Et là-dessus,
- 17:03comme modèle,
- 17:04en gros,
- 17:05il y a deux familles qui marchent bien.
- 17:07Il y a ceux dont Lulule nous avait déjà parlé qui sont parakits,
- 17:10qui sont proposés par Nvidia,
- 17:13un des fabricants de cartes graphiques.
- 17:16Et alors typiquement,
- 17:16toi,
- 17:17par exemple,
- 17:17pour ton usage,
- 17:18tu n'es pas embêté,
- 17:18il tourne globalement très bien.
- 17:22Oui,
- 17:22il y a des moments,
- 17:23je crois,
- 17:24où c'est quand je vais utiliser un terme anglais.
- 17:26La suite,
- 17:26il me la passe en anglais.
- 17:29Je crois que tu avais eu un peu ce souci aussi,
- 17:30où tu avais des parties qui passaient complètement en anglais,
- 17:33alors que tu parles en français.
- 17:36Donc ça,
- 17:36c'est vrai que c'est un petit souci avec Parakit.
- 17:38Il faudrait que je retente un peu V3 large turbo.
- 17:42Moi,
- 17:42je me demande si même en dictée directe,
- 17:44V3 large,
- 17:45il ne passe pas.
- 17:47Autant il passe,
- 17:48et je n'ai pas trop besoin d'économiser de la source.
- 17:51Je pense qu'il passe.
- 17:53Mais ouais,
- 17:53parce qu'en fait,
- 17:54ce qui est intéressant sur le papier,
- 17:55c'est que Parakit,
- 17:56il ne consomme pas beaucoup.
- 17:57Il est vraiment très léger et qui supporte 25 langues,
- 18:01dont le français.
- 18:03Et il est pas mal à la mode.
- 18:05Globalement,
- 18:05si vous allez naviguer un peu,
- 18:06vous allez le voir un peu partout.
- 18:07Mais les retours,
- 18:08en tout cas,
- 18:08quand j'ai creusé un peu,
- 18:09on l'air un peu partagé parce que soit il marche bien avec votre voix,
- 18:13globalement,
- 18:15si on accepte le cas que tu viens de pointer sur l'anglais,
- 18:17soit il ne vous va pas.
- 18:19Moi,
- 18:19typiquement,
- 18:19il ne me va pas.
- 18:20Donc,
- 18:20non seulement il me traduit en anglais de manière complètement aléatoire,
- 18:23même sans que j'ai dit des mots anglais,
- 18:25mais en plus de ça,
- 18:26il...
- 18:28la moitié des mots il les comprends de travers donc c'est assez cata c'est un modèle qui marche pas du tout pour moi et donc j'étais obligé d'aller sur les autres l'autre famille qui est la déclinaison en fait qui sont des modèles proposés par openair donc openair famille Ausha mais
- 18:45qui avait créé ces modèles voilà de manière open enfin à poids ouvert donc openweight toujours pareil si vous voulez en savoir plus retournez voir nos précédents épisodes thématiques on explique tout ça
- 18:56Ce que c'est que justement que les communs numériques,
- 18:59que les modèles liés à poids ouvert,
- 19:02etc.
- 19:03Et donc ça c'est la famille des Whisper,
- 19:05qui ont plein de modèles du petit au large et au turbo.
- 19:09Et le large étant le plus consommateur de ressources,
- 19:12mais celui qui va être le meilleur en temps réel pour comprendre et restituer.
- 19:16Là où le turbo est très bon pour comprendre,
- 19:18mais sur la restitution il n'est pas forcément bon.
- 19:21Moi c'est un modèle qui marche bien sur la restitution des mots,
- 19:25mais pas sur la ponctuation.
- 19:27Ce qui m'oblige à utiliser le large parce que sinon,
- 19:29il ne me met pas de points.
- 19:30Voilà.
- 19:32Et tu avais quand même essayé à l'oral de dire la ponctuation,
- 19:37même si c'est un petit peu moins naturel.
- 19:39Il me semble que normalement,
- 19:40le modèle le comprend.
- 19:43Oui,
- 19:44j'ai essayé un peu,
- 19:44mais ça m'a vite gonflé.
- 19:47Alors que le large,
- 19:48il y a toujours des petits mots par-ci,
- 19:50par-là qui ne te comprennent pas très bien.
- 19:52Mais en tout cas,
- 19:52sur la ponctuation,
- 19:53il me met des virgules,
- 19:54il me met des points,
- 19:55il me met des points d'exclamation si je veux,
- 19:56des points d'interrogation.
- 19:58Il me fait quasiment tout très bien,
- 20:00hormis les petits couacs de mots.
- 20:01Et ça,
- 20:02tu vas les modifier,
- 20:02il l'enregistre dans son dictionnaire et tu as moins de chance qu'il se couvre une prochaine fois.
- 20:09Le large,
- 20:09il marche très bien.
- 20:10Au final,
- 20:10c'est ce que j'ai retenu.
- 20:11Alors malheureusement,
- 20:12c'est celui qui consomme le plus.
- 20:13plus de ressources et qui n'est pas gênant tant qu'on fait que de la dictée vocale.
- 20:18Mais moi,
- 20:18ce qui a eu un impact sur les autres modèles que je veux utiliser derrière à côté,
- 20:22parce que lui,
- 20:22du coup,
- 20:23il va tourner en permanence.
- 20:25Ce qu'il faut vous dire aussi,
- 20:26c'est qu'en fait,
- 20:26en fonction de de l'usage que vous allez faire justement de vos modèles locaux,
- 20:33soit ils vont être chargés en permanence dans votre machine et consommer de la ressource en permanence comme la dictée vocale.
- 20:39soit typiquement comme disait Lulu avant quand elle dépose un fichier pour une transcription là ça va tourner pendant 5 minutes,
- 20:46ça va consommer pendant 5 minutes et après votre modèle il peut rester monter et consommer des ressources pendant 5 minutes supplémentaires et dans la plupart des outils au bout de 5 minutes s'il n'est pas utilisé il libère l'espace mais pas votre outil de dictée vocale temps réel,
- 20:59lui il reste chargé en permanence donc ça reste un des points à prendre en compte parce que du coup s'il goût
- 21:08en fonction de votre configuration s'ils consomment trop vous êtes impacté sur le reste et donc on a parlé de la partie dictée vocale et après l'autre modèle dont vous pouvez avoir besoin c'est celui qui va faire ce qu'on appelle le post traitement donc après la dictée vocale vous
- 21:24pouvez en fait au moment où vous validez vous appuyez sur votre raccourci pour que le texte il parte dans votre fenêtre de saisie il peut y avoir un autre modèle qui prend le relais
- 21:35pour s'occuper de la ponctuation,
- 21:37pour faire de la correction,
- 21:39mais qui va marcher aussi pour la partie transcription qui après va vous générer un résumé.
- 21:44Ou alors,
- 21:45en plus,
- 21:45toi sur Vowen,
- 21:45tu peux avoir plein de choses,
- 21:46tu peux avoir des templates qui vont faire des traitements différents en fonction de ce que tu fais dessus.
- 21:51Ça,
- 21:51j'avoue que c'est quand même carrément intéressant.
- 21:53Et dans ces cas-là,
- 21:55vous allez pouvoir choisir un deuxième modèle ou en fonction de l'usage d'ailleurs.
- 22:00Par exemple,
- 22:00dans OpenWhisper,
- 22:01on peut avoir un modèle...
- 22:03qui prend le relais sur la ponctuation pour la dictée vocale.
- 22:05On peut avoir un autre modèle qui prend le relais sur l'enregistrement des notes.
- 22:09Un autre modèle pour le chat.
- 22:11Dans Vauven,
- 22:12je crois que ça avait l'air d'être un peu le même principe.
- 22:15C'est vraiment ce que j'aimais bien,
- 22:16d'avoir un peu ce côté modulaire,
- 22:19de pouvoir dire,
- 22:21c'est tel modèle qui va tourner par défaut.
- 22:25Et si ça ne va pas,
- 22:26j'ai quand même toujours la possibilité de retranscrire derrière avec un plus gros modèle si je vois que ça ne suit pas.
- 22:33même pour les dictées vocales alors c'est sûr quand on dicte une phrase on peut la redire mais si c'est un super long message et qu'on se rend compte que ça n'a pas bien pris les types d'outils alors c'est pas spécifique à Vohen mais ils
- 22:49peuvent enregistrer l'audio temporairement ce qui permet de le reprocesser au besoin c'est vrai alors ça je te vois que je le fais j'ai désactivé tous les enregistrements d'audio et de tout ça parce que notamment maintenant je fais de la dictée vocale à longueur de journée Merci.
- 23:03J'ai pas envie de me blinder le disque avec des enregistrements audio dans tous les sens.
- 23:07Tu peux mettre un système de purge,
- 23:09en tout cas.
- 23:10Oui,
- 23:10oui.
- 23:11Moi,
- 23:12pour revenir sur la partie outils,
- 23:16Lulu a fait le choix du tout-en-un,
- 23:17avec Vohen qui permet d'avoir tous ces aspects-là.
- 23:20Moi,
- 23:20je voulais rester absolument sur de l'open source,
- 23:22et je voulais aussi utiliser du Olliamma à côté pour avoir un modèle qui tourne en local et qui soit utilisé par mes autres outils que j'ajouterai petit à petit.
- 23:31Donc là,
- 23:32typiquement,
- 23:32c'était de me dire,
- 23:33OK,
- 23:33ma dictée vocale,
- 23:34je l'ai dans Open Whisper.
- 23:35Et quand il y a du traitement à faire ou des choses à faire particulières,
- 23:38il appellera mon modèle sur Oliama.
- 23:40Mais du coup,
- 23:40si je rajoute un autre outil pour les réunions,
- 23:42par exemple,
- 23:42il appellera aussi le modèle que j'ai sur Oliama,
- 23:46et ainsi de suite.
- 23:47Donc d'avoir un modèle local ou des modèles locaux qui sont hébergés sur un petit serveur,
- 23:52que d'IA de...
- 23:53enfin,
- 23:53pas le serveur,
- 23:54mais sur ma machine,
- 23:55mais que sur la partie vraiment IA locale,
- 23:56qui permettent d'être mutualisés.
- 23:59Et voilà,
- 23:59ce qui fait que j'ai pris Open Whisper sur la partie dictée vocale.
- 24:03Il permet aussi de faire de l'enregistrement de notes et de réunions,
- 24:07mais il n'est pas idéal au niveau de la prise en main,
- 24:09au niveau de...
- 24:12Aussi,
- 24:12notamment,
- 24:12il ne fait pas les fameux timestamps sur les réunions.
- 24:15Il a quand même un truc sympa,
- 24:17que tu as aussi d'ailleurs sur Vohen,
- 24:18c'est le fait de pouvoir enregistrer.
- 24:21Donc là-dessus,
- 24:22il fait autant de choses.
- 24:24On peut déposer des fichiers,
- 24:25on peut enregistrer en temps réel.
- 24:26À côté,
- 24:27on a une...
- 24:27petite fenêtre où on peut taper des notes et après on peut lui faire des commandes préparées en IA pour qu'il fasse en fonction de ce qu'il y a dans la commande des notes qui vont faire le mix entre le transcript et les notes.
- 24:40Je l'ai juste testé,
- 24:41je ne l'ai pas encore vraiment paramétré,
- 24:43il me génère juste un résumé je crois ou des notes à partir du transcript mais potentiellement en fonction du contenu qu'on fait on peut se faire des raccourcis différents et se dire ben voilà là c'était un transcript d'un podcast du dernier clic et je veux qu'il me fasse un résumé qui soit taillé pour Ausha directement.
- 24:57sans qu'on ait à le passer dans le cloud ou dans autre chose,
- 24:59je vais me faire un bon petit prompt qui est calibré,
- 25:01je vais me prendre deux,
- 25:02trois notes en complément,
- 25:03hop,
- 25:03je clique dessus,
- 25:04il va me le faire en une seule passe.
- 25:06Dans l'idée,
- 25:07c'est ce genre de choses que ça permet.
- 25:08Tu les as testés,
- 25:09toi,
- 25:09un petit peu,
- 25:09les templates,
- 25:10ou pas ?
- 25:11Pas encore,
- 25:11parce qu'il faut installer un modèle.
- 25:16pour que ça puisse fonctionner,
- 25:17chose que j'ai pas encore fait.
- 25:21Mais c'est la prochaine étape.
- 25:25Là pour l'instant,
- 25:25c'était surtout récupérer la transcription et faire de la dictée vocale.
- 25:29Après,
- 25:29la transcription,
- 25:31je peux l'exploiter moi derrière si je veux.
- 25:36Là,
- 25:36j'ai juste pas encore réfléchi exactement à comment est-ce que je veux que mes notes soient résumées.
- 25:44Et ça,
- 25:45c'était un truc qui m'embêtait avec OpenWhisper,
- 25:47c'est de ne pas juste pouvoir lancer ta note,
- 25:52une note de réunion ou l'enregistrement sur ton PC si tu n'as pas configuré un modèle local.
- 25:58Alors que moi,
- 25:58je veux juste peut-être récupérer la transcription et l'audio.
- 26:02Tu es peu dans OpenWhisper ?
- 26:04Je n'avais pas forcément pu.
- 26:06Non.
- 26:07Alors en fait,
- 26:07d'ailleurs,
- 26:08un petit précision,
- 26:09parce qu'on ne l'a pas dit,
- 26:09mais en fait,
- 26:10toi dans Vohen,
- 26:11tu utilises quand même des modèles locaux pour la transcription.
- 26:14C'est juste que tu n'as pas de serveur en plus au Yama ou à notre serveur pour les parties post-traitement.
- 26:21Oui,
- 26:21le modèle local,
- 26:22mais deux transcriptions.
- 26:24Oui,
- 26:24voilà.
- 26:25Et ça,
- 26:25dans les différents outils,
- 26:26dans Open Whisper,
- 26:27c'est pareil.
- 26:27En fait,
- 26:28par des fois,
- 26:28ils vous proposent d'installer des modèles locaux dans l'outil.
- 26:32Et vous pouvez aussi,
- 26:33éventuellement,
- 26:34rajouter des modèles locaux,
- 26:35justement,
- 26:36qui sont configurés ailleurs dans votre machine.
- 26:38Parce que ça peut être du Yama,
- 26:39ça peut être du LM Studio.
- 26:40Il y a d'autres outils comme ça qui vous permettent de stocker plusieurs et de charger plusieurs dires.
- 26:46Mais vous êtes déjà en local,
- 26:47vous n'avez pas forcément besoin d'aller sur une grosse usine à gaz ou plein d'outils.
- 26:51On vous expose un peu ce que nous on a fait et les différentes options.
- 26:54Mais vous pouvez très bien juste choisir les premiers modèles.
- 26:57Et pour le post-traitement dans OpenWhisper,
- 27:00par contre,
- 27:00contrairement à Owen,
- 27:01c'est possible.
- 27:02Tu peux choisir pour ta correction de transcript ou tout ça,
- 27:06de prendre juste un modèle qui est proposé par eux que tu télécharges en local.
- 27:10Et de base,
- 27:10tu as déjà pas mal de choix parce que tu as du
- 27:12GEMA, donc ceux de chez Google.
- 27:14Tu as du QEN.
- 27:15Ah oui,
- 27:17oui,
- 27:17mais tu es quand même obligé d'installer un modèle de post-traitement.
- 27:23Moi,
- 27:24ce que j'aime...
- 27:25Pas forcément.
- 27:25Si tu ne les installes pas,
- 27:27tu auras le transcript,
- 27:29mais tu n'auras que le transcript.
- 27:30Le transcript,
- 27:30il te reprendra.
- 27:31En fait,
- 27:31enregistrement et dictée vocale,
- 27:33tu ne peux prendre que ton whisper large.
- 27:36Et c'est dès que tu passes sur les résumés de notes,
- 27:39générer des notes,
- 27:40ou alors le chat,
- 27:41ou alors les autres usages,
- 27:42ou la correction.
- 27:43Oui,
- 27:44ça dans Vowen,
- 27:45c'est pareil.
- 27:48OK,
- 27:48au pire,
- 27:49je retesterai un coup.
- 27:51J'avais voulu lancer,
- 27:53mais ça ne voulait pas parce qu'il fallait que je configure un modèle local en plus du modèle de transcription.
- 28:02Je ne suis peut-être pas passé par le bon chemin.
- 28:04Ouais,
- 28:04je pense.
- 28:05Pour l'ancienne,
- 28:05mais...
- 28:06Après,
- 28:06objectivement,
- 28:07pour l'enregistrement des notes,
- 28:08Vohen est comme plus commode et pratique.
- 28:13Et d'ailleurs...
- 28:13Ouais,
- 28:14ce que j'aime bien,
- 28:14c'est vraiment...
- 28:15Enfin,
- 28:15on peut prendre des notes.
- 28:16En plus,
- 28:16il y a un peu comme Notion,
- 28:18il y a cette petite bulle flottante qui apparaît sur le côté.
- 28:23Et il y a une petite interface,
- 28:24on peut prendre des notes directement là-dedans.
- 28:26Et il y a une fonction pour prendre des screenshots directement qu'on pourra retrouver après dans la note.
- 28:32Sûr que quand on regarde une présentation...
- 28:34Tant que de le faire à la main et de voir après copier-coller,
- 28:37c'est vrai que c'est quand même super cool.
- 28:39Et je crois qu'il y a ce truc qui était aussi dans Voice Inc.
- 28:45que j'aimais bien et qui pouvait prendre un screenshot de la page.
- 28:48Bon,
- 28:49ça reste après en local.
- 28:50Et après,
- 28:50c'est avec une technologie OCR,
- 28:53donc de vision pour obtenir plus de contexte et ne pas faire de fautes sur certains mots.
- 29:00Parce que forcément,
- 29:01si on parle de...
- 29:05Si on a un terme qui est un peu spécifique,
- 29:09si on l'a dit juste au-dessus,
- 29:11ça guidera plus facilement en dessous.
- 29:13Et je crois que les screenshots qu'on fait avec Bowen quand on est en mode réunion,
- 29:18il s'en sert après en tant que contexte pour générer le résumé.
- 29:21Ce qui est quand même cool.
- 29:23Oui,
- 29:23ce qui est intéressant.
- 29:24Donc il va taper aussi des ressources parce que la vision,
- 29:26pour le coup,
- 29:27elle va souvent taper ailleurs.
- 29:28Souvent,
- 29:29c'est dans le processeur.
- 29:31Ouais,
- 29:32il me semble qu'au CR,
- 29:33après,
- 29:34moi,
- 29:34j'avais en tête le modèle de Mistral,
- 29:36et c'est quelque chose qui ne consomme pas des masses,
- 29:40sans forcément aller sur du
- 29:42LLM. Moi,
- 29:43je sais que même sur,
- 29:45en tout cas sur Mac,
- 29:46peu importe l'image,
- 29:47je peux sélectionner directement le texte.
- 29:49Donc,
- 29:50peut-être qu'il se sert de quelque chose qui est interne au Mac.
- 29:56Je ne sais pas.
- 29:56En tout cas,
- 29:57je sais que là,
- 29:57sur les tests que j'ai faits avec les différents modèles,
- 30:00Sur la partie vision,
- 30:01à chaque fois,
- 30:02il n'allait pas utiliser ma carte graphique comme il le fait pour le reste,
- 30:04il allait taper dans mon processeur.
- 30:06Ok.
- 30:06Pour l'OCR.
- 30:07Alors,
- 30:07ce qui n'est pas gênant...
- 30:08Peut-être la partie accessibilité du
- 30:11Mac, parce que,
- 30:12en fait,
- 30:13peu importe le texte,
- 30:14même s'il n'est pas sous format texte,
- 30:16je peux quand même le sélectionner,
- 30:17le copier-coller sur le Mac.
- 30:20D'accord.
- 30:21Ce qu'il y a aussi sur les iPhones.
- 30:23C'est assez cool de prendre juste le texte en photo,
- 30:25de pouvoir sélectionner et copier-coller.
- 30:27Je ne sais pas s'il y a des utilitaires comme ça sur Windows.
- 30:29J'imagine que oui,
- 30:30mais je n'ai jamais eu vraiment eu besoin.
- 30:32Je ne sais pas,
- 30:33je ne suis pas creusé.
- 30:35Tu ne fais pas assez de screens ?
- 30:37Ou après,
- 30:37il faut aller recopier-coller du texte dedans ?
- 30:39Je fais tout le temps des screens,
- 30:40mais je n'ai pas besoin de prendre le texte dans mes screens.
- 30:42C'est surtout ça.
- 30:43Ah oui,
- 30:43moi,
- 30:43sur téléphone,
- 30:44je m'en sers tout le temps.
- 30:46Mais d'accord.
- 30:48Et pour quoi faire ?
- 30:50Je ne sais pas.
- 30:51Sur le coup,
- 30:52je vais trouver,
- 30:54je vais screen.
- 30:55peut-être un article et à un moment,
- 30:56j'ai envie de partager ou de reprendre une partie,
- 30:59je vais copier-coller.
- 31:00Plutôt que,
- 31:01par exemple,
- 31:01même dans LLM,
- 31:02plutôt que d'envoyer une image et de lui faire lire à lui,
- 31:05je vais copier-coller mon texte avant.
- 31:07Oui,
- 31:07mais du coup,
- 31:07tu n'as pas besoin de prendre ton texte dans un screenshot,
- 31:11puisque tu as l'article.
- 31:12Oui,
- 31:12mais sur le moment quand j'ai vu l'article,
- 31:15je me suis dit,
- 31:16tiens,
- 31:16c'est intéressant.
- 31:18Et plutôt que d'avoir déjà encore plus d'onglets ouverts dans mon navigateur,
- 31:23j'ai fait un screen.
- 31:25Et des fois,
- 31:25je vais récupérer une information sur ce screen qui date de plusieurs jours.
- 31:29Donc,
- 31:30tu fais des screenshots en plus de les ajouter avec ton Save to Notion,
- 31:34mais qui est devenu ton enregistrement vers...
- 31:37Plus vers Obsidian,
- 31:38vers Anytype,
- 31:39par exemple.
- 31:39J'ai pas remis en place encore.
- 31:41Là,
- 31:43je suis dans le void pour le moment en termes de ressources.
- 31:46Le void ?
- 31:47Oui,
- 31:48ça va nulle part.
- 31:49Ah oui,
- 31:50d'accord.
- 31:50Ça reste en cache sur mon navigateur.
- 31:53Si,
- 31:53j'envoie quand même vers
- 31:54Readway the Reader,
- 31:56mais ça se perd.
- 31:57Enfin,
- 31:57il n'y a plus de...
- 31:59ça ne va pas plus loin pour l'instant.
- 32:01D'accord.
- 32:01Est-ce que tu expliques les screenshots ?
- 32:04Oui,
- 32:04mais ça,
- 32:05les screenshots,
- 32:05c'est depuis que j'ai un téléphone.
- 32:08Je n'ose même pas regarder le nombre de screenshots que j'ai dessus.
- 32:12Mais par contre,
- 32:12c'est pratique dans la galerie.
- 32:14Quand je vais chercher un terme spécifique,
- 32:16il va aller me chercher,
- 32:17même sur le screenshot,
- 32:18ce terme,
- 32:20il y a la lecture,
- 32:21c'est indexé.
- 32:22Oui,
- 32:22mais ça,
- 32:22je comprends.
- 32:23Même dans l'absolu,
- 32:24je comprends l'intérêt.
- 32:25Mais j'ai juste...
- 32:28J'ai peut-être eu besoin de cet usage-là deux fois dans ma vie,
- 32:30tu vois.
- 32:31C'est pour ça que ça m'intriguait.
- 32:34C'est comme le fait de pouvoir copier-coller sur l'iPhone et après,
- 32:37tu fais CTRL-V sur le...
- 32:38Enfin,
- 32:38CMD-V sur le Mac et ça se copie automatiquement.
- 32:41C'est trop bien,
- 32:41ça aussi.
- 32:42Mais pareil,
- 32:42toi,
- 32:42tu vois pas l'intérêt.
- 32:44Ouais,
- 32:44c'est un truc qui m'a jamais manqué,
- 32:45en fait.
- 32:45Je n'ai jamais...
- 32:48Ça me manquait pas.
- 32:49Et maintenant que je l'ai,
- 32:50je me dis...
- 32:51ah ouais c'est quand même cool de ne pas avoir à s'envoyer des liens par mail pour le récupérer sur le PC.
- 32:57Mais qui envoie des liens par mail ?
- 32:58Mais pourquoi ?
- 33:03Je veux dire t'avais Notion depuis des années,
- 33:05t'avais des outils comme ça justement il y avait déjà des Select to Notion,
- 33:08tu vois un truc bien tu l'enregistres dedans alors maintenant tu l'as dans tous les outils même avec Annihilation.
- 33:13Non mais c'est par exemple j'ai un URL un truc que je suis en train de lire je me dis ah bah tiens j'aimerais bien le lire sur PC
- 33:20Je me l'envoie par mail.
- 33:21Justement,
- 33:22pourquoi tu ne t'enregistres pas dans ton Notion ou dans ton n'importe quoi et tu le dis après sur PC ?
- 33:27Parce que je n'avais pas Notion avant et j'ai toujours fait comme ça.
- 33:32Même quand il fallait que je m'envoie des photos.
- 33:34C'était pareil,
- 33:35c'était par mail.
- 33:36On dirait les vieux dans les boîtes.
- 33:37Non,
- 33:37mais j'ai toujours fait comme ça.
- 33:38Oui,
- 33:38mais ça n'a aucun sens quand même.
- 33:41Maintenant,
- 33:42je airdrope.
- 33:43Oui,
- 33:44bon.
- 33:46Oh là là,
- 33:46bon.
- 33:48On digresse,
- 33:49on digresse,
- 33:50on va arrêter parce que...
- 33:54Tu prêches pour l'empire du mal,
- 33:56pour les technologies Mac que je comprends pas.
- 33:59Ça tient bien quand même.
- 34:00Puis en attendant,
- 34:01moi,
- 34:01les modèles locaux,
- 34:02il n'y a pas besoin de faire autant de bidouillages que ce que tu as dû faire.
- 34:06Ouais,
- 34:06après,
- 34:06parce que j'ai voulu tester plein de trucs et plein d'usages.
- 34:11Peut-être qu'on va terminer un peu sur la partie audio parce que justement,
- 34:13on a fait déjà un peu long.
- 34:15En gros,
- 34:15donc voilà.
- 34:16Sur la dictée vocale,
- 34:17au final,
- 34:17je me suis arrêté sur OpenWhisper et sur Whisper large à l'intérieur.
- 34:21Je n'utilise pas de modèle derrière pour me faire de la correction de ponctuation et tout,
- 34:24parce que Whisper large me le fait bien.
- 34:26Et qu'en fait,
- 34:26si j'utilisais deux trucs,
- 34:27ça me consommerait vachement plus de ressources.
- 34:29Je préfère avoir un modèle un peu plus gros,
- 34:31qui,
- 34:32pour donner une idée,
- 34:32consomme 3Go de RAM virtuel,
- 34:35donc de mémoire sur ma carte graphique en permanence,
- 34:38mais qui me permet d'avoir une dictée vocale bien rédigée d'emblée.
- 34:45et en fait dès que je vais rajouter des modèles locaux après pour faire du post-traitement c'est des modèles qui vont vite me taper quoi dans les 7 8 giga ça dépend mais en gros sur ma carte graphique j'ai 12 giga de disponible j'en ai deux qui sont utilisés en permanence sur mes mais juste mes écrans et mes différents...
- 35:01différentes fenêtres un peu partout.
- 35:02J'en ai trois qui sont utilisées pour ma dictée vocale et le reste qui me sert sur les différents modèles,
- 35:10pour un modèle d'IA local.
- 35:12Mais de fait,
- 35:13je ne peux pas aller forcément sur les trucs les plus hauts.
- 35:17Globalement,
- 35:18je suis dans les modèles 9B.
- 35:239B,
- 35:23d'ailleurs,
- 35:25ce n'est pas des milliards.
- 35:26Milliard,
- 35:27si,
- 35:27je crois que c'est quand même.
- 35:28Si,
- 35:28c'est un milliard de paramètres.
- 35:30Ouais,
- 35:30parce que millions,
- 35:31ça commence à plus faire des masses.
- 35:33Billion.
- 35:34Ouais,
- 35:35mais ça doit être millions.
- 35:36Enfin bon,
- 35:37je suis à peu près là-dessus.
- 35:39Et donc,
- 35:39comme je l'expliquais,
- 35:40j'avais ça.
- 35:41J'ai un
- 35:42Olliamma avec un modèle derrière pour la partie,
- 35:47si j'ai besoin de faire un traitement pour aller l'appeler lui.
- 35:49Donc là,
- 35:49ce sera plutôt pour les notes de réunion.
- 35:52Mais pour les notes de réunion,
- 35:53Open Whisper,
- 35:53je le trouve pas fou.
- 35:54Enfin,
- 35:55il fait le boulot,
- 35:56mais en termes du X et tout,
- 35:58l'interface n'est pas hyper pratique.
- 36:00et il n'y a pas les timestamps dont je peux avoir besoin notamment pour les podcasts.
- 36:05Donc je voulais un autre outil qui puisse me faire ça d'une meilleure manière,
- 36:09que ce soit pour les réunions ou pour les enregistrements à la volée ou dépôt de fichiers.
- 36:16Et j'en ai essayé plusieurs.
- 36:18J'en ai retenu surtout deux parce qu'après j'en ai utilisé trop quatre,
- 36:21mais qui n'étaient pas ouf.
- 36:23Il y a Meetily.
- 36:25on vous mettra les...
- 36:28Tous les outils dont on vous parle seront dans les notes de l'épisode.
- 36:31Mithili que j'ai trouvé en moyen.
- 36:36Il faisait le boulot,
- 36:37mais je ne sais plus pourquoi.
- 36:41Je crois qu'il n'y avait pas le timestamp justement.
- 36:44Je ne sais pas,
- 36:44je n'ai pas été convaincu.
- 36:45Après,
- 36:45il est quand même assez bien fait,
- 36:46assez intuitif.
- 36:47Aussi en local,
- 36:48vous avez une déclinaison payante que si vous voulez prendre un abonnement et tout ça.
- 36:51Ou alors la déclinaison que vous pouvez mettre sur votre machine,
- 36:54tout avec de l'IA locale et sans forcément avoir besoin d'un serveur.
- 36:58Là-dessus,
- 36:58il est quand même bien pratique,
- 36:59bien fait.
- 37:01Mais je ne sais plus,
- 37:02il ne m'a pas vraiment convaincu.
- 37:04Et je crois que c'était sur le format notamment des comptes rendus qui me sortaient.
- 37:09Et après,
- 37:09j'ai testé Vibe.
- 37:11Pareil,
- 37:11prenez le lien parce que si vous commencez à chercher Vibe sur Internet,
- 37:16bon courage.
- 37:16Ça va être redirigé vers le nouvel outil,
- 37:19le rebranding de Mistral.
- 37:21De Mistral.
- 37:21Entre autres.
- 37:23Alors si vous trouverez assez vite un...
- 37:27une page GitHub qu'il mentionne.
- 37:29Mais si les pages GitHub vous font peur parce que ça ressemble à des pages de développeurs pour du code,
- 37:34ce que j'entends et que je comprends complètement,
- 37:36vous n'allez pas forcément mettre la main dessus d'emblée.
- 37:38D'ailleurs,
- 37:39je suis en train de penser en regardant mon lien que c'est...
- 37:42Je crois que c'est quand même un lien GitHub que j'ai...
- 37:45Je regarderai.
- 37:46Mais en tout cas,
- 37:47Vibe,
- 37:48pour la partie réunion,
- 37:50il est très chouette.
- 37:51Il est simple à prendre en main,
- 37:52simple à configurer,
- 37:54il fait des comptes-rendus de réunion avec les timestamps et tout qui marche très bien.
- 37:57Votre transcript,
- 37:59vous pouvez l'exporter directement dans tous les formats,
- 38:04que ce soit du docx,
- 38:06du markdown,
- 38:06du pdf,
- 38:07du ce que vous voulez.
- 38:10Du pdf,
- 38:10ah oui,
- 38:11pdf je l'ai dit,
- 38:11enfin bref.
- 38:12Voilà,
- 38:12vous avez plein de formats,
- 38:14c'est très très bien.
- 38:15Le seul truc un peu dommage,
- 38:17c'est qu'il y a aussi la reconnaissance des...
- 38:20d'interlocuteurs et ce type de choses.
- 38:22Seule chose un peu dommage,
- 38:24c'est que certains formats ne supportent pas les timestamps.
- 38:28Par exemple,
- 38:29le Markdown ne le supporte pas.
- 38:31Donc obligé d'exporter en PDF ou en .docx par exemple pour les avoir.
- 38:34Voilà,
- 38:34donc là ma contrainte aujourd'hui c'est que j'ai deux outils dédiés et donc Vibe quand il est activé,
- 38:40il a aussi de la ressource en permanence pour la dictée vocale.
- 38:43Donc je peux pas avoir les...
- 38:44enfin je peux pas.
- 38:45techniquement je pourrais mais en fait ça fait trop de ressources consommées si j'ai tout lancé au moment il fait la transcription et les générations et les résumés et tout après donc je suis obligé de fermer un outil quand je passe sur l'autre ce qui en usage réel normalement est pas gênant parce que la plupart du temps si je suis en réunion ou que j'enregistre un truc que je regarde j'ai
- 39:06pas besoin de la dictée vocale mais j'ai eu le cas l'autre jour où justement j'avais un de nos épisodes de podcast que je voulais transcrire et en fait pendant qu'il faisait le trade
- 39:14il avait toutes les ressources de consommer et du coup à ce moment là je voulais travailler en même temps sur sur du dev et du cloud code et lui parler avec la dictée vocale et je me suis retrouvé comme un con à parler devant mon micro et qu'il se passe rien.
- 39:27Obligé de retaper au clavier.
- 39:29C'est ça,
- 39:29de manière complètement archaïque comme il y a une semaine quoi.
- 39:33Affreux.
- 39:33Voilà donc ma contrainte aujourd'hui c'est d'avoir deux outils et que c'est un peu moins fluide et un peu moins sympa visuellement que ce que que Vohen propose.
- 39:44mais pour l'instant je vais quand même rester là-dessus parce que ce sont deux outils open source qui peuvent se connecter avec mon Oliama et avec les modèles de mon choix derrière pour les traitements et voilà,
- 39:56ils sont complètement open source,
- 39:58locaux c'est deux outils qui sont quand même bien soutenus il y a des déclinaisons payantes si jamais vous voulez un peu plus de facilité utiliser des modèles qui sont hébergés en cloud les deux le proposent à travers des options payantes mais en gratuit en fait vous avez déjà absolument
- 40:14tout ce qu'il faut.
- 40:15Et voilà,
- 40:16c'est de l'open source et ça marche.
- 40:19Factuellement,
- 40:20ça fait très bien le boulot.
- 40:21Oui,
- 40:21moi,
- 40:22c'est juste pour l'instant,
- 40:23parce qu'on va dire que j'ai d'autres choses à explorer et ça me tiendra le temps que ça tiendra.
- 40:30Et peut-être qu'à un moment,
- 40:31je suis sûre qu'idéalement,
- 40:34c'est d'aller aussi vers l'open source.
- 40:35Mais voilà,
- 40:37on va déjà essayer d'installer OpenCode,
- 40:39enfin,
- 40:39petit à petit.
- 40:42Et là,
- 40:43l'objectif,
- 40:43c'était surtout d'arrêter les abonnements et de repasser à quelque chose que j'ai et qui fait le taf pour le moment.
- 40:52Voilà,
- 40:52c'est des périodes un peu de transition.
- 40:54Et ça,
- 40:55on s'en est rendu compte aussi assez vite.
- 40:57C'est que c'est un domaine qui évolue très,
- 40:59très vite.
- 41:00Que ce soit du côté de l'open source,
- 41:02de ce qui est local aussi.
- 41:04Pour l'instant,
- 41:05c'est encore de niche.
- 41:09Mais ça devient de plus en plus accessible.
- 41:11Il y a des grosses avancées qui sont faites aussi.
- 41:15Que ce soit même d'avoir des modèles qui sont un peu plus petits et plus performants.
- 41:19Donc ça bouge.
- 41:22Ça bouge tout le temps.
- 41:23Il faut un peu tout le temps tester.
- 41:24Mais en même temps,
- 41:25il faut aussi choisir ses priorités.
- 41:28Et de se dire,
- 41:28bon,
- 41:29là,
- 41:30à l'instant T,
- 41:31ça me convient.
- 41:32Je refais un check,
- 41:33par exemple,
- 41:34dans six mois.
- 41:35Et autant,
- 41:35il y aura eu des...
- 41:37plein de nouvelles choses,
- 41:38même des nouveaux modèles et des nouvelles interfaces.
- 41:41Ce sera notre interface.
- 41:43Même si c'est dans l'épisode précédent,
- 41:46on s'est dit,
- 41:46il ne faut pas développer des choses qui existent déjà.
- 41:49Oui,
- 41:50il y a déjà plein de solutions intéressantes.
- 41:53C'est vrai qu'on voulait aussi parler de ces outils et de nos expérimentations là,
- 41:58parce que la dictée vocale...
- 41:59Alors,
- 42:00j'étais encore récalcitrant il y a une semaine,
- 42:02parce que le fait d'écrire m'aide à structurer ma pensée.
- 42:05et que j'écris assez vite pour pas être gêné à la base.
- 42:09Enfin voilà,
- 42:09l'habitude du clavier depuis longtemps.
- 42:11Mais il n'empêche que sur des usages et de collaboration et de développement aussi avec l'interaction avec les IA,
- 42:19le fait de pouvoir parler directement et d'avoir des transcriptions qui sont bien meilleures que ce que j'avais avant,
- 42:26ça a joué quand même aussi énormément dans la balance,
- 42:28d'avoir enfin des transcriptions qui soient bonnes.
- 42:31J'ai vraiment vraiment vraiment accroché très très fort au concept.
- 42:35Du coup,
- 42:35c'est vrai que ça fait partie maintenant de ma façon de bosser,
- 42:38même si c'est encore très récent.
- 42:42Dans tout ce que j'ai à écrire,
- 42:44je le fais en audio,
- 42:46quitte à aller faire des correctifs ou des petites choses après.
- 42:49Je vais voir dans les prochaines semaines jusqu'où je vais dans ce principe-là.
- 42:53Mais en tout cas,
- 42:55c'est vraiment un confort quotidien aujourd'hui,
- 42:57que ce soit dans mon utilisation avec les IA,
- 43:00même dans les échanges comme on a sur Discord ou sur des canaux de communication.
- 43:05ça pouvait prendre des fois beaucoup de temps,
- 43:08même en écrivant vite le fait de structurer sa pensée en même temps,
- 43:10de se reprendre et puis en écrivant on se dit ouais mais en fait c'est pas forcément comme ça que je veux le dire ou je peux le dire mieux ou je retravaille alors que en parlant,
- 43:18ça part c'est pas forcément parfait machin mais c'est l'idée sur le moment et en fait ça marche la contrepartie c'est que les gens qui vous lisent se retrouvent avec des choses beaucoup plus verbeuses et des petits parfums régulièrement mais
- 43:33Et...
- 43:34C'est vrai que j'ai pris le pli sur l'usage d'ordi et du coup ça m'a tellement convaincu que j'ai aussi essayé sur mobile.
- 43:44Alors sur mobile pour faire court j'ai voulu tester aussi du local avec notamment je crois que c'était Futo Keyboard ou un truc comme ça qui proposait un clavier alternatif et dans le clavier du coup d'aller avoir aussi de la saisie vocale avec
- 44:01un élément local.
- 44:03Alors moi j'ai un
- 44:04Pixel 7a qui a quelques années,
- 44:07mais grosso modo pour donner une échelle c'était un téléphone à 400 balles il y a
- 44:123-4 ans,
- 44:14un modèle local,
- 44:15déjà ceux qui tournent pour la dictée vocale sont moins costauds que ceux qu'on a sur l'ordi,
- 44:22et comme le disait Lulu,
- 44:24ça me tabasse la batterie,
- 44:25et j'ai un temps de traitement,
- 44:27c'est à dire qu'il le fait mais le modèle est moins bon donc il ne me transcrit pas très bien.
- 44:32Et il y a un temps de traitement,
- 44:33donc en plus,
- 44:34il faut le reprendre à la mano.
- 44:35Ce n'était pas du tout intéressant.
- 44:37Enfin,
- 44:37je l'ai testé un peu et voilà,
- 44:38ça ne m'a pas convaincu.
- 44:39Donc,
- 44:39je n'ai pas un téléphone qui me permette de le faire.
- 44:41Malheureusement,
- 44:42il faudra encore attendre un certain temps pour avoir des modèles qui soient plus petits,
- 44:45plus efficients et potentiellement des prochains téléphones qui les gèrent d'une manière différente aussi.
- 44:51Et en revanche,
- 44:52du coup,
- 44:52j'ai quand même opté à repartir en local,
- 44:55mais sur une solution.
- 44:57Et d'ailleurs,
- 44:57je pense à le rajouter dans nos notes,
- 44:59qui est Typless,
- 45:00que toi,
- 45:00tu utilisais depuis un moment.
- 45:02Oui,
- 45:03je l'avais vu sortir un moment sur Product Hunt.
- 45:06Et il me convient bien parce qu'il y a une limite qui est assez élevée.
- 45:12Enfin,
- 45:13je n'ai pas payé.
- 45:14Après,
- 45:14je sais que ce n'est pas du local et tout ça,
- 45:17mais on est sur quelque chose qui est...
- 45:20en transition aussi.
- 45:23Je ne m'en sers pas tout le temps.
- 45:25C'est vrai que je m'en sers assez peu pour écrire,
- 45:27moi.
- 45:27C'est vraiment plus quand je veux prendre des notes,
- 45:31pour écrire à des gens,
- 45:32parce qu'il y a ce côté un peu trop verbeux,
- 45:34et je n'ose pas,
- 45:35pas que je n'ose pas assez,
- 45:36mais en tout cas,
- 45:37je vais le dire,
- 45:37quand je passe...
- 45:39Ouais,
- 45:39ça va plus être quand c'est brain dump,
- 45:42j'ai envie de sortir tout ce que j'ai dans ma tête.
- 45:44En plus,
- 45:44ce qui est assez bien,
- 45:45c'est que Typeless,
- 45:46il va quand même...
- 45:47réorganisé un petit peu,
- 45:48il va faire avec des bullet points et en relisant je fais ah ouais c'est quand même beaucoup plus structuré que la bouillie verbale que j'ai sortie et ça c'est vrai que c'est assez cool même pour quand on veut envoyer,
- 46:00enfin pour des LLM je m'en sers un petit peu quand je dois répondre et que je dois répondre à des pavés et ça c'est assez bien parce que en fait je parle en même temps et je descends
- 46:13Et je réponds au fur et à mesure des phrases.
- 46:16Plutôt que de taper,
- 46:17parce qu'après,
- 46:18il y a la fenêtre qui est super grande.
- 46:21On ne voit plus les phrases des gens.
- 46:22Et puis,
- 46:23il faut descendre comme ça.
- 46:24Et puis après,
- 46:25pour éditer.
- 46:25Enfin,
- 46:25voilà.
- 46:26Dans les moments-là,
- 46:27c'est bien.
- 46:28Je ne me sens pas concerné par les personnes qui t'en veulent des pavés.
- 46:31Moi,
- 46:31je reçois maintenant que tu es passé à la dictée vocale.
- 46:36C'était ironique.
- 46:37J'ai bien conscience.
- 46:38Parce que moi,
- 46:38par contre,
- 46:38je n'ai aucune compassion.
- 46:41Depuis que je suis à la dictée vocale,
- 46:42tous les gens reçoivent des...
- 46:44Des pavés vers le,
- 46:45je fais tout en dictée vocale.
- 46:47En plus,
- 46:47des fois,
- 46:47il y a des petits errements,
- 46:48tu vois,
- 46:49avec des « et » ,
- 46:49voilà,
- 46:50donc,
- 46:50il y a des petits mots de réflexion pendant le temps que je parle,
- 46:54mais bon,
- 46:55je trouve ça tellement pénible de taper sur le...
- 46:57Autant,
- 46:58tu vois,
- 46:58au clavier,
- 46:58ça ne me dérangeait pas,
- 46:59l'habitude,
- 47:00et j'aime bien.
- 47:00Autant,
- 47:01ça m'a toujours gonflé sur téléphone.
- 47:02Alors maintenant,
- 47:03je peux m'en passer.
- 47:03Ah oui,
- 47:03moi,
- 47:03c'est l'inverse.
- 47:05En fait,
- 47:05c'est...
- 47:08Différence de génération.
- 47:09Oui,
- 47:09moi,
- 47:10je suis vieux,
- 47:10j'ai l'habitude du clavier.
- 47:12Je tape beaucoup plus vite sur téléphone.
- 47:14C'est pour ça que l'aspect copier-coller pour mettre après sur le...
- 47:18Je serais presque à taper sur le téléphone,
- 47:20copier mon texte et le mettre sur le Mac.
- 47:27Bon,
- 47:29chouette.
- 47:31En tout cas,
- 47:32vous aurez un outil aussi à essayer sur téléphone si vous voulez faire de la dictée vocale.
- 47:36N'hésitez pas à dire quel team vous êtes.
- 47:40parce que là je me sens un peu seule et je me sens jugée quand même est-ce qu'il y a d'autres gens comme moi ou pas mais par contre à Typeplace juste un petit avertissement c'est un outil américain,
- 47:55alors ils ont toutes les normes RGPD tout le bazar mais vous êtes quand même sur du cloud pas européen et elle n'aime pas européen et tout ça donc pas d'usage sensible enfin c'est rare que vous en ayez pas pour du pro
- 48:06Et tout dernier point avant qu'on boucle cet épisode,
- 48:10et très brièvement,
- 48:13juste pour parler des modèles en loco.
- 48:14Je ne vais pas vous faire un récap sur tout ce que j'ai testé,
- 48:17parce que j'en ai essayé plein,
- 48:19et ça n'aurait pas trop de sens de vous dire ce qu'il y a en fonction de votre matos.
- 48:24Ce qui va dépendre énormément,
- 48:26c'est la mémoire vidéo de votre carte graphique.
- 48:30Et voilà,
- 48:31selon si vous êtes sur Mac,
- 48:32que c'est unifié,
- 48:32ou si vous êtes sur du Windows ou un PC portable et que vous avez les deux composants séparés,
- 48:37le goulot d'étranglement,
- 48:37il viendra de là.
- 48:39Et les modèles que vous avez,
- 48:42même sonnés sur du cloud,
- 48:44même les modèles intermédiaires,
- 48:47on est à des années-lumières de pouvoir faire tourner ça dans nos machines en local.
- 48:53En revanche,
- 48:53les petits modèles que vous pouvez faire tourner,
- 48:56sur des usages comme on l'a évoqué là,
- 48:58que ce soit des résumés,
- 48:59des corrections de transcription,
- 49:00des choses comme ça font déjà le boulot.
- 49:03Mais il n'y a quand même pas pléthore d'offres qui marchent bien,
- 49:06enfin d'offres de modèles.
- 49:07C'est-à-dire que malheureusement,
- 49:09les deux qui se dégagent le plus,
- 49:10c'est Gema,
- 49:11en tout cas chez moi qui marche le mieux,
- 49:12ce sont les modèles Gema 4 de chez Google ou les modèles Kuen,
- 49:20je ne sais plus le fabricant,
- 49:22mais du coup,
- 49:23le fournisseur chinois.
- 49:25J'ai essayé d'autres choses,
- 49:26j'ai essayé du Mistral,
- 49:28ça a été kata.
- 49:31Genre vraiment kata,
- 49:32c'est-à-dire quand même sur des tâches basiques,
- 49:34de résumer des choses comme ça,
- 49:35ils ne comprenaient rien,
- 49:36ils me racontaient n'importe quoi.
- 49:39Ce qui m'a un peu attristé,
- 49:40parce que j'ai essayé plein de modèles Mistral,
- 49:42en me disant que dans le lot,
- 49:44même un Ministral,
- 49:45j'espérais avoir des choses un peu probantes.
- 49:47Et voilà,
- 49:48en tout cas chez moi,
- 49:49ça n'a pas du tout été concluant.
- 49:52J'ai voulu essayer...
- 49:54euro quelque chose un modèle open source européen dont on avait parlé dans un épisode précédent mais en fait il est limité à 4 4 contexte ce qui pourrait aller sur la dictée vocale d'un paragraphe ou de quelques phrases mais ce qui va pas dès qu'on est sur une transcription longue parce
- 50:11qu'il ya toujours cette notion qu'en fait sur tous les ira ça ça marche pour le cloud et pour le local.
- 50:18Moins vous remplissez le contexte,
- 50:20plus il est efficient et performant et il ne vous raconte pas de bêtises.
- 50:23Et du coup ça s'applique aussi en local,
- 50:25c'est-à-dire qu'en local,
- 50:25plus vous allez lui donner de contexte,
- 50:28enfin lui mettre une grosse fenêtre de contexte,
- 50:32plus il va être bon au long-temps,
- 50:34avant de commencer à vous raconter du pâté.
- 50:37Mais plus vous lui mettez un gros contexte,
- 50:38plus il va taper de ressources dans votre VRAM aussi.
- 50:41Donc il faut trouver des compromis et là-dessus,
- 50:46un modèle comme...
- 50:47et en fait il est trop bas,
- 50:50on ne peut pas le monter techniquement,
- 50:52donc il ne faisait pas le boulot.
- 50:54Et j'ai essayé Lucie dont on avait parlé et ce n'était pas fou.
- 50:59Assez triste et déçu de voir que les modèles français notamment que je vais tester n'ont pas,
- 51:03en tout cas sur ces usages-là et sur ma machine,
- 51:06n'ont pas donné de bons résultats.
- 51:09Et après il y a eu aussi une autre réalité,
- 51:11c'est que j'ai essayé d'utiliser ces modèles en langue locale avec Openwork.
- 51:16Open Work,
- 51:16c'est une alternative open source à Cloud Cowork.
- 51:21Donc ce chat qui vous permet d'interagir sur votre ordinateur et vos fichiers,
- 51:25mais qui a quand même une fenêtre de chat sympa,
- 51:27comme on a l'habitude,
- 51:28pour pouvoir discuter,
- 51:29échanger,
- 51:30qui peut faire des recherches web,
- 51:31qui a des outils que vous pouvez connecter par exemple à d'autres outils aussi.
- 51:37Ça ressemble vraiment très très fort à du Cloud
- 51:39Cowork. Enfin,
- 51:40pas tout à fait sur l'interface,
- 51:41mais c'est le même principe.
- 51:44Et en fait,
- 51:44l'avantage de OpenWorks,
- 51:45c'est que vous pouvez le brancher à des fournisseurs européens et au lieu d'utiliser du cloud,
- 51:51vous allez pouvoir utiliser des modèles comme ça,
- 51:53open source,
- 51:53qui sont hébergés chez des fournisseurs en Europe,
- 51:57comme
- 51:57Cortex AI,
- 51:58par exemple,
- 51:59ou d'autres.
- 52:01Mais quand on essaie de l'utiliser,
- 52:04en tout cas avec les petits modèles,
- 52:05comme je disais,
- 52:06jusqu'à
- 52:079B, où j'ai réussi à essayer un GEMA
- 52:1112B, en fait,
- 52:12ces modèles-là ne sont pas...
- 52:13en mesure de bien utiliser les différents outils à leur disposition.
- 52:16Donc ça va,
- 52:17on pose 2-3 questions,
- 52:18mais si on leur demande par exemple une recherche internet,
- 52:21ils ne vont pas s'en sortir.
- 52:22Ils vont peut-être réussir la première recherche,
- 52:23mais après ils doivent utiliser un autre outil pour le retraiter,
- 52:26pour faire des choses,
- 52:26et en fait ils se perdent.
- 52:28Et tous les modèles que j'ai testés sans exception,
- 52:30j'en ai utilisé une bonne quinzaine,
- 52:33des petits modèles sur cette fenêtre-là.
- 52:35Il n'y en a aucun qui n'arrive en gros à faire des...
- 52:39à utiliser des outils,
- 52:40à faire des fonctionnements de cloud cowork.
- 52:43En tout cas sur ces fenêtres là,
- 52:44donc jusqu'à 9B globalement,
- 52:469B voire 12B.
- 52:48Et même les GMA étaient très bons sur certaines tâches.
- 52:50Enfin pour discuter,
- 52:51poser des questions,
- 52:52ça marchait très bien.
- 52:53Mais dès qu'il s'agissait d'aller utiliser des outils,
- 52:55donc de faire des actions dans la machine,
- 52:57ça ne marchait pas.
- 52:59Et ce qui est dommage parce que j'envisageais ce type d'usage pour aller faire du rangement et faire de la gestion un petit peu automatisée dans mon ordi.
- 53:09Et pour rester en local et qu'à aucun moment...
- 53:11mes documents personnels et tout circulent en ligne,
- 53:15enfin en ligne,
- 53:15en dehors de Proton.
- 53:17Et en fait,
- 53:18je n'aurais pas le choix que de le faire avec des modèles comme ça européens parce que sur les modèles locaux,
- 53:23ils n'arrivent pas à utiliser les différents outils.
- 53:25Donc à aujourd'hui,
- 53:27sur cette taille de modèle-là,
- 53:28en tout cas,
- 53:30peut-être que d'autres outils le permettent.
- 53:33Mais vu qu'Openwork est quand même sur des standards,
- 53:37je m'étonnerais,
- 53:38et peut-être qu'avec un OpenCode ou en tout cas...
- 53:40quand on rentre vraiment davantage dans le dur sur du terminal et vraiment de la ligne de commande et que c'est pas forcément les mêmes technos derrière peut-être que mais je reste sceptique parce qu'Openwork utilise OpenCode donc une alternative open source à CloudCode pour
- 53:57fonctionner donc sur papier il n'y a quand même pas tellement de raisons que ça marche mieux avec voilà c'était juste un petit point sur la réserve quand même et en tout cas sur la réalité des LLM et sachant que sur la partie
- 54:10carte graphique,
- 54:11pour donner une idée,
- 54:14et à ceux et celles que ça parlera peut-être,
- 54:17sur ma machine j'ai une RTX 5070,
- 54:20ce qui n'est pas du tout le mieux pour de l'IA,
- 54:23mais on est quand même sur une carte grave qui n'est pas loin des 700 balles,
- 54:27qui n'est pas ce que vous aurez en natif sur la majorité des machines de travail et de bureau,
- 54:34mais juste pour vous donner des échelles au niveau de la quantité de VRAM qui va derrière et du traitement qui est fait.
- 54:39Donc les LLM locaux restent encore...
- 54:42Le plus accessible dans des machines,
- 54:43ça reste aujourd'hui dans des Macs,
- 54:45quoi qu'on en dise,
- 54:46même si ça impacte et que c'est unifié.
- 54:48Bref,
- 54:48ça a d'autres impacts sur les performances des machines,
- 54:51mais en tout près,
- 54:54qu'on achète et qu'on peut utiliser rapidement du LLM local,
- 54:57aller davantage sur du Mac,
- 54:59ce sera plus simple.
- 55:00Et si vous êtes sur des machines en Windows,
- 55:04ce type de configuration...
- 55:06faudra aller plus haut et je reviendrai sur le sujet dans une des prochaines fois sur du linux parce que sur du linux je vais avoir encore d'autres outils et notre approche
- 55:17même s'il y aura du OpenWhisper normalement parce que lui ça s'est fonctionné partout on reviendra dessus côté
- 55:24Linux dans une prochaine fois ça me fait penser aussi que les oui tout ce qui est modèle vocaux là c'est une intégration par dessus donc là c'est plus au niveau des outils mais maintenant ils intègrent beaucoup maintenant la discussion avec du
- 55:44Merci.
- 55:44Cloud Code,
- 55:45du Open Code pour aller citer les fichiers directement ou les commandes.
- 55:50Donc ça,
- 55:51c'est de plus en plus intégré aussi en dictée vocale.
- 55:54Je sais que certains modèles aussi en cloud,
- 55:58c'est quelque chose qu'ils mettent en avant pour vraiment discuter avec le
- 56:05LLM qui code et de pouvoir aller citer directement les documents.
- 56:09Ça,
- 56:09c'est vrai que c'est quand même cool et ça...
- 56:13Ça enlève aussi des étapes de devoir aller citer le répertoire ou telle skill à utiliser.
- 56:21J'ai vu la fonctionnalité d'Open Whisper,
- 56:23il me semble que ça y est aussi.
- 56:25Justement,
- 56:25on peut ouvrir par
- 56:26API
- 56:27MCP, je ne sais plus.
- 56:29Dans Vowen,
- 56:29je sais qu'il y avait par MCP aussi.
- 56:31Je ne sais plus si c'était le cas,
- 56:33mais oui,
- 56:33la connexion y est aussi dans Open Whisper.
- 56:38On peut le faire.
- 56:42On n'a pas dit,
- 56:42mais vous allez quand même pouvoir choisir l'endroit où vous enregistrez automatiquement les transcriptions et les audios,
- 56:48si vous voulez,
- 56:48les audios ou que le texte,
- 56:50ou aucun des deux,
- 56:51si vous voulez,
- 56:52l'historique,
- 56:52pas de l'historique,
- 56:53des copiés-collés,
- 56:56du presse-papier,
- 56:57enfin voilà.
- 56:58Tous les outils qu'on a évoqués,
- 56:59vous avez quand même une certaine marge de personnalisation et une échelle de confidentialité que vous pouvez mettre à votre sauce.
- 57:08Mais en vrai,
- 57:08je pense quand même,
- 57:10par exemple,
- 57:10sur les derniers iPhones,
- 57:12je pense que du modèle de transcription locale,
- 57:16il passe.
- 57:18Vu ce que j'arrivais à faire avec le mien,
- 57:19qui a quand même
- 57:215 ans maintenant,
- 57:23là,
- 57:23je pense que sur les derniers modèles,
- 57:24on doit pouvoir faire des petits trucs sympas.
- 57:28Je pense aussi,
- 57:28parce que même ceux qu'on a cités,
- 57:30ils marchent sur mon ancien téléphone qui n'était pas un haut de gamme déjà de base.
- 57:34Enfin,
- 57:35qui était,
- 57:35on va dire...
- 57:37au milieu de gamme à peu près.
- 57:40Mais après,
- 57:41c'est la partie outils aussi qu'il y a à prendre en compte.
- 57:43C'est-à-dire que par exemple,
- 57:44là sur Android,
- 57:44quand j'ai cherché,
- 57:46du modèle local de transcription,
- 57:47il n'y avait pas grand-chose.
- 57:48Globalement,
- 57:50je tombais sur Futur,
- 57:50mais je n'avais que deux,
- 57:51trois options.
- 57:53Et même sur un téléphone plus récent qu'il supporterait,
- 57:56en open source et en local,
- 57:57il y avait très,
- 58:00très peu de propositions.
- 58:02C'est très balbutiant.
- 58:05Oui.
- 58:05Peut-être que ce n'est juste pas sur le store.
- 58:07Peut-être qu'il faut installer l'APK pour avoir une interface.
- 58:14Et ça me fait penser aussi de quand même citer
- 58:18Qtai, qui n'est pas vraiment une startup,
- 58:21c'est une boîte française qui a eu des financements de gros noms,
- 58:29dont Yann Lequin,
- 58:30il me semble,
- 58:31où eux,
- 58:32en fait,
- 58:32leurs modèles,
- 58:33ils sont vraiment basés sur la voix.
- 58:37et de faire du modèle qui a été entraîné.
- 58:41Et les tokens,
- 58:42c'est des sons,
- 58:44plutôt que de passer par du texte.
- 58:45Donc là,
- 58:46en termes de conversation,
- 58:48il va réussir à comprendre les variations.
- 58:52Et il n'y a pas ce speech-to-texte,
- 58:55to-speech,
- 58:56si on fait du voix.
- 58:58Enfin,
- 58:58voilà,
- 58:59on perd énormément d'informations.
- 59:01Et eux,
- 59:02ils se concentrent pas mal là-dessus sur,
- 59:03au final,
- 59:04un modèle qui est assez léger et qui tourne sur du téléphone.
- 59:06Donc,
- 59:07c'est aussi des choses à explorer.
- 59:09Oui,
- 59:10ça,
- 59:10ça m'intéresse.
- 59:11Enfin,
- 59:12on le mettra dans les sources.
- 59:14Mais je sais que c'est toujours intéressant.
- 59:17Il y a quelques podcasts où j'avais écouté les personnes qui travaillent là-bas.
- 59:22Donc,
- 59:22ils font vraiment de la recherche.
- 59:25Et pas mal d'autres entreprises se basent aussi sur les modèles qui sont en open source.
- 59:31Voilà,
- 59:31on peut les retrouver sur
- 59:35Hugging Face.
- 59:36Et ce qui est cool,
- 59:37c'est qu'ils expliquent aussi comment ils ont affiné leur modèle.
- 59:42Ils ont vraiment payé des personnes,
- 59:45des comédiens,
- 59:46pour lire du texte.
- 59:50finituner leur modèle avec ça.
- 59:52Voilà,
- 59:53ils sont vraiment spécialisés sur l'audio parce qu'ils pensent que c'est un peu le futur et effectivement on le voit que les interfaces se suppriment.
- 1:00:03Voilà,
- 1:00:04on a quand même des trucs assez cools en France.
- 1:00:06Et leur modèle,
- 1:00:08il fait anglais et français,
- 1:00:09mais c'est tout.
- 1:00:11Pas bien,
- 1:00:12mais ça je vais regarder d'ici le prochain épisode.
- 1:00:15Oui,
- 1:00:15en plus leur modèle,
- 1:00:16ils ont des noms assez rigolos.
- 1:00:18Ah,
- 1:00:18il s'appelle Moshi.
- 1:00:20Moi aussi,
- 1:00:20c'est mignon.
- 1:00:23Comme notre gros chat orange.
- 1:00:26Merci beaucoup,
- 1:00:26Lulu,
- 1:00:28de m'avoir accompagnée sur cet épisode.
- 1:00:30Je ne sais pas si tu as un mot de la fin avant qu'on se quitte et qu'on se retrouve la semaine prochaine pour un épisode sur la No Code Week.
- 1:00:38Je ne sais pas encore dans quelles conditions on va enregistrer ça,
- 1:00:41mais ça va être marrant.
- 1:00:45Comme si on y était.
- 1:00:49Non,
- 1:00:49je n'ai pas...
- 1:00:49grand chose à rajouter si ce n'est que peut-être la prochaine fois on aura peut-être joué avec les LLM locaux pour la génération d'images on verra ce que ça a donné si ça a été pro bon ou pas c'est vrai qu'on n'en a pas parlé mais t'en as repéré un et voilà on reviendra dessus bah aussi on peut le citer même si on ne l'a pas testé c'est idéogramme ouais
- 1:01:08et il sera aussi dans les sources pareil sortir un moment sur Product Hunt enfin c'est pas bien Product Hunt parce que tous les jours je me retrouve avec oh ça a l'air trop bien ça
- 1:01:18Oui,
- 1:01:18alors si ça peut te rassurer,
- 1:01:19l'avantage,
- 1:01:19c'est que tu peux défricher pour les gens normaux qui ne vont pas sur Product Hunt et qui sont ravis qu'il y ait des gens comme ça qui passent leur vie dessus.
- 1:01:29Moi,
- 1:01:30je reçois juste le mail tous les jours avec leur leaderboard et je regarde s'il y a des trucs qui m'intéressent.
- 1:01:35J'ouvre des onglets,
- 1:01:35après les onglets restent ouverts pendant très longtemps.
- 1:01:39Oui,
- 1:01:39j'ai vu pendant des années,
- 1:01:41je pense.
- 1:01:42Ouais,
- 1:01:43non,
- 1:01:43mais tu n'as pas vu sur mon téléphone.
- 1:01:45Tu sais que,
- 1:01:45par exemple,
- 1:01:46sur Chrome...
- 1:01:47pas parce que j'ai encore Chrome sur mon téléphone,
- 1:01:49j'ai pas changé,
- 1:01:49mais quand t'as plus de 100 onglets ouverts,
- 1:01:52ça te met plus 100,
- 1:01:53ça te met un petit smiley.
- 1:01:55100 onglets ouverts.
- 1:01:56Ouais,
- 1:01:56mais il y en a plus,
- 1:01:57là.
- 1:01:58J'ose même pas regarder combien...
- 1:01:59Oui,
- 1:02:00oui,
- 1:02:00mais t'as...
- 1:02:02Bon.
- 1:02:03Je regarderai un autre moment.
- 1:02:07Merci,
- 1:02:07Lulu,
- 1:02:07en tout cas.
- 1:02:08On espère que cet épisode vous aura plu et vous aura donné un petit peu d'ébille,
- 1:02:11et voilà.
- 1:02:12C'est des usages qui peuvent avoir du sens pour vous,
- 1:02:14la dictée vocale,
- 1:02:15clairement,
- 1:02:15l'enregistrement de réunion et ce type d'usages.
- 1:02:19Vous n'avez pas forcément besoin d'aller payer des abonnements en cloud ou d'avoir des super outils.
- 1:02:23Alors,
- 1:02:23c'est sûr qu'il y a des outils,
- 1:02:25mais je pense à Grano là,
- 1:02:26dont on entend parler aussi des fois pour l'enregistrement de réunion,
- 1:02:29où ça va être très fluide,
- 1:02:30très simple parce qu'il va se connecter automatiquement.
- 1:02:33Il y a aussi des vrais intérêts à ce type de solution,
- 1:02:36mais si vous avez envie d'aller dans davantage...
- 1:02:40justement de local,
- 1:02:41d'efficience et tout ça.
- 1:02:43On vous a filé des pistes,
- 1:02:44en tout cas,
- 1:02:44avec ce que nous,
- 1:02:45on utilise.
- 1:02:46Et c'est simple,
- 1:02:48parce que même quand on télécharge un outil pour le faire,
- 1:02:50il propose directement d'installer le modèle.
- 1:02:52Il n'y a pas à aller chercher le modèle,
- 1:02:54le télécharger,
- 1:02:55dire qu'il est là.
- 1:02:55Enfin,
- 1:02:56voilà,
- 1:02:56si on a envie de tester rapidement,
- 1:02:59c'est faisable,
- 1:03:00ça reste accessible.
- 1:03:01Ça peut faire peur,
- 1:03:03mais finalement,
- 1:03:04tout est assez bien pensé,
- 1:03:05même pour l'open source,
- 1:03:06ce n'est pas juste pour les geeks.
- 1:03:09Non,
- 1:03:09ce qu'on a cité,
- 1:03:10à part
- 1:03:11Oliama, qui lui,
- 1:03:13je mets un peu à l'écart,
- 1:03:14parce qu'il est celui qui vous permet de centraliser un modèle pour le rendre disponible pour les autres,
- 1:03:18vous n'êtes pas obligé d'aller là-dessus,
- 1:03:20et lui il vaudrait mieux après vous faire assister par un IA,
- 1:03:22si vous voulez vraiment le mettre en place et que vous n'avez pas forcément les marques,
- 1:03:26mais tous les autres qu'on a cités,
- 1:03:27effectivement ils s'installent comme un programme classique,
- 1:03:29ils se paramètrent assez facilement,
- 1:03:33je crois qu'ils ont tous une interface en français,
- 1:03:37normalement.
- 1:03:37même pour when je crois que tu passes le début où c'est un peu en anglais mais après une version française ça me fait penser typeless c'est un truc trop bien c'est la traduction elle a volé en anglais par exemple ou dans une langue par exemple on
- 1:03:54va parler en français et le texte va s'afficher directement en anglais et à chaque fois c'est un petit raccourci et ça c'est c'est vrai que c'est assez cool quand on a on est pas
- 1:04:05On discute avec des gens dans une autre langue.
- 1:04:08De ne pas parler,
- 1:04:10quitte après à aller le traduire ou même demander un EBLM.
- 1:04:15Voilà,
- 1:04:15juste dicter.
- 1:04:16Et ça le met directement dans la langue qu'on souhaite.
- 1:04:20Ça me fait penser à une dernière chose qu'on n'a pas dit sur les commandes vocales.
- 1:04:24Parce que dans Rowan,
- 1:04:25j'ai vu qu'il y en avait aussi dans OpenWhisper.
- 1:04:27Je ne les ai pas encore essayées.
- 1:04:28Mais c'est possible de mettre des raccourcis vocaux vers des choses de votre ordi.
- 1:04:35par exemple dans Vowen,
- 1:04:37ça y est sur le tutoriel,
- 1:04:39de dire ouvre moi la page de téléchargement et en fait il vous ouvre votre page de téléchargement de votre ordi et ça visiblement on peut le faire avec des raccourcis vers des sites et d'autres choses.
- 1:04:50Je ne vais pas tester pas creuser,
- 1:04:51mais sachez que c'est aussi présent dans ces outils et que potentiellement ça peut...
- 1:04:55Voilà,
- 1:04:56on se retrouve la semaine prochaine pour un épisode sur la NoCodeWeek.
- 1:05:00Dans deux semaines,
- 1:05:01on continuera un côté outils,
- 1:05:03on reviendra probablement un petit peu sur l'IA frugal aussi,
- 1:05:05enfin en tout cas sur la partie LLM loco,
- 1:05:10vu que moi j'aurais fait d'autres explorations,
- 1:05:12et tu nous feras aussi un débrief de ton retour après la NoCodeWeek.
- 1:05:17Très certainement des outils à tester,
- 1:05:19à voir,
- 1:05:20ou que tu auras entendu parler,
- 1:05:21ou que tu auras toujours plein d'outils,
- 1:05:23plein de choses,
- 1:05:24plein de pistes.
- 1:05:25Oui,
- 1:05:26sûrement.
- 1:05:27Ce n'est pas bien,
- 1:05:28mais voilà.
- 1:05:30Bonne journée ou fin de journée,
- 1:05:32selon quand vous nous écouterez.
- 1:05:34Merci de nous avoir écoutés et n'hésitez pas à venir me parler si vous avez des questions,
- 1:05:39si vous voulez rebondir ou qu'on aborde d'autres sujets dans les prochains épisodes.
- 1:05:43Encore merci et on se retrouve la semaine prochaine.
- 1:05:45Salut.