Latest / Le centre de gravité / VibeVoice — Microsoft a craqué le verrou du son, puis a fermé la porte
Transcript
- 0:00Épisode vide Voice, Microsoft a craqué le verrou du son puis a
- 0:04fermé la porte. Chapitre un le mur des 20 ans.
- 0:08Il YA1 problème structurel dans la synthèse vocale que personne
- 0:12n'avait vraiment résolu depuis 2 décennies.
- 0:15Et l'histoire de comment il a sauté commence avec un chiffre
- 0:18absurde 7,5. Août 20002524 notateurs humains
- 0:24s'installent devant leur casque. Leur mission ?
- 0:27Écouter environ 6 h de podcast synthétique chacun et décider
- 0:31laquelle des voix qui se succèdent dans leurs oreilles
- 0:34sonne la plus humaine. Ces annotateurs ne le savent pas
- 0:37encore, mais ils sont en train de mesurer l'écart entre le
- 0:40monde d'avant et le monde d'après.
- 0:42Parce que dans le lot, discrètement, sans fanfare, il
- 0:45YA1 modèle de Microsoft Research qui s'appelle Videvoice, et ce
- 0:49modèle va obtenir une note moyenne de 3,76 sur 5 en qualité
- 0:52perçue. Contre 3,40 pour Eleven Labs,
- 0:56contre 3,66 pour Gemini, 2,5 pro de Google, open source gratuit
- 1:00licence MIT. Voilà pour le résultat.
- 1:03Maintenant, pour comprendre ce que ça signifie vraiment, il
- 1:07faut remonter 20 ans en arrière et comprendre pourquoi personne
- 1:10avant vide Voice ne pouvait générer 90 Min d'audio cohérents
- 1:14en une seule passe. Le problème n'a jamais été la
- 1:17qualité de la voix sur une phrase.
- 1:22Les meilleurs systèmes de synthèse vocale savent depuis
- 1:25longtemps produire une voix indiscernable du réel sur un
- 1:27paragraphe, parfois quelques minutes.
- 1:30Ce qui bloquait tout, c'est la durée.
- 1:32Chaque système convertit le texte en une séquence
- 1:35intermédiaire de token avant de générer l'audio et la cadence de
- 1:39ces tokens. Combien il en faut pour
- 1:40représenter une 2nde de son détermine combien de temps peut
- 1:44tenir la séquence dans un seul passage du modèle.
- 1:47En codec, le modèle de référence de Méta tourne à 50 hertz. 50
- 1:52tokens par 2nde d'audio ce chiffre semble raisonnable
- 1:55jusqu'à ce qu'on fasse le calcul. 90 Min d'audio à 50
- 1:58hertz, ça donne 270000 tokens à traiter d'un bloc.
- 2:01Aucun transformer aujourd'hui ne gère une séquence de cette
- 2:05taille en un seul passage. Le plafond pratique pour la
- 2:07plupart des systèmes auto régressifs, c'est 30 à 60
- 2:10secondes de cohérence avant que le modèle soit obligé de
- 2:15recommencer depuis 0 pendant 20 ans.
- 2:19L'industrie a contourné ce mur plutôt que de le franchir.
- 2:22La solution standard, c'est le découpage, on génère l'audio en
- 2:26tranches de quelques minutes, on les colle ensemble, on espère
- 2:30que les jointures sont inaudibles, sauf qu'elle ne le
- 2:32sont jamais vraiment. La Prosodie change
- 2:35imperceptiblement à chaque couture, la voix dérive, un
- 2:39locuteur qui ouvre un chapitre avec une certaine énergie ne la
- 2:42retrouve pas exactement au chapitre suivant.
- 2:45Pour un podcast d'une heure avec 2 animateurs, les ingénieurs
- 2:48assemblaient parfois 10 à 15 segments et passaient des heures
- 2:52à lisser les transitions. C'est ce mur là que Vibe Voice a
- 2:55décidé d'attaquer, non pas en construisant un ordinateur plus
- 2:58puissant, mais en changeant la représentation du son lui même.
- 3:02Et si la solution n'était pas dans la taille du modèle, mais
- 3:05dans celle de ses atomes ? Chapitre 2, le verrou qui saute
- 3:10la solution n'était pas d'augmenter la puissance de
- 3:12calcul. C'était de changer la question,
- 3:14il. YA1 chiffre au cœur de vive
- 3:16Voice et ce chiffre est 7,57 ,5 hertz 7,5 tokens par 2nde
- 3:22d'audio. Comparer avec les 50 hertz dans
- 3:24codec ou les 25 hertz de la plupart des autres systèmes
- 3:27modernes. À 7,5 hertz, 90 Min d'audio
- 3:30deviennent 40500 tokens. Un transformer moderne peut
- 3:33traiter ça. La contrainte structurelle qui
- 3:35bloquait tout le secteur depuis 20 ans disparaît, non pas parce
- 3:38qu'on a construit un ordinateur plus puissant, mais parce qu'on
- 3:41a représenté le son différemment.
- 3:42Comment arrive ? À 7,5 hertz depuis une entrée
- 3:45audio en 24 kilohertz par une compression de 3200*6 étages
- 3:48successifs de réduction, chacun réduisant la cadence jusqu'à ce
- 3:50qu'une 2nde d'audio soit représentée par 7,5 valeurs
- 3:53seulement Wave tonosarik, le meilleur système précédent dans
- 3:55cette catégorie descendait à 40 hertz au mieux.
- 3:59White Voice va 6 fois plus loin avec une fidélité acoustique
- 4:02supérieure sur les benchmarks objectifs.
- 4:04L'image qui aide à comprendre, c'est le cinéma.
- 4:06Un film à 24 images par 2nde contient toute la fluidité,
- 4:10dont. Y a besoin pour percevoir du
- 4:15mouvement continu passé à 2 images par 2nde.
- 4:17Vous perdez la fluidité, mais vous gardez la narration qui est
- 4:20dans la scène, ce qui se passe où va l'action.
- 4:22Wide Voice fait quelque chose de comparable avec le son.
- 4:25Il capture les moments clés à 7,5 hertz et c'est la tête de
- 4:28diffusion qui reconstruit la continuité acoustique entre ces
- 4:31instants. Pour réaliser ça, l'équipe de
- 4:33Microsoft Research a développé 2 tokeniseurs distincts qui
- 4:36fonctionnent en parallèle. Le tokeniseur acoustique capture
- 4:38les caractéristiques de timbres, de Prosodie, de couleur, de
- 4:42voix. Il repose.
- 4:43Sur une architecture d'Autoencodeur, variationnel un
- 4:46système qui apprend à comprimer puis à reconstruire un signal en
- 4:49minimisant la perte d'information perçue.
- 4:51Sa version miroir, le tokeniseur sémantique, n'est pas entraîné
- 4:55sur la qualité sonore, mais sur la reconnaissance de paroles.
- 4:57Son rôle est de s'assurer que les mots, leur sens, leur
- 5:00intention restent intacts à travers la compression.
- 5:03Chacun de ces 2 blocs pèse environ 340000000 de paramètres.
- 5:05Ces tokeniseurs restent gelés pendant l'entraînement du modèle
- 5:08principal, ce qui apprend, c'est un grand modèle de langage de la
- 5:12famille quen. 2,5 dans sa version 1,5 milliards ou 7
- 5:14milliards de paramètres couplés à une tête de diffusion légère
- 5:14de 4 couches le grand modèle comprend le texte le dialogue
- 5:15qui parle à qui quel registre prosodique correspond au moment
- 5:16la tête de diffusion le système n'est pas de diffusion en
- 5:17acoustique réel ce qui est élégant dans cette architecture
- 5:18c'est sa modularité. Si demain un meilleur grand
- 5:18modèle de langage émerge, on l'échange sans retraîner les
- 5:19tokoniseurs si on veut améliorer la qualité acoustique on
- 5:19améliore la tête de diffusion le système n'est pas monolithique
- 5:20il est composteurs on l'échange sans retraîner les tokoniseurs
- 5:21si on veut améliorer la qu'onis si on veut s'eniseur si on veut
- 5:22l'en s'e qu'est pas de dire si on la qu'en s'en si on la qu'en
- 5:23si on la qu'en propose on la qu'en propose s'en propose la
- 5:24qu'en propose propose on la qu'ily propose on la qu'y
- 5:25propose on la qu'en propose on la qu'en propose on la qu'en est
- 5:26qu'en propose propose propose propose on la qu'ily propose on
- 5:26la qu'ily propose on la qu'ily propose propose on la qu'en'en
- 5:27propose propose on la qu'en propose propose propose propose
- 5:28propose on la qu'en propose on la qu'en propose on la qu'en
- 5:29propose on la qu'en propose propose on la qu'on propose on
- 5:30la qu'en propose on la qu'y propose on la qu'illes propose
- 5:31on la propose on la qu'y propose on la qu'onis qu'il your qu'on
- 5:32propose on la qu'en propose propose propose on propose
- 5:32propose on la qu'en propose propose on la qu'y propose
- 5:33propose propose propose propose on la qu'en propose on la qu'en
- 5:34la propose propose on la qu'en propose on la qu'en propose
- 5:35propose propose on la propose on propose propose on la propose on
- 5:36propose propose propose on la qu'en propose on la qu'en
- 5:36propose propose propose propose propose propose on la propose en
- 5:37propose propose on la propose on la propose on la propose propose
- 5:38propose propose propose propose propose propose propose en
- 5:39propose propose propose propose propose on propose propose
- 5:39propose propose propose propose on propose propose on propose on
- 5:40propos comme propose on la propose on la propose on la
- 5:41propose on la propose on la propose on la propose on la
- 5:42qu'onis on la propose on la propose on la propose on la
- 5:43propose ave ave Pour maintenir la cohérence d'un locuteur sur
- 5:4690 Min, l'équipe a utilisé un apprentissage curriculaire.
- 5:48Le modèle commence par des séquences de 4096 Tokens, puis
- 5:51monte progressivement jusqu'à 65536 tokens.
- 5:53Exactement comme on apprend à tenir une conversation.
- 5:55Des échanges courts d'abord, puis on s'entraîne sur la durée.
- 6:02Chapitre 3, battre les géants une chose est de publier un
- 6:05papier académique, une autre est de dépasser Eleven Labs et
- 6:08Google sur leur propre terrain avec un modèle ouvert et de le
- 6:12faire documenter par. 24 êtres humains qui ont passé 6 h à
- 6:16écouter. Le tableau de benchmark de vide
- 6:18Voice mérite qu'on le Lise lentement parce que chaque ligne
- 6:20raconte quelque chose vide Voice 7 milliards de paramètres
- 6:24obtient une note moyenne de 3,76 sur 5 en évaluation humaine.
- 6:26Eleven Labs V 3 Alpha, le produit phare du leader
- 6:30commercial du TTS, obtient 3,40 Gemini 2,5 pro dans sa version
- 6:33TTS. La meilleure offre de Google
- 6:35obtient 3,66, le modèle open source cesam et a et CSM
- 6:38présenté à grand. Fort de communiquer en 2025,
- 6:45plafonne à 2,89 Videvoice 1.5B, le petit modèle 1,5 milliard de
- 6:51paramètres obtient 3,54, soit plus qu'Eleven Labs.
- 6:54Mais le chiffre qui devrait retenir l'attention des
- 6:57décideurs, c'est le taux d'erreur de transcription selon
- 6:59les mesures au modèle WHISPER large V 3 videvoice 1.5B obtient
- 7:031,11% d'erreurs sur des podcasts longs Eleven Labs en fait 2,39
- 7:08Gemini 2,5 pro 1,73 dia le modèle de narrilab.
- 7:13Ce qui avait fait beaucoup de bruit quelques mois plus tôt
- 7:14arrive à 11,96% d'erreurs 10 fois plus qu'Eleven Labs ce
- 7:15n'est pas une victoire technique dans une compétition académique
- 7:15mais une rupture dans les rapports de force commerciaux
- 7:16Eleven Labs vend son accès API à des tarifs premium Gemini TTS
- 7:17est intégré à l'écosystème Google avec tout ce que ça
- 7:17implique en terme de dépendance vive Voice arrive en open source
- 7:18sous licence MIT ce qui signifie que n'importe quelle start-up
- 7:19peut le prendre, le modifier le déployer en production sans
- 7:20payer de royalties sans débat ITSITSIT ce qui signifie que
- 7:20n'importe que n'importe quel startu p sorte que ça implique
- 7:21le soit que le sorte que ça implique le soit le soit le soit
- 7:22le soit le soit le soit le soit le soit le soit le sait le soit
- 7:23le soit le soit le soit le soit le soit le sait le sait le sait
- 7:24le soit le sait le sait le sait le soit le soit le sait le sait
- 7:25le sait le sait le sait le sait le sait le sait le sait le sait
- 7:26le sait le sait le sait le sait le s'il sait le sait sait le
- 7:27sait le sait le sait le sait le sait le sait le sait le sait le
- 7:28sait le sait le sait le sait le sait le sait le sait le sais le
- 7:29sais le sait le sait le sait le sait le sait le sait le sait le
- 7:31sait le sait le sait le sait le sait le sait le sait le sait le
- 7:32sait le sait le sait sait le sait le sait sait le sait le
- 7:33sait le sait le sait sait sait sait sait sait sait sait le sait
- 7:34le sait sait sait le sait le sait sait sait sait le sait sait
- 7:35le sait le sait sait sait sait sait sait le sait sait sait sait
- 7:36sait sait sait sait sait sait sait sait sait sait sait sait
- 7:36sait sait sait sait sait sait sait sait sait sait sait sait
- 7:37sait sait sait sait sait sait sait sait le sait le sait le
- 7:38sait sait sait sait sait le sait sait sait sait sait sait sait le
- 7:39sait le sais le sait le sais le sais le sais le sais le sait
- 7:40sait sait s'il s'il sait le sait sait sait sait sait sait sait
- 7:41sait sait sait sait sait sait sait sait sait pas pas dépendre
- 7:44d'une API tierce sans envoyer ses données chez Microsoft, ce
- 7:46positionnement évoque ce qu'a fait dipsik sur le marché des
- 7:49grands modèles de langage au début 2000251, modèle open
- 7:51source qui dépassé les leaders propriétaires sur les métriques
- 7:54clés. Et comme à cette époque, la
- 7:56question qui suit immédiatement n'est pas est ce que c'est
- 7:59vrai ? Les chiffres sont vérifiables
- 7:59mais qu'est ce que ça signifie pour l'industrie ?
- 8:02Pour Eleven Labs, la réponse est inconfortable, son avantage
- 8:04concurrentiel repose en partie sur la qualité de sa génération
- 8:08vocale, si cette qualité est désormais dépassée par un modèle
- 8:11open source. Qui s'intègre gratuitement dans
- 8:15n'importe quelle infrastructure. L'argument du premium s'érode,
- 8:18pour Google, l'enjeu est différent, Gemini TTS est un
- 8:21outil d'intégration dans l'écosystème workspace, pas un
- 8:23produit autonome, mais la direction reste la même.
- 8:26Il y a aussi une couche que les tableaux ne capturent pas, vive
- 8:28Voice est le premier modèle open source à soutenir 4 locuteurs
- 8:31distincts sur 90 Min en une seule passe, avec un maintien
- 8:34cohérent de l'identité de chaque Voix du début à la fin.
- 8:37Most TTSD, le précédent tenant du titre dans la catégorie OPEN
- 8:40source, s'arrêtait à. 60 Min Mooncast, un autre prétendant de
- 8:46début 2025, atteint 2,81% d'erreurs sur des segments bien
- 8:48plus courts. Vaid Voice joue dans une autre
- 8:50catégorie de durée et il gagne. Chapitre 4, 10 jours et le Repo
- 8:58disparaît. Le code sort le 26 août. 9 jours
- 9:01plus tard, Microsoft ferme le Repo.
- 9:03Et dans ces 9 jours, quelque chose s'est passé que le papier
- 9:06lui même avait pourtant anticipé.
- 9:08La section finale du rapport technique de vive Voice, ça
- 9:10s'appelle conclusion limite et risque dans la partie risque,
- 9:13les chercheurs écrivent et je cite que la parole synthétique
- 9:16de haute qualité peut être détournée pour créer du contenu
- 9:19audio faux convaincant à des fins d'usurpation d'identité, de
- 9:22fraude ou de désinformation. Ils ajoutent qu'il ne recommande
- 9:25pas du. Utiliser vide Voice dans des
- 9:27applications commerciales ou réelles, sans test et
- 9:29développement supplémentaire. Ces lignes sont dans le papier,
- 9:32écrites avant la publication. Et pourtant, Microsoft publie
- 9:35quand même le code, les poids, les instructions de déploiement.
- 9:389 jours plus tard, la page Github affiche un message sobre,
- 9:41ils ont désactivé le repo jusqu'à ce qu'il soit confiant
- 9:44que les usages hors cadre ne soient plus possible.
- 9:46Le Repo n'a pas été piraté, il n'a pas subi d'attaque.
- 9:49Microsoft l'a simplement fermé parce que des utilisateurs
- 9:52avaient commencé à s'en servir pour des usages que l'équipe
- 9:54considère contraires à l'intent. De recherche.
- 9:56Ce scénario n'est pas nouveau dans l'histoire de l'i a stable
- 9:59diffusion avait connu une trajectoire similaire en 2022.
- 10:01Publication ouverte, usage problématique quasi immédiat,
- 10:04débat intense sur la responsabilité des chercheurs.
- 10:06L'amas un de Meta avait fuité avant même d'être officiellement
- 10:10ouvert. Whisper, le modèle de
- 10:12reconnaissance vocale d'open AI, avait été utilisé pour entraîner
- 10:14des systèmes de surveillance dès les premiers mois après sa
- 10:17sortie. Ce qui est particulier avec vide
- 10:19Voice, c'est l'échelle temporelle, 9 jours entre la
- 10:22publication d'un papier de recherche et la fermeture
- 10:24forcée. Le repos pour usage détourné, il
- 10:27s'est écoulé 9 jours. Ce délai dit quelque chose sur
- 10:30la vitesse à laquelle des acteurs malveillants peuvent
- 10:32désormais s'emparer, comprendre et déployer des capacités de
- 10:35recherche avancées. Les limites techniques déclarées
- 10:37dans le papier sont aussi intéressantes à lire à travers
- 10:40ce prisme, vide Voice ne gère que l'anglais et le mandarin, il
- 10:43ne génère pas de paroles chevauchantes, les locuteurs se
- 10:45succèdent, il ne s interrompent pas la gestion d'effets sonores,
- 10:48bruit de fond où musique d'ambiance lui échappé aussi.
- 10:51Ce sont des limites réelles pour certains usages légitimes, mais
- 10:54elles ne constituent pas des gardes.
- 10:56Tout contre là fraude, une voix clonée sur 90 Min qui parle
- 10:58clairement et sans bruit de fond, c'est précisément ce dont
- 11:01on a besoin pour un contenu de désinformation convaincant.
- 11:03Microsoft à depuis réouvert le repo avec des conditions d'usage
- 11:07plus strictes. Le modèle reste accessible sur
- 11:09hugging face mais l'épisode laisser une question ouverte que
- 11:12la communauté académique n'a pas vraiment résolue.
- 11:14Quand une recherche est suffisamment puissante pour être
- 11:17dangereuse et suffisamment utile pour être publiée, qui décide de
- 11:20la frontière et sur quelle base ?
- 11:23Chapitre 5, la voix comme infrastructure.
- 11:26Ce n'est pas une question de technologie audio, c'est une
- 11:28question de qui va contrôler la couche vocale de l'internet et
- 11:32dans combien de temps il y a ? Une image utile pour situer vive
- 11:34Voice dans la dynamique plus large.
- 11:36Imaginez les infrastructures de réseau en 2003, Internet existe,
- 11:38mais la voix sur IP n'est pas encore banalisée, Skype n'est
- 11:41pas encore lancée. La voix reste chère, rare,
- 11:43contrôlée par des opérateurs Télécom qui en font un avantage
- 11:47tarifaire. 2 ans plus tard, la communication Voix est une
- 11:50commodité. La synthèse vocale est en train
- 11:52de vivre une transition comparable.
- 11:52Pendant 20 ans, elle est restée un service.
- 11:56Spécialisé avec des acteurs comme nuance puis leavon apps,
- 11:59puis Google et Amazon en position dominante, chacun
- 12:02contrôlait une capacité technique que les autres ne
- 12:04pouvaient pas reproduire facilement.
- 12:05Ce contrôle leur donnait un avantage de pricing, une
- 12:08capacité à imposer des conditions d'accès, une
- 12:10dépendance des clients à leur infrastructure.
- 12:12Vive Voice change cette dynamique.
- 12:14Un développeur peut aujourd'hui télécharger vive Voice 1.5B, le
- 12:16faire tourner sur sa propre infrastructure, générer des
- 12:18podcasts de 60 Min avec 2 locuteurs distincts sans jamais
- 12:22envoyer la moindre donnée à 1/3 0 dépendance.
- 12:26Dans sa PI0, coût marginal après investor qui construit un
- 12:28produit de contenu audio, y voit une réduction à 0 du coût
- 12:31variable de génération vocal. Ce n'est pas anecdotique dans un
- 12:34modèle économique où chaque minute d'audio synthétique
- 12:36facturée à l'a PI représentait un coût opérationnel réel.
- 12:39Un dirigeant soucieux de la souveraineté des données y voit
- 12:42autre chose, la possibilité de garder le traitement en interne
- 12:44dans les secteurs où les données vocales sont sensibles,
- 12:47médicales, juridiques, financiers.
- 12:48Quand à un investisseur qui regarde Eleven, naps, Cartesia
- 12:51ou reesembley, la question qui se pose n'est pas.
- 12:56Est-il meilleur ? Mais quelle partie de leur
- 12:58avantage concurrentiel repose sur une capacité technique qui
- 13:00vient de devenir open source ? C'est la question que dipsik
- 13:03avait déjà posée aux investisseurs d'open AI au début
- 13:05de l'année 2025, et la réponse avait été brutale.
- 13:07Il reste des territoires où les modèles propriétaires gardent un
- 13:10avantage clair, la latence d'abord, Cartesia Sonic turbo
- 13:13tient 40 millisecondes Eleven apps Flash 75 vive Voice
- 13:17realtime 0.5B approche les 300 millisecondes côté modèle, pour
- 13:20les agents vocaux qui doivent répondre instantanément, cet
- 13:22écart est. Structurants, la couverture
- 13:27linguistique suit 2 langues pour vive Voice aujourd'hui contre 29
- 13:30pour Eleven Labs et pour les équipes sans expertise ML
- 13:33interne. Le service manager reste une
- 13:35valeur réelle mais ces territoires se réduisent à
- 13:37chaque génération de hardware et de fine tuning.
- 13:39Ce que vive Voice pose comme question de fond, c'est
- 13:42finalement celle-ci dans un monde où la voix synthétique de
- 13:44qualité professionnelle est accessible à coût marginal. 0
- 13:47qu'est ce qui reste différenciant ?
- 13:48La réponse n'est pas dans le modèle lui même, elle est dans
- 13:51les données propriétaires d'entrainement, dans la
- 13:54distribution, dans la confiance. Que les utilisateurs accordent à
- 13:57une marque exactement les mêmes forces qui structurent n'importe
- 14:00quelle infrastructure commoditisée, le réseau
- 14:02téléphonique, le cloud, la bande passante.
- 14:05La voix était une fonctionnalité.
- 14:06Elle est en train de devenir une infrastructure.
- 14:08Et comme toutes les infrastructures au moment de
- 14:10leur basculement, la question n'est pas de savoir si elle va
- 14:13se commoditiser. C'est déjà fait.
- 14:14La question est de savoir qui sera là pour bâtir dessus quand
- 14:17la poussière retombera. Vous écoutiez vipe Voice,
- 14:21Microsoft a craqué le verrou du son puis a fermé la porte.
- 14:24Merci d'avoir écouté jusqu'au bout si cet épisode vous a donné
- 14:27une grille de lecture que vous n'aviez pas avant, partagez le à
- 14:30un fondateur, un investisseur ou quelqu'un qui pense encore que
- 14:34la voix synthétique est une fonctionnalité secondaire.