MoE : pourquoi répéter les données brise vos modèles
Face à la pénurie de textes inédits sur le web, la tentation est grande de réentraîner les modèles sur les mêmes corpus. Mais une étude révèle une vulnérabilité majeure des architectures Mixture-of-Experts : dès 4 répétitions, leur mécanique s'enraye, et à 32, les bons vieux modèles denses reprennent l'avantage.
#modeles #meta-evergreen #moe #machinelearning #data
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.