Tokenizers multilingues : pourquoi surpondérer peut nuire
Pour soutenir les langues minoritaires, l'intuition pousse à surreprésenter leurs données dans l'apprentissage du tokenizer. Pourtant, une étude systématique sur 123 modèles montre que cette surpondération tend à dégrader leur score bits par octet dans les configurations testées. Faut-il revoir nos hypothèses sur la standardisation du découpage ?
#modeles #meta-evergreen #nlp #tokenization
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.