skinny.

Latest / 每日AI

Stanford:大模型喂垃圾数据反而更聪明

这项研究探讨了在大规模模型预training(预训练)中,数据过滤是否真正必要的课题。作者通过一系列扩展实验发现,虽然过滤在计算资源有限时能提升模型表现,但在高计算量、多参数的情况下,不进行任何过滤的全量数据(如 Common Crawl)反而能取得更优结果。实验证明,足够庞大的模型不仅对“垃圾数据”具有极强的鲁棒性,甚至能从打乱语序的文档中提取有用信息。研究指出,人为设计的过滤规则可能面临“苦涩的教训”,即简单的原始数据规模化最终会取代复杂的手工筛选。基于扩展定律(Scaling Laws)的预测显示,随着未来计算预算的增加,使用未经处理的原始互联网数据将成为提升模型性能的最佳策略。因此,作者建议重新审视当前追求高纯度数据集的趋势,关注原始数据带来的潜在增益。

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.