AI前沿：数据多样性选择、扩散性和知识蒸馏

AI可可AI生活 · Feb 22, 2025 · 12m

本期播客精华汇总：

本期TAI快报，我们聚焦AI效率提升的最新研究进展，探讨了大型语言模型“瘦身大法”。

[CL] Diversity-driven Data Selection for Language Model Tuning through Sparse Autoencoder: 通过稀疏自编码器 (SAE) 驱动的数据多样性选择，提升指令微调数据质量，实验证明SAE-GreedSelect和SAE-SimScale算法能有效提升模型性能。

[CV] Improving the Diffusability of Autoencoders: 揭示自编码器“扩散性”对潜在扩散模型的重要性，提出尺度等变正则化方法，有效抑制潜在空间高频成分，显著提升图像和视频生成质量。

[CV] Designing Parameter and Compute Efficient Diffusion Transformers using Distillation: 探索知识蒸馏技术在扩散Transformer模型压缩中的应用，系统研究模型设计空间，为设计参数/计算高效的扩散模型提供指导原则。

[CL] LServe: Efficient Long-sequence LLM Serving with Unified Sparse Attention…