AI前沿：从无传播训练到自适应跳层

AI可可AI生活 · Apr 2, 2025 · 6m

本期“TAI快报”深入探讨了五篇AI领域前沿论文，涵盖深度学习新范式和模型优化创新：

NoProp: Training Neural Networks without Back-propagation or Forward-propagation：提出无需反向传播和前向传播的神经网络训练方法，利用去噪思想实现高效图像分类，挑战传统分层表示必要性。

TRA: Better Length Generalisation with Threshold Relative Attention：通过阈值相对注意力机制提升Transformer模型长文本处理能力，解决语义与位置信息冲突。

CodeScientist: End-to-End Semi-Automated Scientific Discovery with Code-based Experimentation：介绍半自动化科学发现系统，通过遗传搜索和代码实验加速科研创新。

Effectively Controlling Reasoning Models through Thinking Intervention：提出“思考干预”范式，直接引导大型语言模型推理过程，提升指令执行和安全性能。

Adaptive Layer-skipping in Pre-trained…