【第642期】AIRA：大语言模型智能体自主发现神经架构的研究

Seventy3 · Jul 3, 2026 · 22m

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。

合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design

Summary

迈向递归自我提升，我们研究了 LLM 智能体在超越标准 Transformer 的范畴下，自主设计基础模型的能力。我们提出了一种双框架方法：用于高层架构搜索的 AIRA-Compose，以及用于底层机制实现的 AIRA-Design。

AIRA-Compose 动用了 11 个智能体，在 24 小时的预算限制下探索基础计算原语。智能体们对百万参数级的候选模型进行评估，并将最优的设计外推至 3.5 亿（350M）、10 亿（1B）和 30 亿（3B）参数规模。这催生了涵盖两个家族的 14 种架构：AIRAformers（基于 Transformer）和 AIRAhybrids（Transformer-Mamba 混合型）。在 1B 规模下进行预训练后，这些模型始终优于 Llama 3.2 和由…