【第487期】EGGROLL：基于低秩学习的大规模演化策略优化

Seventy3 · Jan 29, 2026 · 16m

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

今天的主题是：

Evolution Strategies at the Hyperscale

Summary

我们提出 EGGROLL（Evolution Guided General Optimization via Low-rank Learning，基于低秩学习的进化引导通用优化），一种进化策略（Evolution Strategies，ES）算法，旨在将无需反向传播的优化方法扩展到适用于拥有数十亿参数的现代大型神经网络架构和超大规模种群规模。ES 是一类强大的黑盒优化方法，能够有效处理不可微或含噪目标函数，并可通过并行化实现良好的扩展性。

然而，朴素的 ES 在大规模场景下成本极高，其瓶颈主要来自生成矩阵扰动 E∈Rm×nE∈Rm×n 所需的计算与内存开销，以及为计算每个种群成员前向传播而进行的批量矩阵乘法。EGGROLL 通过生成随机矩阵 A∈Rm×rA∈Rm×r 与 B∈Rn×rB∈Rn×r（其中 r≪min⁡(m,n)r≪min(m,n)），并以低秩矩阵扰动 AB⊤AB⊤ 替代全秩扰动 EE，从而有效克服了上述瓶颈。

由于整体参数更新是对 NN…