模块化反馈回路与动态残差网络

Not a ToE · Oct 26, 2026 · 37m

深度学习教材把普通的层层堆叠和残差网络归进同一个抽屉，叫前馈网络，又把跳跃连接解释成防止梯度消失的补丁。从唯一的前提去追溯“下一个状态等于这个状态加一个修正量”里的那个加号，看到的是另一刀：跳跃连接带着走的是一个保留的参照，有了它，一条漫长的全局反馈回路就拆成了许多局部修正。

来源是何恺明、张祥雨、任少卿、孙剑的《用于图像识别的深度残差学习》（2015）。从中保留的是：退化现象（更深的普通网络在自己的训练数据上错误率反而更高），照抄浅网络的构造论证，以及把各层改写为“相对于层输入”的残差函数。论文本身就认为梯度消失不太像是主因。前提落在标签上：按一次传递里箭头的方向来分类，看不到每一层要对什么负责；静态编译的计算图，也看不到由有界技能回路组成的网络如何重塑自己。…