25 · Hyper-Connections (HC)

残差 ByteDance 2024 · ICLR 2025
ByteDance · arXiv:2409.19606

迭代了什么

上一代的问题:标准残差连接(x + F(x))在梯度消失与表示崩溃之间存在跷跷板效应。

这代改了什么:可学习的深度连接矩阵,n 份隐藏状态复制通过可学习 HC 矩阵控制连接强度。支持顺序/并行混合排列。

效果:Pre-Norm 和 Post-Norm 可表示为 n=1 的特例。ICLR 2025。

一、解决的问题

标准残差连接(Pre-Norm 和 Post-Norm)在梯度消失与表示崩溃之间存在跷跷板效应。

二、核心创新:可学习的深度连接矩阵

将隐藏状态复制 n 份作为扩展率 H0 = [h0, h0, ..., h0]T ∈ Rn×d,通过可学习的 HC 矩阵控制不同层特征的连接强度。

HC 矩阵形式:

[0 β1 β2 ... βn]
1,0 α1,1 α1,2 ... α1,n]
[... ... ... ... ... ]
^H = BT T(HT Am)T + ArT H

三、关键性质

Pre-Norm 和 Post-Norm 可表示为 n=1 的非可训练特例。HC 支持顺序/并行混合排列。