上一代的问题:标准残差连接(x + F(x))在梯度消失与表示崩溃之间存在跷跷板效应。
这代改了什么:可学习的深度连接矩阵,n 份隐藏状态复制通过可学习 HC 矩阵控制连接强度。支持顺序/并行混合排列。
效果:Pre-Norm 和 Post-Norm 可表示为 n=1 的特例。ICLR 2025。
标准残差连接(Pre-Norm 和 Post-Norm)在梯度消失与表示崩溃之间存在跷跷板效应。
将隐藏状态复制 n 份作为扩展率 H0 = [h0, h0, ..., h0]T ∈ Rn×d,通过可学习的 HC 矩阵控制不同层特征的连接强度。
HC 矩阵形式:
Pre-Norm 和 Post-Norm 可表示为 n=1 的非可训练特例。HC 支持顺序/并行混合排列。