LSTM之父再掀争议:1991年论文已奠定残差学习基础,何恺明ResNet非首创?

🎯 情报来源:量子位

深度学习领域再起学术争议——LSTM之父Jürgen Schmidhuber近日公开质疑残差学习(Residual Learning)的归属权,称其学生Sepp Hochreiter早在1991年的博士论文中就已系统提出循环残差连接理论,比何恺明团队2015年提出的ResNet早24年。这场争论涉及LSTM、Highway网络与ResNet的技术传承关系,并直指深度学习领域长期存在的学术贡献认定问题。

据Jürgen披露,Hochreiter在1991年论文中首次提出权重固定为1.0的循环残差连接方案,该设计能完全避免梯度消失问题。1997年问世的LSTM(20世纪被引最高AI论文)正是基于此理论,其恒定误差轮盘(CECs)机制允许误差在数千时间步中保持不衰减。2005年通过BPTT算法展开的深度前馈网络,以及2015年5月出现的Highway网络(首个百层深度前馈网络),均延续了这一核心思想。

💡 核心要点

  • 时间跨度:Hochreiter的残差理论(1991)比ResNet(2015)早24年,比Highway网络早24年
  • 关键参数:残差连接必须保持权重严格1.0,0.99权重下100步后误差衰减至37%
  • 技术传承:LSTM(1997)→ Highway网络(2015.5)→ ResNet(2015.12)存在明确技术演进路径
  • 学术影响:LSTM论文为20世纪被引次数最多的AI论文
  • 争议历史:Jürgen与三巨头(Hinton/Bengio/LeCun)持续8年+的学术贡献争议

📌 情报分析

技术价值:极高
1991年理论已包含现代残差网络核心设计(固定1.0权重),且经LSTM(语音/语言)、Highway(CV)、ResNet(CV)多领域验证

商业价值:高
衍生技术(LSTM/ResNet)支撑万亿级AI产业,但早期理论专利保护已过期

趋势预测:一般
学术争议难改现有技术格局,但可能影响未来AI史学叙事与学术荣誉分配

原文连接

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索