“当网络层数叠加到一定深度，会出现不可逆的梯度衰减、特征退化，浅层的有效特征，会在层层传递中不断丢失、失真、稀释，网络越深，学习能力反而越弱，准确率不升反降。”
“基于这个问题，我才将接下来的课题定为深度网络在物理层面的衰减问题，希望能验证我的想法，尝试看看能不能用另一种方式解决这个问题。”
陈星心中狂喜，就是这个！
就是这个点！
何凯明思考的问题，正是他以后名动天下的ReSNet残差网络诞生的前置思考。
就像他说的一样，学术界普遍认为神经网络越深、层数越多，AI 越强，可现实却是网络叠深之后，出现梯度消失、梯度爆炸、性能退化越深、准确率反而越低，学不动。
属于是越学越废。
解决方式也正是何凯明提出来的，直接短路连接、残差跳跃，不用让每一层网络都必须 学完整新特征。
说人话就是允许神经网络 偷懒、进行残缺学习，不需要每层都强行拟合，学不动的部分直接跳过、残差传递。
当然，陈星也是一知半解，他也不会直接告诉何凯明所谓的残差网络，只是引导着问他：“那现在你有解决思路吗？”
“有一点，但不多，因为我是刚从计算机视觉转到神经网络不久，还没有完整的构建自己的体系，只是一些粗略想法。”
“比如我在想，既然层层传递会不断损耗特征、梯度会逐层消失，那我们未必一定要让每一层网络都强制学习全新的特征。”
“如果我们搭建一条旁路直连通道，让原始特征可以跳过部分堆叠层，直接向后传递，让深层网络只需要学习前后的残差差异，是不是就能规避深度衰减的问题？”
“不用层层拟合完整特征，只学增量偏差，剩余原始信息直接直通保留。”
陈星心中再次确定。
来了！
没错，就是这个！
这就是未来统治整个AI视觉、深度学习、自动驾驶领域的残差神经网络 ReSNet！
别人还在头疼网络越深越废的行业难题，何凯明已经摸到了下一代AI底层架构的钥匙。
陈星不动声色，按捺住心中的激动，脸上露出欣赏的笑意对何凯明说：“这个思路非常大胆，也极具颠覆性，你尽管放手去做，这个项目我批了，实验室所有算力、数据、资源你可以整理一下交到我这边来。”
“
本章未完，请点击下一页继续阅读！