成文飞指了指桌上的智能音箱样机，轻声叹了口气：“你看，现在我们写的这所有神经网络，从数学本质上讲，全都是无状态的函数映射。”
“你给它输入一批数据，它经过前向传播给你输出一个预测结果，算完这一步，网络里所有的激活值就全部清空了，做完就忘。”
“每一次推理都是完全割裂、彼此独立的，它根本没有持久的记忆。”
成文飞走到实验台前，手指轻轻抚过这个工程音箱的外壳，动作轻柔的就像是在抚摸一个孩子一般。
像是在对何凯明做技术剖析，又像是在对自己内心深处的执念自言自语道：
“如果我们只是想做一个听懂‘打开客厅空调’、‘播放周杰伦的歌’的语音遥控器，那无状态函数就完全够用了。”
“但如果我们想要的，是一个能够跟人持续聊天、拥有连贯稳定的人格、清楚记得你们上个月聊过什么话题、甚至拥有属于她自己独有回忆的人工智能呢？”
何凯明愣了一下，顺着成文飞的思路往下深想，眉头也渐渐皱了起来：
“残差结构本身确实完全不自带记忆功能，要想让一个深度网络拥有连续的记忆，我们就必须跳出单纯的分类网络，去解决序列建模的问题。”
“不仅需要长短期记忆网络那样的隐状态传递，未来甚至还需要构建独立的外部记忆库、全局状态管理机制，以及足够长的上下文窗口和检索增强系统……”
“是啊，路还长着呢，一步一步来吧。”
成文飞隐藏起自己的情绪，拍了拍手，把话题拉回了眼前的工程现实。
“而且就算我们现在把这些算法的理论图纸全都画出来，光靠咱们机房里现有的这些英伟达计算卡，也根本跑不动！残差结构让模型可以无限变深、变大，但更深、参数量更大的模型，单卡显存连塞都塞不下，更别提训练了。”
一提到算力和硬件瓶颈，何凯明也泄气了，苦着脸吐槽道：
“咱们现在训这个62层的网络，光是做跨卡的数据同步和梯度汇总，通信延迟就吃掉了将近四成的计算时间！那帮做游戏显卡的海外厂商，底层驱动根本就没有为超深层神经网络的并行计算做过专门优化。
这些天我每天写算法的时间，还没帮工程组那帮兄弟调试显卡通信的时间多呢！再这么折腾下去，我感觉我都成工程组的，而不是算法组的了。”
“别抱怨了，咱们苦日子马上就要熬出头了。”
本章未完，请点击下一页继续阅读！