“不过未来太远，半导体的工艺指不定什么时候才能突破，还是看眼前吧，等RC-1401到了，咱们前期也不需要贪多求全，可以先搭建几个小型算力集群。”
“不需要特别多，单台服务器最多插满12张算力卡，咱们先建设四到五个这样的高密度节点组成一个集群，同时用来跑大批量的消融对照实验，足够应付今年下半年的研发需求了。”
何凯明深有同感的点了点头，“确实，步子迈太大容易扯着蛋，卡太多的话通信拓扑一乱全得趴窝。”
“四五个12卡节点组成一个集群，然后建设三四个集群的话，算力就非常充裕了！我觉得除了跑视觉的残差消融实验，我们还应该匀出一部分算力，同步进行小规模的早期RNN和LSTM序列建模实验！既然咱们刚才聊到了语音交互和记忆状态问题，现在就得提前为后面的序列建模和自然语言处理做技术铺垫了！”
成文飞停下脚步，低头沉思了片刻。
如果既要跑完整的大规模ImageNet子集训练，又要做序列建模探索，那现有的机器分配还得再精细化切分一下。
最好是在这四五个主力训练节点之外，再单独留出一个集群，不用跑长期任务。
专门留给底层工程师做自定义算子调试，以及FP16半精度与FP32单精度混合训练的数值稳定性对照实验！
毕竟要是能把半精度训练给跑通，显存占用直接砍半，计算吞吐量翻倍，那半导体部门搞出来的这批算力卡就能发挥出两倍的战斗力！
可是这么一盘算下来，新的问题又摆在了眼前。
人手根本不够用啊！
现在AI实验室里招进来的，全都是像何凯明这样搞数学建模、发顶会论文的算法天才。
让他们用现成的Caffe或者TheanO框架改改网络结构还行，要是真让他们钻进LinUX内核底层去写硬件驱动、去抠汇编指令集的寄存器分配，那纯属浪费！
“凯明，光有陆教授的算力芯片，光有咱们的残差算法，这中间还缺了一座最关键的桥啊。”
成文飞指了指桌上的电脑主机，神色凝重地说道：“英伟达为什么能在海外学术界一家独大？不仅仅是因为他们的GPU流处理器多，更因为他们从几年前就开始拼命砸钱搞CUDA生态！如果咱们红星自己的算力卡拿回来，每次写个新算法都要算法工程师自己去手搓底层硬件通信代码，那这卡造出来也没人愿意用！”
本章未完，请点击下一页继续阅读！