第178章 居然是他???(1/2)
很快查理斯看到论文的第三部分。
在这个部分,论文展示了在一台本地计算机上,通过代码构建的虚擬环境,模擬100个计算节点、一万次叠代周期的分布式深度学习训练过程。
在极端异步环境中,每一个计算节点都加入了不同程度的网络延迟。
最终却达成了一个很不错的结果。
查理斯盯著最终收敛的曲线图看了好一会儿。
在曲线图上,那条代表误差率的红线,並没有像传统的异步模型那样,在模擬到几千次叠代之后就出现各种误差甚至於直接崩溃。
相反,那条红线呈现出一种极其平稳的向下趋势。最终的误差率被控制在了一个合理区间內,整个模型也没有崩溃。
很稳定!
查理斯深吸了一口气,眼神之中露出兴奋。
“上帝啊……”
查理斯靠在椅背上,口中喃喃自语。
作为nips大会的资深审稿人兼编辑,他在加州大学圣地亚哥分校也拥有自己的计算机实验室,他有著很高的专业素养。
正因为专业,他一眼就看出了这个全新架构背后隱藏的巨大价值。
这不仅仅是一篇停留在纸面上的理论推导论文。作者还无可辩驳的实验数据。
这种数据是不可能造假的,因为太容易被復现了,数据造假的可能性极低!
如果这个基於动態时间戳权重惩罚的异步框架能够实现工业级部署…………
查理斯想到这儿,呼吸都变得粗重了几分。
如果真能应用,那目前困扰整个ai学界的通信瓶颈会被打破。
神经网络的训练规模將会摆脱单机算力或者同步锁的物理限制,迎来一次爆炸式的增长。
这篇论文意义重大!学术价值,甚至超出了本届nips大会所有已接收论文。
想到这儿,查理斯兴奋的抓起桌上的座机电话,迅速拨通了本届nips大会主程序委员会执行会长、史丹福大学计算机系资深教授的电话號码。
电话很快被接了起来。
“喂!会长先生!我是查理斯。”
查理斯的声音有些兴奋的喊道。
电话那头的执行会长显然正在处理其他事务,被查理斯这种罕见的失態语气弄得有些发愣。
“查理斯?怎么了?什么事情让你如此失態?是谷歌大脑团队那边又提交了什么关於大规模无监督学习的新成果吗?”
会长好奇的问道。
“不是谷歌!也不是微软或者多伦多大学的团队!是一个完全陌生的个人投稿者,名字叫yang zhao!”
查理斯拿著听筒,大声说道:“他解决了一直困扰我们的异步sgd框架梯度陈旧问题!他引入了一种极其先进的模型,基於延迟时间差赋予动態权重惩罚。
在完全异步的环境下实现了模型的平稳收敛!而且在附件里还给出了实验流程和实验数据!”
“你確定推导过程和数据没有造假?”
本章未完,点击下一页继续阅读。