“当时我正在天慧一号边上,突然乌拉一声!我靠......知道飞机在你身边起飞是什么感觉么?”

见赵强师兄比手画脚,还穿着鞋套,余江就一个劲地直乐。

“没事没事,炸不了。”

“我知道炸不了,但你这动静也太大了吧。”赵师兄瞥了一眼余江导出来的监控,很是心疼:“你这满载要飞多久?”

“大概七八个小时吧。”

“………………”忍了几忍,赵强最终还是叹道:“虽然是你姐花的钱,你也悠着点吧......这才交付的新机器,看着心疼啊。”

“嗯嗯,就这一次。”

余江把赵师兄送到门口,轻轻呼了口气。

也亏得自己有钱捐了一台,按照这种宝贝劲,就算是石院士全力支持他,超算中心也会不乐意的。

回到电脑前坐下,余江再次翻起了书。

实验室的研究生们陆续就位,没一会,余江把“天慧一号”算力占满的消息便传遍了实验室。

众人也不好说什么,只是暗暗摇头。

就算实验室最吃算力的指纹识别,峰值一般也就到80%左右,而且还持续不了多久,余江这玩意倒好......直接100%满载,整个机房就跟机场一样,站门外都能听到风扇的尖鸣。

午饭后,好几天没见的石院士来到了实验室。

石院士随意地坐在余江身后,看着屏幕的日志,问道:“这是进行到哪一步了?”

“反向传播训练,最后一道微调了。”

“梯度问题怎么解决的?”

“用的逐层无监督预训练来初始化权重,目前暂时没遇到梯度问题。”

石院士惊讶起来:“用了几层?”

“三层。”

石院士便缓缓吸气,深深地凝望着余江。

她自然知道,神经网络最大的毛病就是梯度爆炸或者梯度消失,这是神经网络无法持续研究下去的根本原因——至于原理性解释,算力需求都是其次。

这小伙,他难道真的解决了?

这时余江又不好意思地道:“现在所有层的权重都要参与链式求导和梯度更新,计算密度大了点,所以超算动静就有点大。”

石院士沉默许久,轻轻嗯了一声。

“神经网络本来就是吃资源的,而且不同参数的结果差异太大,根本没有规律可言,你这就只跑三天,时间够吗?”

余江回头,只见老太太是真诚地在问,心中微微一暖,轻声道:“是这样的,石老师,我翻了之前的好多论文,自己又琢磨了好久,觉得超参数其实还是有规律的。

所谓参数没规律,这正是神经网络被诟病不可解释的原因之一。

“石老师,譬如这个DBN模型,学习率0.1不是随便选的——低于0.05在这个网络结构下几乎不收敛,高于0.2很容易发散,这个区间对于784维到500维的映射是相对稳定的。”

“weight_cost我设了0.0001,如果设成零,网络会倾向于用少数强权重拟合数据;加一点惩罚,它会强迫网络用更多弱权重来学习规律。其实这些参数,论文里有人做过类似对比实验,只是没有总结成方法论。”

听余江一口气介绍完,石院士皱眉沉思了一会:“原理呢?”

“先找到规律,再探求原理。”他轻轻呼气:“石老师,我这边用的是Yann LeCun实验室提供的MNIST原始数据集,不知道现在实验室用这个数据集的错误率是多少?”

“之前你师兄拿来练过手,差不多5%吧。”

“嗯,那我加把劲,看能不能低于5%。”

石院士便微微一笑,站起身来,轻轻拍了拍他的肩膀:“只要低于5%,就表示你的模型具备相当的意义。”

目送石院士离开,余江继续耐心地等待。

石院士双手抱臂,在办公室内来回踱步。

门外脚步声响起,片刻后,年逾六十的迟惠生教授和实验室博后吴玺宏出现在门口。

“迟老师,玺宏。

广告位置下