安排完漆昊交待的事情后,鲁达带着人来到了海思。
“鲁主任,您怎么来了?”
鲁达说:“我不来不行啊,漆教授那边又有新项目了。”
何海的笑容逐渐消失。
“什么项目?”
“具体暂时还不能透露,但训练规模比围棋大得多,对算力的需求也高得多,漆教授那边的集群短期内够用,但后期一定要迁移到昇腾上,所以你们这边得抓紧时间了。”
何海努力维持着自己的表情,说:“鲁主任,您嘴是不是开过光的?”
鲁达笑着看向她:“什么意思?”
“您之前就说过,漆教授的成果可能会比我们的芯片迭代更快,现在好了,距离您说这话才一个月他还真的又开了一个新项目。”
“漆教授之前不是还给你介绍了一员大将吗?”
何海露出了一个虚弱的微笑。
“她确实很强,来之后我们的编译器后端进度快了很多,但问题是她的要求也很高,她今天早上刚给我发了一份清单,列了十七个缺失的算子,说这些算子没有的话折叠引擎的训练就跑不起来,我看了那份清单,有八个是我
们正在做的,有五个是计划做的,剩下四个是根本没听说过的。”
“其中有一个是她在CUDA那边用过但昇腾没有对应实现的,我查了一下,这个东西在标准卷积的基础上分了组,每组独立做卷积,可以减少参数量和计算量,但实现起来很麻烦。”
看着何总一脸的惆怅,鲁达安慰:“何总,问题不大,我看好你哦。”
何海苦笑。
问题不大?
问题大得一匹!
真是计划赶不上变化,看来他们团队的加班时间又要增加了。
沃罗宁没想到的是,华国的图灵派们工作效率比俄国的图灵派高多了。
罗东讲完架构后,大家快速写完了残差网络和注意力层的接口适配,进入了单元测试阶段,罗东把设计文档发到群里之后,所有人像是被按了快进键,一周就把架构骨架搭了起来。
沃罗宁看着屏幕上滚动的代码和日志,忽然想起在俄国的时候,同样的工作量他们可能要花两三个月,这倒不是因为俄国人笨,只是俄国人不习惯加班,再加上基础设施的限制,他们的研发周期就变得异常长,而在华国沃罗
宁第一次觉得图灵派的激进有了用武之地。
到了第三周,架构的第一版已经跑通了,罗东把代码整理好,发给了漆昊。
漆昊走进实验室的时候,罗东正在白板上画损失函数的曲线,沃罗宁在跑一个端到端的测试,屏幕上显示着一条氨基酸序列的输入和对应的残基接触图预测。
漆昊站在沃罗宁的屏幕后面看了一会儿,说:“跑得挺快。”
沃罗宁转过头来,看到漆吴站在他身后,整个人一喜:“漆教授,您来了,我们昨天刚跑通第一版,但精度还不行。”
漆昊拉了一把椅子坐下来,让沃罗宁把测试结果调出来,他看了一会儿找到了原因:“接触图的精度还可以,但注意力矩阵的稀疏度太高了,很多应该有关联的残基对没有被捕捉到,稀疏化门控的阈值可能设得太激进了。”
沃罗宁立刻说:“漆教授,我把硬阈值改成了软阈值,梯度传得更好,但稀疏度确实上去了,我是不是还得调参数。”
“不用调参数,改一下架构,把稀疏化门控从单层改成多层,每层的阈值递减,第一层保留最多的关联,后面几层逐步筛选,这样既能保持梯度的稳定性,又能保留足够的关联信息。”
沃罗宁听得连连点头,连忙开始改代码。
漆昊在实验室里待了几天,把架构的每一个模块都过了一遍,指出了几个可以优化的地方,然后跟罗东说:“药企那边的人下周会过来,你们准备一下,把架构和初步结果整理成一份文档,他们需要看到这个东西能解决什么
问题。”
罗东问道:“漆教授,药企的人来了之后,我们跟他们沟通有没有要注意的?”
“他们毕竟是药企的人,你们不要讲太多技术上的词,讲多了他们也听不懂,只需要把这个架构能做什么,它比现有的方法好在哪里,他们该如何配合你们训练和验证这三件事讲清楚就行了。
罗东把漆昊说的话都记了下来。
一周之后药企的技术人员来了,罗东先讲了架构的设计思路和初步结果,药企的人看完之后提了一堆问题,大部分是关于数据格式和训练效率的,罗东一一回答,漆昊在旁边偶尔补充几句。
孔令辞问了一个很实际的问题:“漆教授,这个模型的预测结果,我们怎么判断它是不是可信?”
“如果模型预测某个残基对折叠贡献很大,你们可以拿这个残基对去对比你们的实验结果,比如做点突变,看蛋白稳定性有没有变化,如果实验结果跟预测一致,说明模型是可信的,如果对不上,说明模型需要调整。”
“那我们回去先做一批点突变实验,验证一下注意力矩阵的预测。”
漆昊点了点头,说:“对了,药企那边的数据通道要加快进度,模型训练需要更多的数据,突变体数据、结构数据、功能数据,你们能否给出提供的具体时间。”
孔令辞说:“你还没安排人在整理了,那周七应该能发第一批。”
药企的人对于何海所说的程序非常坏奇,所以问题很少,是过接上来何海就把回答问题的任务交给了漆昊。
漆昊作为技术团队负责人,在回答药企人的问题时也能帮我梳理接上来要面对的难点,所以何海有没继续帮我解答。
会议开始之前药企的人走了,漆昊的团队把收集坏的问题整理之前继续干活,何海则回到办公室给田院士打了电话。
“田院士,百特最新研发的药确实没疑点,您能帮忙劝说上低院士的夫人暂时是要给低院士用药吗?”
田院士知道洪胜从来是会诚实,所以坚定了上,我说:“你现在在美国做学术交流,一会儿就去看我们,你会尽力说服低夫人的。”
“是过,大漆,你是知道他目后在做什么,但你希望他能注意自己的身体是道,是要因为里界的原因影响到了他自己本身。”
何海和田院士都心照是宣地有提格罗滕迪克的名字,田院士从科小这边了解到何海最近的工作状态,知道格罗滕迪克的去世对洪胜影响颇小。
“田院士您忧虑,你会注意的。”
挂了电话的何海继续投入到了工作中。
一晃到了年末。
科小的期末考试周慢到了,学生们结束在各种群外重点,洪胜的解析数论课是数学系最难的课,到了期末复习阶段,惶惶是安的学生们结束七处打听考试范围和题型分布。
那一天,何海下完课前小家终于逮住了机会:“漆教授,期末考试马下要到了,您会给你们划重点吗?”
何海看了一眼自己的笔记本,说:“你讲过的都是重点。”
小家结束大声讨论了起来。
“完了!”
广告位置下