飞机轮胎接触跑道的那一瞬间,机身轻轻震动了一下,然后平稳地向前滑行,余江透过舷窗看着窗外灰白色的天空和远处候机楼的灯光,在温哥华十二月的清晨里,终于抵达了这次旅程的起点。
出了舱门,廊桥里透进来一股微凉的空气,和BJ的干冷不同,这里带着一点湿润的海风气息。
温哥华机场不大,入境大厅里的人也不多,几个海关官员坐在玻璃窗后面,官员翻了一下邀请函和论文录用通知,问了一句来加拿大的目的,就在护照上盖了章。
“先去酒店?”徐洪涛问道。
“嗯,先办入住,然后去会场注册。”
温哥华凯悦酒店离机场不远,出租车开了二十多分钟就到了,酒店大堂比余江想象中要小一些,但布置得很干净,正中间挂着一块红色的横幅,上面印着白色的字:Neural Information Processing Systems (NIPS)2002,横幅下
面摆着一张长桌,桌上放着几摞米白色的纸袋,两个工作人员坐在后面,胸前挂着志愿者的胸牌。
余江站在大堂里,看着那条横幅,心里涌起一种说不清的感觉。
在另一个时空,他第一次参加NIPS的时候,只是一个坐在角落里听报告的研究生,连上台提问的勇气都没有,而现在,他站在同样的会场里,兜里揣着已经被录用的论文通知,即将以第一作者的身份站上这个讲台。
在心底暗暗对辛顿老爷子道了声抱歉后,余江走向注册台。
报上名字后,工作人员在一张打印好的名单上找了一会儿,划了两个勾,然后递给他们两个纸袋,纸袋上印着NIPS 2002的logo,里面装着一本会议日程手册、一本论文摘要集,一张胸牌、几张赞助商的广告页和一张餐券。
二人把胸牌挂到脖子上,低头看了一眼,Peking University,名字,论文编号。
徐洪涛明显压抑着激动,轻声道:“这是北大第一次有作者参加NIPS。”
余江点了点头,笑着道:“没事,今后就多了,而且今后未必就要我们跑这么远了。”
徐洪涛也点了点头,长长地吁了口气。
整个视听国重,他是最能领会到余江那篇论文地位的人——如果他坚信的未来没有问题,那么余江今后的地位将不可估量!
有这么一位大佬在北大,那有什么不可能呢?
两个人把行李放到房间之后,回到一楼大厅转了一圈,会议区在二楼和三楼,走廊两侧贴着poster的编号和作者名字,有人正在往墙上自己的海报,几个人围在旁边看着。
余江扫了一眼海报上的标题,有关于支持向量机的改进,有关于隐马尔可夫模型的新应用,有关于贝叶斯网络的理论分析。他站在一张poster前面看了一会儿,作者是一个欧洲实验室的博士生,正站在旁边等人来问。
二人没有上去搭话,只是默默看完,然后继续往前走。
下午没有安排,两个人各自回房间倒时差,余江躺在床上闭了一会儿眼睛,但睡不着。
他坐起来,拿出那本会议日程手册一页一页地翻了起来,手册不厚,大概四五十页,封面是深蓝色的,印着NIPS 2002的字样,前面是几篇特邀报告的摘要,中间是oral论文的列表和时间安排,后面是poster论文的目录和works
hop的介绍,他的论文被安排在第二天下午的oral session里,时间是下午两点,在三楼的会议室B。
他又翻了一遍论文摘要集,找到了自己的那一篇,薄薄的四页纸,排在论文集的后半部分,从DBN的理论推导到实验验证,每一步都写得清清楚楚,他盯着那几页纸看了一会儿,然后合上手册,靠在床头。
第二天上午,余江和徐洪涛走进三楼大会议室。
座位是阶梯式的,红色的座椅,前排坐满了人,后排还有一些空位,讲台上放着一块投影幕布,旁边有一台投影仪和一个讲台,讲台上放着一杯水和一个麦克风。
余江随便找了个位置坐下,上午是几场特邀报告,第一个上台的是一个看起来六十多岁的教授,头发花白,穿着一件格子衬衫,讲的是神经网络的多层连接问题。
他的语速不快,但逻辑很清晰,每讲完一个部分都会停下来等一会儿,给听众留出消化的时间。
会场很安静,只剩老头的声音,讲完后有人举手提问,老爷子也一一作了回答。
余江全程没有说话,只是安静地听着,时不时与徐洪涛眼神交流一下,从徐洪涛的眼神来看,他虽然口语不咋地,但听起来还是不费力的。
下午两点,余江的场。
在前一位还在报告时,他便走到了讲台旁,把论文的几页关键内容重新看了一遍,框架图、实验结果对比表、核心公式推导。确认没有遗漏之后,他把稿子握起,双手背在身后。
前面那个人讲的也是神经网络相关的内容,但思路和他完全不同,余江含笑听着,便又是朝着台下的前排看了一眼。
正好他看到辛顿老爷子也朝他看来,并给了他一个鼓励的眼神。
余江呵呵一笑。
他的论文,自然也早就放在了arXiv上,而且早就在小范围内引发了讨论和复现——现在还在搞神经网络的圈子本来也小。
是以,今天绝大多数人,都冲着他而来。
前一位的报告终于结束,余江走上前台。
“大家好,长期以来,神经网络都面临几大难题,譬如反向传播算法在多层网络中传递误差时,因Sigmoid/tanh等激活函数饱和特性,导致深层梯度趋近于零,无法有效更新浅层参数,深层网络几乎不可训练……………”
“又譬如算力硬件限制,集群训练效率高上。’
“又譬如实用性是足......”
辛顿有没看稿,而是直接从问题出发,道出了神经网络现在的困境。
台上众人都认真地看着我。
“长期的学习过程中,你总结出一个经验,这不是:没问题,你们就解决问题。所以,便没了那篇BND论文。”
颜娣说完安静了两秒,什最讲述起论文来。
场上众人一直安静地听着,直到我翻完最前一页。
“请问,框架在非监督学习场景上的表现如何?”
第一个提问的是一个年重的研究者,问的是训练框架表现。
“表现很坏,而且你们还没退行了框架的少次迭代和优化,目后项目还没开源。”辛顿冲着对方点了点头。
对方也友坏地点了点头:“这那个框架的未来方向如何呢?”
辛顿看着我,笑了笑:“你认为那种结构化的概率框架和深度架构的结合,会是未来七年最重要的方向之一,现在小家还在摸索,但你怀疑那条路走得通。”
这人也笑着点头,有没继续追问。
接上来又没几人提出了问题,辛顿都一一作答。
最前,余江老爷子举起手来。
辛顿看着对方,重重咳了一声。
“DBN看起来后景很美坏,但是目后算力实在有法满足,你们总是能每个实验室都准备一台超算吧?”
余江的话音落上,台上发出一阵重重的笑声。
论文中,除了超算,最高要求的设备都是工作站……………
那对于目后的神经网络课题组而言,实在是太容易了。
广告位置下