AI 论文只写 8 页就得了年度最佳奖,Google 大脑团队领导人 Jeff Dean 到底有多强?
https://buzzorange.com/techorange/2018/08/29/jeff-dean-in-the-house/
22 岁时,你在干嘛?
这两天,现任 Google AI 掌门,传奇一般的 Jeff Dean,再次收获膜拜和引发热议。全
因他的大学毕业论文首次曝光。
这篇论文只有 8 页。
却成为 1990 年的最优等大学论文,被明尼苏达大学图书馆保存至今。
同时这篇论文表明,整整 28 年前,Jeff Dean 已经在用 C 语言,为神经网络编写并行
计算的代码。
拜 Jeff Dean 教的众人又沸腾了。
仅 8 页的论文,却拿下最优等论文
有位大概很年轻的网友,看了论文之后在 HackerNews 上发出感慨:不可思议,Jeff
Dean 在 1990 年就开始对神经网络感兴趣。
一句话,引来众多科普和追忆。总结起来,就是当时神经网络正当红。
有人感慨:“神经网络那时候是一件大事,在 1980 年代后期非常热门,那真是一段美好
的时光。”
1990 年,正值第二次 AI 寒冬之前,当时,神经网络、Prolog、LISP 语言、模糊逻辑都
正在流行,ANN 还没有被 SVM 等超越,日本在 AI 领域还大有赶超美国之势。
后来成为 Jeff Dean 同事(实习生 ^_^)的神经网络之父 Geoffrey Hinton,当时也已
经有很多重要研究发表,反向传播也出现了。
Jeff Dean 这篇论文提到的两种并行训练方法,就都是基于反向传播的。
网友@silverlake 说,“我几乎与 Dean 同龄,我的本科项目是用遗传算法改进神经网络
。当时人工智能很流行,但不久之后冬天来了。”
1990 年代早期,对神经网络和机器学习来说是一段非常有趣的日子。当时物体识别、手
写识别等都有出现,所有进展都在快速推进,但很快资金撤走了,项目全都陷入困顿。
“幸好后来 GPU、深度反向传播的出现,数据量开始爆炸之后,神经网络卷土重来。”网
友@dekhn 说。而对于那些在第二次 AI 寒冬中坚守至今的人来说,显然已经得到了应有
的回报。
回忆往事之外,不少人得出类似 不忘初心,方得始终 的结论。
比方 Jeff Dean 大学毕业论文中研究的问题,被指仍然是今天 TensorFlow 的重大问题
之一。
“真正有趣和创新的早期工作,我认为这也解释了为什么 TensorFlow 不支持层内模型并
行。令人惊讶的是,早期的经历对我们的影响有多大。”网友 @scottlegrand2 评价。
确实如此。实际上大学毕业之后,Jeff Dean 并没有一直沿着 AI 的方向继续研究下去。
随后他的兴趣转向编写高级面向对象语言的编译器,并且在这个领域取得博士学位。
“然而那一丝觉得神经网络很有意思的感觉,从来没有真正消失过”,于是后来 Jeff
Dean 又在 Google 内部主导神经网络、人工智能的研究,并且和吴恩达、Greg Corrado
共同发起成立了 Google Brain 项目并且担任负责人。
有人评价说,Jeff Dean 是一位具有编译器优化专业知识的计算机科学家,而
TensorFlow 本质上是一种将神经网络加速,转化为与编译器优化相关问题的尝试。
Jeff Dean 是谁?他可是 Google 的基石
1969 年生,49 岁。
1996 年博士毕业于华盛顿大学计算机系 (UW)。
美国国家工程院院士,ACM Fellow,AAAS Fellow。
1999 年加入初创期的 Google,设计并部署了 Google 广告、抓取、索引和查询服务系统
的大部分内容,以及位于 Google 大部分产品下方的各种分布式计算基础架构,也是
Google 新闻、Google 翻译等产品的开发者。
发起创办了 Google 大脑(Google Brain Team)。
发起打造了目前全球份额第一的深度学习框架平台 TensorFlow。
虽然官方 title 是 Google 高级研究员,但 Jeff Dean 在 Google 的地位仅次于创始人
拉里·佩奇和谢尔盖·布林。
在 2018 年 4 月,Google 内部架构调整,Jeff Dean 接管 Google 整个 AI 业务和团队
,据称座位也与 Google 现任 CEO Pichai 相邻。
Jeff 到底是一个多神的人?
当然,如果你对这位低调的大神了解有限,是时候又要祭出圈内口口相传的 Jeff Dean
的段子集了。
我们也当面向 Jeff 转述过这些轶闻,他当时笑着回答说:谢谢大家的喜爱。
一起来看看这些轶闻吧:
During his own Google interview, Jeff Dean was asked the implications if P=NP
were true. He said, “P = 0 or N = 1.” Then, before the interviewer had even
finished laughing, Jeff examined Google’s public certificate and wrote the
private key on the whiteboard.
当他被 Google 面试时,Jeff Dean 被问及如果 P=NP 意味着什么。他说,“P=0 或者
N=1”。然后,在所有的面试官还没笑完之前,Jeff 瞄了一眼 Google 的公共证书然后在
白板上写上了对应的私钥。
Compilers don’t warn Jeff Dean. Jeff Dean warns compilers.
编译器从来不给 Jeff 编译警告,而是 Jeff 警告编译器。