|
上周扒了扛起深度学习大旗的Hinton先生，今天聊一位他的学生，深度学习中CNN的崛起离不开的男人——Yann LeCun。 一位陪伴Hinton三十年磨一剑，最终笑傲AI界的法国人。让我们一起记住这张面孔。 作者 | 小满 言有三 编辑 | 小满 言有三  1 30秒了解LeCun Yann LeCun，CNN之父，纽约大学终身教授，与Geoffrey Hinton、Yoshua Bengio并成为“深度学习三巨头”。前Facebook人工智能研究院负责人，IJCV、PAMI和IEEE Trans 的审稿人，他创建了ICLR(International Conference on Learning Representations)会议并且跟Yoshua Bengio共同担任主席。 1983年在巴黎ESIEE获得电子工程学位，1987年在 Université P&M Curie 获得计算机科学博士学位。1998年开发了LeNet5，并制作了被Hinton称为“机器学习界的果蝇”的经典数据集MNIST。2014年获得了IEEE神经网络领军人物奖，2019荣获图灵奖。 2 代表性研究论文 1、使用反向传播和神经网络识别手写数字 LeCun Y, Boser B, Denker J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural computation, 1989, 1(4): 541-551. 2、早期权值剪枝的研究 LeCun Y, Denker J S, Solla S A. Optimal brain damage[C]//Advances in neural information processing systems. 1990: 598-605. 3、将siamese网络用于签名验证 Bromley J, Guyon I, LeCun Y, et al. Signature verification using a" siamese" time delay neural network[C]//Advances in neural information processing systems. 1994: 737-744. 4、LeNet5卷积神经网络提出 LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324. 5、对max pooling和average pooling的理论分析 Boureau Y L, Ponce J, LeCun Y. A theoretical analysis of feature pooling in visual recognition[C]//Proceedings of the 27th international conference on machine learning (ICML-10). 2010: 111-118. 6、DropConnect方法 Wan L, Zeiler M, Zhang S, et al. Regularization of neural networks using dropconnect[C]//International conference on machine learning. 2013: 1058-1066. 7、OverFeat检测框架 Sermanet P, Eigen D, Zhang X, et al. Overfeat: Integrated recognition, localization and detection using convolutional networks[J]. arXiv preprint arXiv:1312.6229, 2013. 8、CNN用于立体匹配 Zbontar J, LeCun Y. Computing the stereo matching cost with a convolutional neural network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1592-1599. 9、三巨头深度学习综述 LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436. 10、EBGAN Zhao J, Mathieu M, LeCun Y. Energy-based generative adversarial network[J]. arXiv preprint arXiv:1609.03126, 2016. Lecun总的论文引用量为100000+，近年来发表文章较少了。  所有的论文，在以下GitHub项目中可以获取，或者给公众号发送关键词消息“LeCun”，即可获得下载链接。 https://github.com/longpeng2008/Awesome_DNN_Researchers 3 代表性个人成就 2014年IEEE神经网络先驱奖 2015年IEEE PAMI杰出研究员奖 2016年墨西哥IPN荣誉博士学位 2018年被授予图灵奖 4 法国，一位AI大牛的诞生 58年前的7月8日，一位伟大的人工智能科学家横空出世，这个人就是本篇的主人公——Yann LeCun，一个我遇见过被音译成很多版本中文名的法国人，杨立昆，杨乐春，燕乐存，扬·勒丘恩等等。 从出生一直到博士毕业LeCun一直生活在浪漫之都巴黎。23岁的他获得了巴黎高等电子工程师学校的工程师学位，4年后又取得了巴黎第六大学的计算机科学博士学位。读博期间，他拜读了Hinton关于玻尔兹曼机的论文，并提出了神经网络的反向传播算法的原型。  1988年，他飘洋过海到多伦多大学投靠Hinton，并在其实验室做博士后，一直深受Hinton大师的影响。当时的深度神经网络学科是个大冷门，博士后期间LeCun一直在做共享权值网络的研究试验。未能早点进行卷积网络相关研究原因有两个：一是缺乏软件，二是没有足够的数据。就像是火箭发射，装备和火药都不完全具备。 每一位优秀的人工智能科学家都会深藏着一份执念，对于LeCun而言，他的执念起源于大二时无意间翻到的一本有关哲学的书，主题是一场围绕人类语言是先天还是后天的辩论。持有语言是后天练习观点的皮亚杰一直在研究感知器模型。当了解到这是一个能学习的机器，LeCun觉得太赞了，于是乎他疯狂地游窜于各个大学的图书馆，寻找一切关于感知器的内容。这个观点一直影响着他一步步的选择。  5 贝尔实验室，一场著名的学术赌注 LeCun学术生涯中有20多年的时间是在贝尔实验室度过的。 大名鼎鼎的贝尔实验室，坐落在美国新泽西州茉莉山，1925年由AT&T公司创立。建立之初，便致力于数学、物理学、材料学、计算机编程、电信技术等各方面的研究。上世纪70年代-90年代中期，贝尔实验室可谓是这个星球上最伟大的实验室，没有之一。 具体有多厉害呢？有一个段子是这么说的，当年给美国公司排名，AT&T第一，IBM第二，有一天AT&T被解体为七个公司，IBM终于排第八了。  在其过往的光辉岁月中，贝尔实验室共获得了30000多项专利，几乎每天一个，专利奖项拿到手软。像今天我们用到的晶体管 、太阳能电池、C语言，在课本上见到的克劳德·香农、威廉·肖克利、肯·汤普生，还有今天的主人公都来自于贝尔实验室。 当时的贝尔实验室之所以这么厉害，一方面不差钱，有美国政府爸爸拿钱撑腰，另一方面进入这里的都是真正做事，满脑子idea的人才，就像LeCun一样。 1988年，年仅27岁的LeCun走进了贝尔实验室，接触到了大量数据集和运行飞快的电脑，一个拥有5000个训练样本的USPS数据集——在当时算是数一数二的庞大数据集了。 在这个数据集的帮助下，次年LeCun便打造并训练了第一个版本的LeNet 1，在字母识别上取得了有史以来最高的准确率！ 1993年，LeCun在电脑上展示识别手写字，将CNN与BP反向传播结合阅读“手写”数字，结果优于以往任何模型，很快便应用到ATM识别读取支票上的数字，小有成就的是，上世纪90年代末期已经处理了美国10％-20％支票识别。  LeCun进入贝尔实验室的伯乐是Larry Jackel，一位人工智能祖师级人物，英伟达的机器学习顾问，Jackel也是Vladmir Vapnik的伯乐，Vapnik(万普尼克)与LeCun既是“战友”也是“冤家”。 贝尔实验室的自适应系统研究部Adaptive Systems Research Department，分别在1988年和1992先后开发了卷积神经网络和支持向量机，LeCun和Vapnik就是这两类团队的代表人。 虽然同为两位优秀学者的伯乐，Jackel还是心向LeCun的。1995年3月14日，有一个以一顿高级丰盛的晚餐为赌注的赌书诞生。具体打了什么赌呢？ 这场赌局分为两段，上半段，Jackel认为5年后（也就是2000年），人们可以在理论上明确解释人工神经网络的工作机理，会和SVM一样有很好的理论支撑。但Vapnik并不认可，赌局下半段是Vapnik认为到2005年，没人会使用他们在10年前就拥有的神经网络架构，然而每个人都会使用SVM。随即当下，口说无凭，立字为据，LeCun便是这场赌局的见证人。以下就是三人蛮正式的赌书。  时针秒针嘀嗒走过，2000年3月14日，Jackel输了比赛，其实到了2019年也没有真正找到人工神经网络的理论解释框架。 Vapnik这边呢，他猜对了开头，却没有预测对后面，时间推移到2005年，越来越多的人还在研究神经网络，而SVM已时过境迁，开始凉凉了。这场赌局最大的胜利者就是见证人LeCun，不过赌注的兑现是在2000年的暹罗花园餐厅，最后Jackel 和 Vapnik 平分了帐单。  为什么没有等到2005年？或许在赌局进行到一半时，大家彼此心照不宣，不失和气地默认中止。一场神经网络的著名打赌，表现出AI能成为主流技术是历经了多少年才被众人所接受及应用。 LeCun的学术命运与AT&T公司一起改变着。1996年，AT&T公司进行了一轮拆分，通信运营业务保留在新AT&T中，一部分贝尔实验室和AT&T的设备制造部门被剥离出来形成了朗讯科技，另一部分负责计算机业务的部门则组建了NCR公司。 LeCun在新AT&T实验室担任图像处理研究部门负责人，他的组员就包括AI界另一位大神Bengio，下一次我们就要介绍他。  然而不幸的是，卷积神经网络的专利却被律师团队最终决定分给了NCR公司。LeCun回忆到，“当时NCR手握卷积神经网络的专利，却没人知道卷积神经网络到底是什么”，而自己却因为身处另一家公司而无法继续进行相关研究。 无助。在此期间也正是神经网络所处的冰点期。2003年，LeCun为自己的重生打下了基础。那一年，他成为纽约大学教师，并与Hinton和Bengio结成非正式的联盟，共同重启对神经网络的研究。 LeCun说：“我们开始了我一直称之为‘深度学习阴谋集团’的合作。”  直到2012年Hinton的团队在ImageNet比赛中遥遥领先于其他对手，人们对卷积神经网络的兴趣飞速提升。那时，很多搞计算机视觉的人都不知道卷积神经网络。 6 跨界AI大神，可爱的一面 2013年，在Lecun 53岁的冬天带给扎克伯格一份暖阳，加盟Facebook组建FAIR并任职第一任主任。不久后，他把老同事Vapnik也挖过去了。  同时兼任纽约大学教授的LeCun，开始了他横跨工业界和学术界双重联盟的模式。LeCun一直保持研究员的状态，FAIR整体研究也会有学术的味道。几年的时间LeCun将FAIR逐步打造成一个全球最大的跨文化、多模态、结构化、有组织的人们互动的数据库，高度开源并发表所有的技术以供行业使用。 正如Lecun所说：如果把深度学习从Facebook去掉，Facebook就是尘埃。 FAIR专注于一个目标：创造跟人类具有同等智商的计算机。以下总结了几项目前的研究亮点： 1、通过半监督和无监督训练促进人工智能学习：哈希标签帮助计算机视觉系统识别图像中的特定的子类别和附加元素；在无监督数据上训练自动翻译NMT，使用多种方法来规避标记资源比较少的语言训练数据的相对稀缺性。 2、发布PyTorch并被AI社区广泛采用，并成长为GitHub增长速度第二快的开源项目。 3、构建造福所有人的AI系统：创建能生成照片音频描述的系统，造福于视障人士；使用文本分类技术来识别表达自杀想法言论的帖子；Rosetta每天从超过10亿个公共图像和视频帧中提取文本，理解文本；fastMRI项目改善影像诊断技术等。 4、AI三件套——Facebook的2.0版硬件梦：能够进行大规模神经网络计算的训练平台Zion；能够执行推理任务的AI服务器Kings Canyon；可以定制转码的Mount Shasta。 去年一月份LeCun卸任了FAIR的负责人一职，将作为首席AI科学家继续待在Facebook。 这些年LeCun一直扮演者人工智能科普大使的角色，他频频出现在全球高校，与中国的交流也颇为频繁，他参观过中科院模式识别国家重点实验室，在上海交大、清华大学、台大先后做过演讲。LeCun说“中国占全球五分之一人口，这里拥有非常多的人才，扎克伯格非常重视中国市场。” LeCun与条条框框的大部分普通法国人不同，为人十分随和，不过对一位神经科学家却有所不同。 自2017年起，LeCun与纽约大学的著名心理学、神经科学家Gary Marcus维持在推特上通过@进行”学术互掐“，两人一直乐此不疲。 每每Gary Marcus遇见和自己观点一致的文章，就会第一时间@LeCun让他表态，LeCun也见招拆招，乐此不疲，添加理论并回@Gary Marcus，两位活宝的隔空传书一直没有停下来。 7 LeCun经典语句 “我是钻到一群比我聪明的人里面去，所以在很多方面我都根本没觉得自己有什么天赋。” “如果我都不知道你为什么大笑，我们的生活将没有太多的共鸣。” “深度神经网络既漂亮，又光亮透明。” “数据对于把机器学习变成一门生意很重要。” ”智能＋常识＝感知＋预测模型＋记忆＋推理及计划“ 一位生于巴黎，成就在美国；呆过最牛的实验室，领导Facebook AI 研究院；一脚在工业界，一脚在学术界；坐过冷板凳，又化身AI大牛的亲切随行的LeCun，你喜欢么？ 直播预告 今日看图猜技术 有三AI生态 |
|
|
