|
2012年，一篇名为ImageNet Classification with Deep Convolutional Neural Networks的论文引爆了人工智能（AI）领域，整个研究界都惊叹深度学习的巨大飞跃。 也是那年，对于那些认为深度学习已经碰壁的人，“深度学习教父”杰弗里·辛顿（Geoffrey Hinton）反驳道：“我们将看到机器人技术的巨大进步——灵巧、敏捷、更顺从的机器人可以像我们一样更高效、更温和地做事。” 从那之后，人工智能行业飞速发展，人工智能已经渗透到我们生活和生产的方方面面。 吴恩达（Andrew Ng）认为：“人工智能将成为新的电力，并将在未来几年影响每个人的生活。” 这在一定程度上说明，把握AI在一定程度上就是把握未来。 吴军博士在被人问及预测未来的时候回答： “ 我们所能做的，就是了解过去和现在，熟悉科技产业的发展规律，培养正确的做事方法，适应未来的变化和挑战。” 今天小编就和大家一起回顾过去十年AI是如何发展、如何改变我们的生活和世界的，希望大家可以从中获得些许感悟，以帮助我们更好地把握当下，抓住未来机遇。 首先，让我们一起回到2012年。 AI十年，2012-2022 在李飞飞教授发起ImageNet竞赛的第三年，杰弗里·辛顿带着他的两个博士生，亚历克斯·克里热夫斯基（Alex Krizhevsky）和伊利亚·苏茨克维尔（Ilya Sutskever）参加了竞赛。 AlexNet力压群雄他们带来的开创性神经网络AlexNet，以比亚军低了10.8%的错误率一举夺得当年冠军。AlexNet论文后来被认为是计算机视觉领域发表的最具影响力的论文之一，催生了更多使用CNN和GPU来加速深度学习的论文。  ▲ LeNet和AlexNet卷积层、池化层和密集层的比较 （来源：AlexNet） 根据谷歌学术数据，截至目前（2022年12月）该论文已经被引用超过12万次。今年，它也获得了NeurIPS 2022时间检验奖（Test of Time Award），以表彰它在十年间做出的重大贡献。  ▲ AlexNet论文的引用数据（来源：谷歌学术） AlexNet的出现，标志着深度学习开始改变整个AI领域。 与此同时，谷歌X实验室研究员构建了一个由16000颗处理器组成的神经网络，它具有10亿个连接，并在训练后可以准确地识别网络视频中的猫；谷歌大脑也在大规模图像识别方面取得了突破性进展；在2012年IEEE计算机视觉和模式识别会议（CVPR）上，关于卷积神经网络在多个图像数据库上的性能报告也让人颇为振奋。 总之，到了2013年的时候，如杰弗里·辛顿所说：几乎所有的计算机视觉研究都转向了神经网络。自然语言处理、文本生成、文本翻译和图像合成等方面诸多阻碍都被深度学习清扫干净了。 生成对抗网络横空出世2014年，由伊恩·古德费洛（Ian Goodfellow）发明的生成对抗网络（Generative adversarial network，GAN）横空出世。它令人惊叹的视觉效果和训练稳定性提升迅速引起了业内关注，并且被成功应用到图像生成、照片修复、迁移学习、医疗等重要领域。  ▲ GAN图像（来源：GAN论文） 神经机器翻译与“注意力”也是在那一年，伊恩·古德费洛的博士导师约书亚·本吉奥（Yoshua Bengio）发表的通过联合学习对齐和翻译进行神经机器翻译的论文颠覆了传统的机器翻译，并提出了重要的概念“注意力”（attention）。 神经机器翻译不仅成为翻译和语言建模等文本任务不可或缺的一部分，同时也与GAN模型相互影响。  ▲ 注意力的可视化（来源：神经机器翻译论文） 当年还发生过一件震动AI行业的事情：谷歌收购DeepMind。此次收购对谷歌有着里程碑式的意义，对谷歌在AI领域的崛起意义重大。 TensorFlow开源在2015年，它开源了日后成为机器学习明星框架的TensorFlow。 该框架由杰弗里·辛顿和杰夫·迪恩（Jeff Dean）领导团队在谷歌大脑专用机器学习系统DistBelief上重构而成，被谷歌50多个团队用于研究与生产。 黑马OpenAI2015年年底，OpenAI成立，并在后来逐渐成长为与谷歌抗衡的AI巨头公司。 AlphaGo轰动世界2016年，谷歌更是放大招。DeepMind出品的AlphaGo击败了当时的围棋冠军李世石，这是计算机围棋程序首次无让分击败人类围棋职业九段棋手。 AlphaGo使用蒙特卡罗树搜索算法，先通过机器学习获得知识，再大量训练从人类和计算机游戏中获得的知识来找到它自己的下棋方法。 AlphaGo成长迅速，在2017年就击败了当时世界排名第一的棋手柯洁。  ▲ 2016年，AlphaGo击败李世石（来源：AlphaGo） PyTorch开源2016年10月，另一AI巨头Facebook（2021年更名为Meta）开源了自己的机器学习框架PyTorch，广泛应用于计算机视觉和自然语言处理等应用。 PyTorch在很大程度上与TensorFlow是竞争关系，并且在后面几年中赶超TensorFlow成为更受欢迎的框架。 在当下流行的机器学习构建工具Hugging Face支持的100000多个模型中，有58907个是PyTorch模型，而TensorFlow模型只有4123个。   ▲ 主流机器学习工具Hugging Face中PyTorch模型和TensorFlow模型数量对比（来源：Hugging Face） Transformer击败RNN2017年，谷歌大脑继续发力，推出新的深度学习模型Transformer。因为它在架构上大规模使用注意力机制，几乎成为NLP问题的首选模型。 Transformer也凭借着在超大型网络中的计算优势，以超高的并行化减少了大量训练时间，击败了老牌的循环神经网络(RNN)。  ▲ Transformer架构（来源：谷歌） AI也能自创语言？同一年Facebook地AI实验室还爆出过一个“事故”——训练出来的两个对话机器人，在交谈时偏离了英语的使用并创建了自己的语言。该项目后来被关闭，整个事件当时在网络上引起了热烈的讨论。  ▲ 媒体在报道此次事件的时候，用了“毛骨悚然（Creepy）”来形容 BERT引发Transformer模型爆炸增长2018年，谷歌在Transformer的基础上推出了BERT模型。这是一种双向上下文的文本嵌入模型，用于语言理解的深度双向变换的预训练。  ▲ BERT和OpenAI的GPT以及ELMo的对比（来源：谷歌） BERT一经发布，其他基于Transformer的语言模型立马呈爆炸式地增长，人机对话、问答等领域每时每刻都在发生变化。 火极一时的AI换脸同一年流行的DeepFakes想必大家依然印象深刻，使用这种技术制作的虚假视频在网络上火得一塌糊涂，常人很难以视频内容辨别其真假。而它背后的技术正是基于深度学习和训练生成神经网络（例如自动编码器和GAN）架构。 之后AI技术几乎渗透到了生活中的每一处，在医疗领域也取得了惊人的发展。 AI在医疗、游戏领域击败人类2019年，谷歌DeepMind算法支持的AI从X射线图像中发现乳腺癌的整体表现比人类医生要好，正确诊断率更高。研究人员称，该技术有望帮助临床医生更准确地发现乳腺癌，缓解因放射科医生短缺带来的医疗压力。 同时AI在游戏领域也表现优异，比如DeepMind的AlphaStar在《星际争霸2》中达到宗师级别，超过99.8%的人类玩家；OpenAI训练的AI在旧金山的一场现场比赛中击败了《刀塔2》当时的世界冠军队伍OG战队。  ▲ 人类和AI视角下的游戏（来源：OpenAI） 近几年AI发展似乎更务实。 DeepSpeed让内存再度解放2020年微软推出的DeepSpeed是PyTorch的开源深度学习优化库，致力于减少内存使用并在现有计算机硬件上训练具有更好并行性的大型分布式模型。 ▲ DeepSpeed 数据效率框架的设计（来源：微软） 依托于DeepSpeed，微软推出了图灵自然语言生成（Turing-NLG）模型，拥有170亿参数，在许多下游NLP任务上的表现优于当时其他技术，包括BERT和GPT-2。 OpenAI的GPT模型火爆全网但在几个月后，OpenAI就发布了先进的自回归语言模型GPT-3。使用该模型生成的计算机代码、诗歌、小说和其他文本几乎与人类编写的没有区别，并且其参数量是Turing-NLG的10倍。 而OpenAI在2022年11月推出并火爆全网的问答交互机器人ChatGPT，相信大家都见识过了它的强大。它就是建立在GPT-3.5之上，并且通过监督学习和强化学习技术进行了微调。 ▲ ChatGPT的训练方法（来源：OpenAI） 生物领域AI表现依然优异2020年底，DeepMind的AI系统AlphaFold2在第14届国际蛋白质结构预测竞赛(CASP)中取得冠军，准确度远高于其他组。 诺贝尔奖获得者、英国皇家学会主席文基·拉玛克里希南（Venki Ramakrishnan）教授评价说：这项计算工作代表了蛋白质折叠问题的惊人进步，这是生物学领域50年来的一项重大挑战。 ▲ AlphaFold2在CASP中的准确度表现（来源：谷歌） 多模型与多参数成为AI新方向在2021年中，虽然以GPT-3为代表的单独针对文本及图像等任务的深度学习模型备受瞩目，但AI模型在发现文本与图像间关系中取得了进步。 比如到现在依然火热的AI绘画，就是CLIP（contrastive language-image pre-training）与GAN相结合的成果；Facebook的多模式仇恨言论检测器能够根据文本、图像及视频等10种数据类型将模因（恶意图文）与其他图像–文本对准确划分为“良性”或“有害”。 同时模型也变得越来越大。谷歌的Switch Transformer将参数推上了一个可怕的高度，该模型拥有1.6万亿个参数；而后我国研究团队也开始发力，北京智源人工智能研究院的“悟道2.0”模型包含1.75万亿个参数。 我国AI研究逐渐走向世界舞台值得注意的是，数据显示，2020年我国在世界范围内的AI期刊论文引用次数首次超过了美国，而在之前几年，美国的AI会议论文引用次数一直（且明显）高于我国。 我们在全球AI发展中贡献了举足轻重的力量。 迎接AI未来 十年走来，AI几乎在我们生产和生活的所有领域都发挥了作用。以当下的趋势来看，未来它的作用只会更大。 当然，这次十年回顾只是一次简单的介绍，对于技术和发明这些技术的人都只是浅浅地提及。但通过这次回顾，我们能够感受和体会到AI的复杂与变化，也能预见到它在当下和未来对技术人员发出的挑战并不简单。 面对挑战，勇往直前吧！ 当然，有称手的武器是最好不过的了。而小编推荐的这本AI领域“大百科书”，《人工智能：现代方法（第4版）》。 作为AI领域的经典之作，为了适应AI领域的新变化，本书这次升级几乎重写了所有内容，并且新增了四分之一的新章节知识。 其中对近十年AI领域的新成果和进展有更丰富的介绍，特别是深度学习方面的关键技术成果。具体新增和修订内容如下： ●更关注机器学习而不是人工设计的知识工程; ●增加了深度学习、概率编程和多智能体系统; ●修订了自然语言理解、机器人学和计算机视觉; ●机器人学新增人类互动的机器人以及强化学习; ●增加了人工智能对社会影响的相关内容,包括道德、公平、信任和安全等重要问题。 作者斯图尔特·罗素（Stuart Russell）和彼得.诺维格（Peter Norvig）都是世界著名的计算机科学家，这本书融合了他们对于AI的系统性观点，凝练了他们在过去几十年AI研究与教学积累下来的宝贵经验，有助于我们充分、深刻地认识AI。 此次更新，更是融入了他们近十年来对AI的重新思考，可以帮助我们更轻松、有效地理解时下流行的AI技术与思想，从而更好地融入AI行业。 本书不仅是新手入门AI的理想教材，也是AI从业者可常备案头的参考书。其丰富的内容既能在学习时拓展和加深我们对AI的认知，也能对AI相关的工作进行指导。 同时，本书口碑上佳，不仅有国内外的无数专家学者倾力推荐，也在各读者榜单中获得优异成绩。 ▲ 本书豆瓣读者评分高达9.7 ▲ 本书入选知名图书榜单 经典升级，口碑依旧，相信它可以作为你畅游AI世界的称手武器。 参与AI下一个十年 “种一棵树最好的时机，一个是十年前，一个是当下。” AI的上一个十年已经过去，下一个十年相信你必定会参与。在以人为本的AI领域中，千千万万个技术人员发挥着自己的智慧与勇气，推动着AI的前进与发展。 小编相信，只要你想，你也会成为影响AI发展中不可忽视的一分子。 如果入门深度学习，可以考虑人工智能领域爆火的《图解深度学习：可视化、交互式的人工智能指南》。 ▲ “最好看”的深度学习图书 本书和经典名著“AI大百科全书”《人工智能：现代方法 （第4版）》是同一系列，都对内容广度和深度做了很好的平衡，分别关注深度学习和人工智能这两个庞大的主题。 可以说本书是《人工智能：现代方法（第4版）》深度学习主题的深入探索与扩展，两者搭配阅读效果更好。 这本书以其对深度学习背后主流技术的讲解，及精美的插图和有趣的类比，俘获了一众读者的心，在全球各地均斩获高分评价。 文章编辑：沙鱼 审校：桐希、单瑞婷 参考引用： 1.The Decade of Deep Learning 2.Decade Of Artificial Intelligence: A Summary 3.A decade in deep learning, and what's next 4.Web Semantics: Microsoft Project Turing introduces Turing Natural Language Generation (T-NLG) 5.ChatGPT: Optimizing Language Models for Dialogue 6.AlphaFold: a solution to a 50-year-old grand challenge in biology 7.2021年人工智能指数报告 8.2021 in the Rear-View Monitor 9.Hugging Face Models |
|
|
