|
What were the most significant machine learning/AI advances in 2018? Xavier Amatriain 如果我必须将2018年机器学习进展的主要亮点归纳在几个标题中，我可能会想到以下几点：
让我们了解一些细节： 如果2017年可能是煽动和炒作的尖点，2018年似乎是我们都开始冷静下来的一年。虽然一些人确实在继续宣扬他们制造 AI 恐慌信息，但他们最近可能比较忙，没有投入太多精力来做这种事。与此同时，媒体和其他人似乎已经平静地接受了这样的观点：尽管自动驾驶汽车和类似的技术正在以我们的方式出现，但它们不会在明天发生。尽管如此，仍然有一些声音在捍卫我们应该监管人工智能的坏想法，而不是把注意力集中在对其结果的监管上。 不过，很高兴看到，今年的重点似乎已经转移到可以解决的更具体的问题上。例如，有很多关于 Fairness 的讨论，不仅有几次关于这个主题的会议(见FATML或ACM FAT)，甚至还有谷歌的一些在线课程。 按照这些思路，今年讨论过的其他问题包括可解释性（interpretability）、解释（explanations）和因果关系（ causality）。从后者开始，因果关系似乎重新成为人们关注的焦点，这主要是因为 Judea Pearl’s “The Book of Why” 的出版。事实上，即使是大众媒体也认为这是对现有人工智能方法的“挑战” (例如，请参阅 article in The Atlantic [1] 这篇文章)。实际上，即使是在ACM Resys会议上获得的最佳论文，也是针对如何在嵌入中包含因果关系问题的论文(参见Causal Embeddings for Recommendations [2])。尽管如此，许多其他作者认为因果关系在某种程度上是一种理论上的干扰，我们应该再次关注更具体的问题，如可解释性。说到解释，这一领域的亮点之一可能是Anchor [3] 的论文和代码的发布，这是同一作者对著名的 LIME [4] 模型的后续研究。 Judea Pearl 的The Book of Why 是今年的畅销书，在亚马逊公共事务版块排第一位： 最新版《The Book of Why: The New Science of Cause and Effect》下载： 请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知），
尽管仍然存在关于深度学习作为最普遍的人工智能范式的问题(包括我在内)，但当我们继续浏览 Yann Lecun 和 Gary Marcus 之间关于这一问题的第9次讨论时，很明显，深度学习不仅存在于此，而且就其所能提供的内容而言，它仍远未达到一个平台。更具体地说，在这一年里，深度学习方法在从语言到医疗保健等与视觉不同的领域取得了前所未有的成功。 事实上，这可能是在NLP领域，我们看到了今年最有趣的进展。如果我不得不选择今年最令人印象深刻的人工智能应用程序，它们都将是NLP(而且都来自谷歌)。第一个是Google's super useful smart compose [5]，第二个是他们的 Duplex [6] 对话系统。 使用语言模型的想法加速了许多这些进步，从今年的 UMLFit [7] 开始流行起来，并且我们看到了其他 (以及改进) 的方法，如ELMO [8]，open AI transformers [9]，或最近的谷歌的 BERT [10]，它击败了许多 SOTA 的结果走出大门。这些模型被描述为“NLP的ImageNet时刻”，因为它们提供了现成的、经过预训练的通用模型，也可以为特定的任务进行微调。除了语言模型之外，还有许多其他有趣的进步，比如Facebooks multilingual embeddings [11]等等。值得注意的是，我们还看到了这些方法和其他方法被集成到更通用的NLP框架中的速度，例如Allennlp [12 ]或Zalando的FLAIR [13]。 说到框架，今年的“人工智能框架之战”已经升温。虽然在一些情况下使用 PyTorch 的情况仍然不太理想，但似乎 PyTorch 比 TensorFlow 在可用性、文档和教育方面的追赶速度更快。有趣的是，选择 PyTorch 作为实现Fast.ai的框架可能起到了很大的作用。尽管如此，谷歌已经意识到了这一切，并正朝着正确的方向努力，将Keras作为 '头等舱公民' 纳入框架。最后，我们都受益于所有这些巨大的资源，所以欢迎他们的到来！ 有趣的是，我们看到了许多有趣的发展的另一个领域是强化学习。虽然我不认为RL的研究进展像前几年那样令人印象深刻 (只想到了DeepMind最近的Impala [14])，但令人惊讶的是，在一年中，我们看到所有主要人工智能玩家都发布了一个RL框架。 谷歌发布了 Dopamine framework [15] 研究框架，而 DeepMind (也在谷歌内部) 发布了有点竞争的 TRFL [16] 框架。当微软发布 Textworld [17]时，Facebook不能落后，发布了 Horizon [18]，后者更适合训练基于文本的agents。希望所有这些开放源码的优点都能帮助我们在2019年看到更多的RL进展。 为了完成框架前面的工作，我很高兴看到Google最近在 TensorFlow 之上发布了TFRank [19]。排名ranking 是一个非常重要的ML应用，它最近得到的爱可能比它应得的少…… 看起来深度学习最终消除了对数据进行智能化的需求，但这远非如此。 该领域仍然有很多有趣的进展，围绕着改进数据的想法。例如，虽然数据增强已经存在了一段时间，对于许多DL应用程序来说也是非常关键，但今年谷歌发布了 auto-augment [20]，这是一种深度强化学习的方法，可以自动增强训练数据。一个更极端的想法是用合成数据来训练DL模型。这已经在实践中尝试了一段时间，被许多人认为是未来人工智能的关键。NVIDIA在他们的论文 Training Deep Learning with Synthetic Data [21]中提出了有趣的新想法。在我们的 Learning from the Experts [22]中，我们还展示了如何使用专家系统生成综合数据，即使与现实世界的数据相结合，这些数据也可以用来训练DL系统。最后，另一个有趣的方法是通过使用“弱监督”来减少大量手工标注数据的需求。Snorkel [23]}是一个非常有趣的项目，旨在通过提供一个通用框架来促进这种方法。 至于人工智能的更多基础性突破，可能是我关注的重点，但我没有见过很多。 我并不完全赞同Hinton，因为他说这种缺乏创新是由于该领域有“少数资深人士和无数年轻人”，虽然在科学上确实有一种趋势，那就是在晚年进行突破性的研究。在我看来，目前缺乏突破的主要原因是，现有方法和变体仍然有许多有趣的实际应用，因此很难在可能不太实际的方法中冒险。当这个领域的大部分研究都是由大公司赞助的时候，这就更有意义了。无论如何，一篇挑战某些假设的有趣论文是“An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling” [24]。虽然它是高度经验性的，并且使用了已知的方法，但它为发现新的方法打开了大门，因为它证明了通常被认为是最优的方法实际上并不是最优的。另一篇高度探索性的论文是最近获得N额URIPS 最佳论文奖的“Neural Ordinary Differential Equations” [25]，它对DL中的一些基本内容提出了挑战，包括layer本身的概念。 Viral Shah 2017年，在Julia [1] 社区，我们对机器学习/人工智能进行了调查，并撰写了一篇关于机器学习和编程语言的博客文章。我们在文章中得出结论：
我们在一篇博客文章中阐述了我们的进展：为机器学习建立了一种语言和编译器 [2]。 Renato Azevedo Sant Anna
我想说的是，谷歌的DeepMind AlphaZero 在短短几天内就有了很强的学习棋盘游戏的能力，GANs具有生成假人脸图像的能力，更多地利用迁移学习来提高深度学习算法的速度，而不是原始主流使用的强化学习。 参考链接： [1] https://www./technology/archive/2018/05/machine-learning-is-stuck-on-asking-why/560675/?single_page=true [2] https://recsys./recsys18/session-2/ [3] https://github.com/marcotcr/anchor [4] https://homes.cs./~marcotcr/blog/lime/ [5] https://ai./2018/05/smart-compose-using-neural-networks-to.html?m=1 [6] https://ai./2018/05/duplex-ai-system-for-natural-conversation.html [7] http://nlp./classification/2018/05/15/introducting-ulmfit.html [8] https:///abs/1802.05365 [9] https://blog./language-unsupervised/ [10] https://github.com/google-research/bert [11] https://code./ml-applications/under-the-hood-multilingual-embeddings/ [12] https://github.com/allenai/allennlp/releases/tag/v0.7.2 [13] https://github.com/zalandoresearch/flair [14] https:///pdf/1802.01561.pdf [15] https://blog./2018/08/22/snorkel-rapid-training-data-creation-with-weak-supervision/amp/?__twitter_impression=true [16] https:///blog/trfl/ [17] https://www.microsoft.com/en-us/research/blog/textworld-a-learning-environment-for-training-reinforcement-learning-agents-inspired-by-text-based-games/?OCID=msr_blog_textworld_icml_tw [18] https://research./publications/horizon-facebooks-open-source-applied-reinforcement-learning-platform/ [19] https://ai./2018/12/tf-ranking-scalable-tensorflow-library.html [20] https://ai./2018/06/improving-deep-learning-performance.html?m=1 [21] https:///abs/1804.06516 [22] https:///abs/1804.08033 [23] https://blog./2018/08/22/snorkel-rapid-training-data-creation-with-weak-supervision/amp/?__twitter_impression=true [24] https:///pdf/1803.01271.pdf [25] https:///abs/1806.07366 [26] https:/// [27] https:///blog/2018/12/ml-language-compiler 原文链接： https://www./What-were-the-most-significant-machine-learning-AI-advances-in-2018 |
|
|
来自： LibraryPKU > 《机器学习》
