 本文整理自OpenAI首席科学家Ilya Sutskever的一次的访谈。Ilya与我们深入探讨了当前通用语言模型技术如何向更高智能迈进,以及Token预测这一核心方法如何成为AGI的基石。 Token预测:连接语言、思维和世界Token预测看似简单的一个统计学技巧,但Ilya强调,其中蕴含了巨大的潜力:
要预测语言,模型需要建立符号与思维、思维与世界之间的联系。这也意味着,一个足够强大的语言模型,可以模拟出超越现实的假想情况:
换言之,Token预测技术提供了通向更高层次智能的桥梁。  超越人类 纯预测是否够用?这听上去令人振奋,但也有专家质疑,单纯的预测性学习无法产生超人类智能。对此,Ilya反问:
结合之前的分析,Ilya的逻辑在此显得异常清晰:
 这种跨层级的推理虽然充满不确定,但Ilya坚信 Token预测技术应该能够到达这样的高度。 当然,我们也需要引入其他机制。比如强化学习中的人机交互:
可见从纯预测到AGI,我们需要更多增强。但作为基石,Token预测可以发挥不可或缺的作用。 通向AGI的技术进化之路那么我们还缺少什么?Ilya谈到了几个关键点: 理解能力。我们需要更深入地理解训练过程中发生的事情,而不是简单提出新想法:
实验迭代。没有捷径可言,需要大量试错:
可靠性。最终我们需要信任模型的输出。这关乎整个系统的成熟度:
控制能力。同时,我们还需要指导和控制模型的行为:
可见,Token预测只是通向AGI的第一步。在Ilya看来,理解、试错、可靠性和控制,这些才是关键。 最后,他谦虚而又充满信心地总结道:
 Token预测的深层内涵当前的语言模型都是基于next token prediction,也就是预测句子的下一个词的任务进行训练的。Ilya认为这看似简单的一个任务背后蕴含了深层的智能:
如果模型可以从有限的数据中推断出这些深层规则,那么它就可以模拟出一个更加智能的假想角色。 从数据中推理更高的智能当被问到单纯的语言预测如何超越人类时,Ilya举了一个例子:
尽管真实世界中没有这样完美的角色,但是模型可以从有限的不完美数据中推导出一个更高层次的可能。  思维金字塔 多步推理仍需提高当被问及这些模型在多步推理上仍存在的不足时,Ilya提出这需要通过专项训练来改善:
随着模型能力的提升,多步推理也将得到改善。 预计路线总的来说,Ilya预计token预测这种方法可以走得很远,甚至有可能一直突破到AGI:
尽管最终也许需要与其他想法结合,但token预测提供了一个可行的路径。 所以,从当前的语言模型到未来的AGI,仍有一些问题有待解决,比如提高多步推理能力,但是token预测作为一种方法为我们提供了一条可行的道路。Ilya对此保持着乐观态度,我们拭目以待他是否可以如愿以偿! 最后我们一起听听Ilya的这次访谈吧! 从Token预测到AGI:OpenAI首席科学家揭秘AGI的进化之路 拉到文末观看 |
|
|
来自： mrjiangkai > 《我的图书馆》
