句子互动情报站 AI 最前沿 o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要

广告位
以下文章来源于量子位 | 公众号 QbitAI

“o1发布后,一个新的范式产生了”。

其中关键,OpenAI研究科学家、o1核心贡献者Hyung Won Chung,刚刚就此分享了他在MIT的一次演讲。

演讲主题为“Don’t teach. Incentivize(不要教,要激励),核心观点是:

激励AI自我学习比试图教会AI每一项具体任务更重要

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第1张

思维链作者Jason Wei迅速赶来打call:

Hyung Won识别新范式并完全放弃任何沉没成本的能力给我留下了深刻的印象。
2022年底,他意识到了强化学习的力量,并从那时起就一直在宣扬它。

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第2张

在演讲中,Hyung Won还分享了:

  • 技术人员过于关注问题解决本身,但更重要的是发现重大问题;

  • 硬件进步呈指数级增长,软件和算法需要跟上;

  • 当前存在一个误区,即人们正在试图让AI学会像人类一样思考;

  • “仅仅扩展规模” 往往在长期内更有效;

  • ……

下面奉上演讲主要内容。

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第3张

对待AI:授人以鱼不如授人以渔

-www.juzibot.com-

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第4张

先简单介绍下Hyung Won Chung,从公布的o1背后人员名单来看,他属于推理研究的基础贡献者。

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第5张

资料显示,他是MIT博士(方向为可再生能源和能源系统),去年2月加入OpenAI担任研究科学家。

加入OpenAI之前,他在Google BrAIn负责大语言模型的预训练、指令微调、推理、多语言、训练基础设施等。

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第6张

在谷歌工作期间,曾以一作身份,发表了关于模型微调的论文。(思维链作者Jason Wei同为一作)

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第7张

回到正题。在MIT的演讲中,他首先提到:

通往AGI唯一可行的方法是激励模型,使通用技能出现。

在他看来,AI领域正处于一次范式转变,即从传统的直接教授技能转向激励模型自我学习和发展通用技能。

理由也很直观,AGI所包含的技能太多了,无法一一学习。(主打以不变应万变)

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第8张

具体咋激励呢??

他以下一个token预测为例,说明了这种弱激励结构如何通过大规模多任务学习,鼓励模型学习解决数万亿个任务的通用技能,而不是单独解决每个任务。

他观察到:

如果尝试以尽可能少的努力解决数十个任务,那么单独模式识别每个任务可能是最简单的;
如果尝试解决数万亿个任务,通过学习通用技能(例如语言、推理等)可能会更容易解决它们。

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第9张

对此他打了个比方,“授人以鱼不如授人以渔”,用一种基于激励的方法来解决任务。

Teach him the taste of fish and make him hungry.(教AI尝尝鱼的味道,让他饿一下)

然后AI就会自己出去钓鱼,在此过程中,AI将学习其他技能,例如耐心、学习阅读天气、了解鱼等。

其中一些技能是通用的,可以应用于其他任务。

面对这一“循循善诱”的过程,也许有人认为还不如直接教来得快。

但在Hyung Won看来:

对于人类来说确实如此,但是对于机器来说,我们可以提供更多的计算来缩短时间。

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第10张

换句话说,面对有限的时间,人类也许还要在专家 or 通才之间做选择,但对于机器来说,算力就能出奇迹。

他又举例说明,《龙珠》里有一个设定:在特殊训练场所,角色能在外界感觉只是一天的时间内获得一年的修炼效果。

对于机器来说,这个感知差值要高得多。
因此,具有更多计算能力的强大通才通常比专家更擅长特殊领域。

原因也众所周知,大型通用模型能够通过大规模的训练和学习,快速适应和掌握新的任务和领域,而不需要从头开始训练。

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第11张

他还补充道,数据显示计算能力大约每5年提高10倍。

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第12张

总结下来,Hyung Won认为核心在于:

  • 模型的可扩展性

  • 算力对加速模型进化至关重要

此外,他还认为当前存在一个误区,即人们正在试图让AI学会像人类一样思考

但问题是,我们并不知道自己在神经元层面是如何思考的。

机器应该有更多的自主性来选择如何学习,而不是被限制在人类理解的数学语言和结构中。

在他看来,一个系统或算法过于依赖人为设定的规则和结构,那么它可能难以适应新的、未预见的情况或数据。

造成的结果就是,面对更大规模或更复杂的问题时,其扩展能力将会受限。

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第13张

回顾AI过去70年的发展,他总结道:

AI的进步与减少人为结构、增加数据和计算能力息息相关。

与此同时,面对当前人们对scaling Law的质疑,即认为仅仅扩大计算规模可能被认为不够科学或有趣。

Hyung Won的看法是:

在扩展一个系统或模型的过程中,我们需要找出那些阻碍扩展的假设或限制条件。

举个例子,在机器学习中,一个模型可能在小数据集上表现良好,但是当数据量增加时,模型的性能可能会下降,或者训练时间会变得不可接受。

这时,可能需要改进算法,优化数据处理流程,或者改变模型结构,以适应更大的数据量和更复杂的任务。

也就是说,一旦识别出瓶颈,就需要通过创新和改进来替换这些假设,以便模型或系统能够在更大的规模上有效运行。

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第14张

训练VS推理:效果相似,推理成本却便宜1000亿倍

-www.juzibot.com-

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第15张

除了上述,o1另一核心作者Noam Brown也分享了一个观点:

训练和推理对模型性能提升作用相似,但后者成本更低,便宜1000亿倍。

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第16张

这意味着,在模型开发过程中,训练阶段的资源消耗非常巨大,而实际使用模型进行推理时的成本则相对较低。

有人认为这凸显了未来模型优化的潜力。

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第17张

不过也有人对此持怀疑态度,认为二者压根没法拿来对比。

这是一个奇怪的比较。一个是边际成本,另一个是固定成本。这就像说实体店比其中出售的商品贵500000倍

o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第18张

对此,你怎么看?

Hyung Won Chung演讲PPT:
https://docs.google.com/presentation/d/1nnjXIuN2XDJENAOaKXI5srQscO3276svvP6JgivTv6w/edit#slide=id.g2d1161c9c52_0_20


句子互动,RPA +AI,打造大模型驱动的领先数字员工,释放万倍生产力,定义未来工作方式。
为加速 AI 应用落地,句子互动根据独创的 Agent 八大生命周期作为理论依据,通过「RPA-运营服务一体化平台」和「AI-Agent工作流引擎」两款产品,将模型池、数据、业务流程以及外部工具打通,助力企业数智化转型。
已为国家电网、中国人保、海底捞、宝洁、字节跳动、腾讯等国内外优秀企业打造高效能数字员工,通过 RPA + AI 重塑业务工作流,助力商业组织成功。
o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第19张
邀请大家加入句子AI前沿观察社
让我们一起在AI的世界中
借助技术的力量实现业务收入的持续增长
扫描下方图片二维码快速进群
o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第20张
o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第21张
o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第22张
o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第23张
o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第24张
o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第25张
o1核心作者MIT演讲:激励AI自我学习,比试图教会AI每一项任务更重要 第26张

广告位
特别申明:本站的主旨在于收集互联网运营相关的干货知识,给运营小伙伴提供便利。网站所收集到的公开内容均来自于互联网或用户投稿,并不代表本站认同其观点,也不对网站内容的真实性负责,如有侵权,请联系删除。https://juzibot.com/blog/15330/
下一篇
联系我们

联系我们

邮箱: sales@juzi.bot

工作时间:周一至周五,9:30-18:30
关注微信
微信扫一扫关注我们

微信扫一扫关注我们

返回顶部