Andrej Karpathy最新内部Agent观点分享直接指出了当前AI领域最大的一个失误:人们正在强迫Agent去工作,完全忽略了应该先彻底掌握底层大模型。AK说了一个反常识的结论:目前站在Agent最前沿的不是大厂而是独立开发者和创业者。视频我附在文后了
早在2016年,OpenAI就踩过这个坑,并为此付出了整整五年的时间代价。
Karpathy想要传达的核心逻辑:第一步要立刻停止让智能体包揽一切的幻想,先去搞懂底层的模型。第二步要认清行业现实,做演示极其简单,做产品却需要十年。自动驾驶已经印证了这一点,如果跳过地基阶段,所有构建出来的东西都会瞬间崩塌。第三步要明白,智能体本身根本算不上产品,基础大模型才是真正的核心。只要把基础打好,智能体自然会涌现出来。
回顾2016年在OpenAI的经历,Karpathy和Tim Shi以及Jim Fan共同参与了一个名为世界比特的项目。他们当时的初衷是让强化学习智能体摆脱打游戏这类测试,不再去玩蒙特祖玛的复仇,转而尝试去使用电脑、键盘和鼠标。
他们希望智能体能执行一些真正有用的日常任务,比如在极其简单的网页上订机票或者点外卖。当时他们让AI疯狂点击鼠标和键盘按钮,试图撞大运般地闯入一个更高级的智能世界。结果显而易见,这个项目彻底失败了。
当时的技术根本不具备条件,团队手里唯一的锤子只有强化学习。那个时间点最正确的做法应该是彻底忘掉AI智能体,把全部精力集中在构建语言模型上。
时间来到五年后,Karpathy在短暂涉足自动驾驶领域后发现,AI智能体再次成为行业绝对的热门,整个工具链却已经发生了翻天覆地的变化。今天大家解决这些问题的方法完全重构了,开发智能体的人大概率根本不需要用到任何强化学习技术。这种演变方式超出了当时所有人的预料。
现在所有人都在狂热追捧智能体,因为大家很容易联想到,通用人工智能最终一定会以某种AI智能体的形式呈现。未来大概率会出现成群的智能体,甚至形成数字实体的庞大组织或文明。这听起来确实令人振奋。
面对这种狂热,Karpathy选择浇一盆冷水。有一大类问题很容易发挥想象力,也很容易做出酷炫的演示,要把它们变成真正的产品却异常困难。
自动驾驶就是一个极其典型的例子。想象一辆车绕着街区自动行驶并做出演示非常容易,将其打造成真正落地的产品需要耗费十年。VR领域同样如此。智能体也完美符合这个特征,想象和做演示都很简单,真正要让它发挥作用,开发者必须做好死磕十年的准备。
为了寻找新思路,Karpathy建议大家重新从神经科学中汲取灵感。深度学习早期正是这样做的,现在开发智能体完全可以再次借鉴大脑的运作模式。
一个完整的数字实体需要拥有人类具备的所有认知工具。除了作为解决方案一部分的语言模型,还需要一个内部助手来提前规划和反思行为。
大脑结构提供了完美的参考蓝图。海马体在AI智能体中的等价物就是记录记忆痕迹,利用向量嵌入技术进行索引并实现检索。数字实体的视觉和听觉皮层我们大概知道怎么构建,丘脑的作用同样值得深思。丘脑负责整合所有信息,可以说是意识的所在地。当多个数字实体争夺控制权和麦克风来决定下一步行动时,丘脑就负责处理这种复杂的冲突。Karpathy还特别推荐了David Eagleman的《大脑与行为》一书,认为神经科学里蕴含着设计数字个体的绝佳灵感。
最后,Karpathy分享了一个极具颠覆性的行业现状。
当前站在AI智能体能力最前沿的人,毫无疑问是现在正在动手构建智能体的独立开发者和创业者。OpenAI或DeepMind这类大型语言模型实验室,目前在智能体赛道上并没有站在最前沿。
OpenAI非常擅长训练庞大的Transformer语言模型。如果现在有一篇提出全新Transformer训练方法的论文发表,OpenAI内部大概率在两年半前就已经尝试过,并且清楚地知道成功或失败的根本原因。大厂在这个领域拥有绝对的技术壁垒。
当一篇关于新型智能体的论文发表时情况完全不同。大厂的团队同样会觉得眼前一亮,因为他们并没有在这个特定分支上秘密研发五年。这意味着巨头们在这个赛道上必须和所有的基层创业者以及黑客同台竞技。
对于现在正在开发智能体的普通开发者来说,你们正处于这项变革性技术的最前沿。
本文来源:AI寒武纪
风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
482.07万 热度
107.49万 热度
23.5万 热度
1.52亿 热度
141.47万 热度
Karpathy最新Agent观点:大厂并没有掌握智能体核心技术,个人开发者正称霸前沿
Andrej Karpathy最新内部Agent观点分享直接指出了当前AI领域最大的一个失误:人们正在强迫Agent去工作,完全忽略了应该先彻底掌握底层大模型。AK说了一个反常识的结论:目前站在Agent最前沿的不是大厂而是独立开发者和创业者。视频我附在文后了
早在2016年,OpenAI就踩过这个坑,并为此付出了整整五年的时间代价。
Karpathy想要传达的核心逻辑:第一步要立刻停止让智能体包揽一切的幻想,先去搞懂底层的模型。第二步要认清行业现实,做演示极其简单,做产品却需要十年。自动驾驶已经印证了这一点,如果跳过地基阶段,所有构建出来的东西都会瞬间崩塌。第三步要明白,智能体本身根本算不上产品,基础大模型才是真正的核心。只要把基础打好,智能体自然会涌现出来。
回顾2016年在OpenAI的经历,Karpathy和Tim Shi以及Jim Fan共同参与了一个名为世界比特的项目。他们当时的初衷是让强化学习智能体摆脱打游戏这类测试,不再去玩蒙特祖玛的复仇,转而尝试去使用电脑、键盘和鼠标。
他们希望智能体能执行一些真正有用的日常任务,比如在极其简单的网页上订机票或者点外卖。当时他们让AI疯狂点击鼠标和键盘按钮,试图撞大运般地闯入一个更高级的智能世界。结果显而易见,这个项目彻底失败了。
当时的技术根本不具备条件,团队手里唯一的锤子只有强化学习。那个时间点最正确的做法应该是彻底忘掉AI智能体,把全部精力集中在构建语言模型上。
时间来到五年后,Karpathy在短暂涉足自动驾驶领域后发现,AI智能体再次成为行业绝对的热门,整个工具链却已经发生了翻天覆地的变化。今天大家解决这些问题的方法完全重构了,开发智能体的人大概率根本不需要用到任何强化学习技术。这种演变方式超出了当时所有人的预料。
现在所有人都在狂热追捧智能体,因为大家很容易联想到,通用人工智能最终一定会以某种AI智能体的形式呈现。未来大概率会出现成群的智能体,甚至形成数字实体的庞大组织或文明。这听起来确实令人振奋。
面对这种狂热,Karpathy选择浇一盆冷水。有一大类问题很容易发挥想象力,也很容易做出酷炫的演示,要把它们变成真正的产品却异常困难。
自动驾驶就是一个极其典型的例子。想象一辆车绕着街区自动行驶并做出演示非常容易,将其打造成真正落地的产品需要耗费十年。VR领域同样如此。智能体也完美符合这个特征,想象和做演示都很简单,真正要让它发挥作用,开发者必须做好死磕十年的准备。
为了寻找新思路,Karpathy建议大家重新从神经科学中汲取灵感。深度学习早期正是这样做的,现在开发智能体完全可以再次借鉴大脑的运作模式。
一个完整的数字实体需要拥有人类具备的所有认知工具。除了作为解决方案一部分的语言模型,还需要一个内部助手来提前规划和反思行为。
大脑结构提供了完美的参考蓝图。海马体在AI智能体中的等价物就是记录记忆痕迹,利用向量嵌入技术进行索引并实现检索。数字实体的视觉和听觉皮层我们大概知道怎么构建,丘脑的作用同样值得深思。丘脑负责整合所有信息,可以说是意识的所在地。当多个数字实体争夺控制权和麦克风来决定下一步行动时,丘脑就负责处理这种复杂的冲突。Karpathy还特别推荐了David Eagleman的《大脑与行为》一书,认为神经科学里蕴含着设计数字个体的绝佳灵感。
最后,Karpathy分享了一个极具颠覆性的行业现状。
当前站在AI智能体能力最前沿的人,毫无疑问是现在正在动手构建智能体的独立开发者和创业者。OpenAI或DeepMind这类大型语言模型实验室,目前在智能体赛道上并没有站在最前沿。
OpenAI非常擅长训练庞大的Transformer语言模型。如果现在有一篇提出全新Transformer训练方法的论文发表,OpenAI内部大概率在两年半前就已经尝试过,并且清楚地知道成功或失败的根本原因。大厂在这个领域拥有绝对的技术壁垒。
当一篇关于新型智能体的论文发表时情况完全不同。大厂的团队同样会觉得眼前一亮,因为他们并没有在这个特定分支上秘密研发五年。这意味着巨头们在这个赛道上必须和所有的基层创业者以及黑客同台竞技。
对于现在正在开发智能体的普通开发者来说,你们正处于这项变革性技术的最前沿。
本文来源:AI寒武纪
风险提示及免责条款