文 | 划重心 KeyPoints凯时体育游戏app平台

1、李飞飞最新论文，为当下火热的   Agent   轨则了鸿沟、开拓了范式。谷歌、OpenAI   和微软等巨头的最新布局，简直都遵命了论文给出的智商栈。

2、论文提议了一套无缺的领悟闭环架构——从感知、领悟、行动，到学习与牵记，组成动态迭代的智能体体系。这不仅是时刻的整合，更是对改日   AGI   旅途的系统性构想。

3、大模子是驱动   Agent   的核心引擎，但环境交互是搞定幻觉和偏见的枢纽锚点。论文强调，LLM/VLM   提供领悟智商，但必须通过果真或模拟环境的响应来校准现实，减少幻觉，并引入伦理与安全机制。

4、应用后劲横跨游戏、机器东谈主和医疗三大前沿范围——游戏中的千里浸式   NPC、机器东谈主中的自主诡计与物理操作、医疗中的智能问诊与健康料理，展现了   Agent   从表面走向实践的明晰旅途。

2025 年，被普遍觉得是   Agent   的元年，与之关联的主张从岁首于今热度陆续走高，包括智能体、AI Agent、Agentic AI   等等。

而就在最近，一篇由李飞飞领衔的   Agent   重磅论文在业内激发了平庸研讨，热度居高不下。网友们如斯评价："简直是跪着看完的"、"太明晰，硬控了我 3 个小时"。

这篇长达 80 页的综述名为《Agent AI: Surveying the Horizons of Multimodal Interaction》，由李飞飞等 14 位来自斯坦福大学和微软的众人考虑撰写。

它之是以备受可贵，是因为这篇综述为   Agent   这一略显辩白的范围，建立了一个明晰的框架：从感知 - 有诡计 - 行动，到牵记、器具使用、环境交互与评测，试图把散布在对话模子、视觉 - 话语模子、强化学习、器具调用等时刻踪影，搭伙到一个多模态   Agent   的新视角里。

何况，天然这篇论文最早发表于客岁年底，但站在当下节点纪念本年   Agent   的发展，谷歌、OpenAI   和微软等主流玩家的核心布置，简直都是按照论文给出的智商栈来推动的；这也反过来印证了论文对"从大模子到   Agent "这一演进旅途的前瞻性判断。

也正如李飞飞在自传《我看见的宇宙》里强调的，"目放学生太过于追求热门，其实许多老论文是相配经典且具备模仿兴味"；即便这篇综述发表于今不外半年，但其兴味之大、影响之深，仍值得每一位   AI   从业者真切品读。

接下来，咱们就一齐望望这篇摘要性巨作的核心价值。

Agent AI   的核心：一个全新的智能体领悟架构

步调略这篇论文的精髓，领先必须把抓其提议的全新   Agent AI   范式。这远非对现存时刻栈的简短免强，更是一种对改日通用东谈主工智能（AGI）发展旅途的前瞻性想考。

论文中的架构图，便明晰地界说了这个范式的五个核心模块，它们共同组成了一个无缺的、可交互的智能体领悟闭环。

领先是环境与感知（Environment and Perception），这是智能体与宇宙交互的起先。

与传统模子被迫给与结构化数据不同，Agent AI   主动从物理或杜撰宇宙中感知信息；这种感知是多模态的，涵盖视觉、听觉、文本、传感器数据等。

更紧迫的极少是，感知模块内嵌了任务诡计与技能不雅察（Task-Planning and Skill Observation）的智商；这意味着   Agent   在感知环境时，并非迷茫地给与一切信息，而是带着明确的目的去领路。

第二个核心模块是领悟（Cognition）。

要是说感知是输入，那么领悟就是处理核心，是   Agent   的"大脑"。论文将领悟界说为一个极其复杂的系统，包含想考、果断、感知、共情等高等智能举止。

这恰是谎言语模子（LLM）和视觉话语模子（VLM）证实核心作用的场域。它们为   Agent   提供了苍劲的宇宙知识、逻辑推理和险阻文领路智商。领悟模块肃穆解说感知到的信息，进行多步推理，并制定出收尾方针的计谋。

接下来是行动（Action），它赓续领悟模块的有诡计，肃穆生成具体的操作指示。

这些指示不错是与物理宇宙交互的机器东谈主适度高歌（如移动、抓取），也不错是与杜撰宇宙交互的 API 调用、代码生成或天然话语回答。行动模块通过适度器（Controller）作用于环境，从而调动环境的情景。

第四个核心模块是学习（Learning）。

Agent AI   并非一个静态系统，其核心上风在于陆续学习和自我进化的智商。论文强调了多种学习机制，包括预放哨（Pretraining）、零样本 / 少样本学习（Zero-shot/Few-shot）、强化学习（RL）和师法学习（IL）。

通过与环境的交互（即" Agent Interactive Closed-loop "），Agent   从凯旋和失败的莳植中学习。环境的响应（Feedback）会回流至学习和牵记模块，用于优化改日的有诡计。

临了凯时体育游戏app平台，即是牵记（Memory）。

传统模子的"牵记"往往局限于顷然的险阻文窗口，而   Agent AI   的牵记模块则是一个更耐久、更结构化的系统。它存储着知识（Knowledge）、逻辑（Logic）、推理旅途（Reasoning）和推断（Inference）的绝交。

这使得   Agent   概况从当年的莳植中提真金不怕火知识，酿成长期牵记，从而在面对新任务时，不消从零启动，而是不错举一反三。

这五个模块共同组成了一个动态的、陆续迭代的闭环。Agent   通过感知环境，在领悟核心的驱动下作念出有诡计，通过行动调动环境，再从环境的响应中学习和更新牵记，从而在每一次交互中，都比上一次更智能、更高效。

大模子如何驱动   Agent AI？

咱们刚才解读的   Agent AI   新范式，不错说是这篇综述蓝图中的一个维度。

Agent AI   的繁多框架之是以在今天成为可能，其根底驱能源，源于大型基础模子（Foundation Models），额外是   LLM   和   VLM   的老到。它们是   Agent   领悟智商的基石，但也带来了新的挑战。

LLMs（如 GPT 系列）和 VLMs（如 CLIP、LLaVA）通过在海量数据上的预放哨，内化了对于宇宙的普遍知识知识和专科知识。这使得   Agent   在启动之初就具备了苍劲的零样本诡计智商。

举例，当一个机器东谈主   Agent   给与到"帮我热一下昼餐"的指示时，它能诈欺   LLM   的知识，自动将这个微辞指示领会为一系列具体的子任务："怒放雪柜   ->  找到午餐盒   ->  把它放到微波炉里   ->  建树时刻   ->  启动微波炉"。

这种智商极地面镌汰了为每个任务编写复杂轨则的资本。

除此除外，论文尖锐地指出了大模子的一个核心问题——「幻觉」，即模子可能生成与事实不符或毫无左证的推行。

这在需要与物理宇宙精准交互的场景中是致命的。举例，一个机器东谈主   Agent   要是"幻觉"出一个不存在的物体并试图抓取，可能会导致任务失败致使设备损坏。

Agent AI   范式通过"环境交互"为搞定幻觉问题提供了一个枢纽的「锚点」。因为   Agent   的有诡计和行动必须在果真或模拟的环境中获取考证。

要是模子生成的诡计在环境中弗成践诺（举例，试图穿过一堵墙），环境会立即提供负响应。这种陆续的、基于物理法律解说的响应，会倒逼模子将其里面的知识与外部的现实宇宙对都，从而显耀减少幻觉的发生。

基础模子相同会袭取放哨数据中的社会偏见。一个在充满偏见文本上放哨的   Agent，其行动和话语也可能带有烦恼性。

论文强调，在瞎想   Agent AI   时，必须将包容性看成一项核心原则。这包括使用更多元化的数据进行放哨、建立偏见检测与改良机制，以及在东谈主机交互中瞎想妥贴谈德和尊重他东谈主的领导方针。

当   Agent（尤其是在医疗、家居等敏锐范围）与用户进行深度交互时，会网罗普遍个东谈主数据。如何确保这些数据的隐讳和安全，是一项要紧的伦理和时刻挑战。

论文提议，需要为   Agent AI   建立明确的法例和监管框架，确保数据使用的透明度，并予以用户适度其数据的权柄。举例，通过辅导工程（Prompt Engineering）铁心模子的行动范围，或者加多一个由东谈主类监督的考证层，都是确保   Agent   在安全可控范围内运行的有用技巧。

Agent AI   的应用后劲

论文不仅提议了表面框架，还真切探讨了   Agent AI   在三个前沿范围的巨大应用后劲，展示了其如何从表面走向现实。

领先就是游戏（Gaming）场景。

传统的游戏   NPC（非玩家变装）行动由固定的剧本驱动，模式单一、可预计，而   Agent AI   将透顶调动这一近况。

举例，基于   LLM   的   Agent   不错饰演   NPC，领有我方的牵记、方针和面孔。它们能与玩家进行信得过故兴味的对话，左证玩家的行动和游戏宇宙的变化动态休养我方的行动，致使酿成复杂的社会关系。斯坦福的"生成式智能体"小镇实验（Generative Agents）恰是这一理念的早期探索。

何况，玩家不错用天然话语与游戏宇宙互动，比如告诉   NPC "咱们去丛林里寻找草药"，NPC   概况领路并协同业动。这为开放宇宙游戏带来了前所未有的千里浸感息争放度。

Agent   还不错看成创作家的" AI   副驾驶"，左证简短的指示或草图，自动生成游戏关卡、谈具致使无缺的   3D   场景，极地面提高游戏开发恶果。

其次是机器东谈主（Robotics）场景。

机器东谈主不错说是   Agent AI   最径直的物理化身（Embodiment），用户只需用平常话语下达指示（如"把桌子打理干净"），机器东谈主   Agent   就能自主诡计并践诺一系列复杂的物理操作。

论文展示了使用   GPT-4V   来领路东谈主类视频演示，并将其转动为机器东谈主可践诺任务序列的实验，这让机器东谈主编程变得如「教孩子作念事」般直不雅。

在模拟环境中放哨机器东谈主资本低、恶果高，但如何将学到的技能移动到物理宇宙是一个核心挑战。Agent AI   通过范围立时化（Domain Randomization）等时刻，在模拟放哨中引入饱和多的变化（如光照、材质、物理参数的变化），使学到的计谋对果真宇宙的渺小各别更具鲁棒性。

机器东谈主   Agent   和会视觉、话语、触觉等多种信息来领路环境。举例，它不仅"看到"一个杯子，还能通过话语指示领路这个杯子是"易碎的"，从而在抓取时遴荐更温煦的力度。

临了，在医疗健康（Healthcare）中，Agent AI   相同具备巨大的应用后劲。

Agent   不错看成医疗聊天机器东谈主，初步问诊、网罗病史，并基于医学知识库为医师提供会诊建议，额外是在医疗资源匮乏的地区，能极地面普及低级诊疗的遮蔽率和恶果。

医疗范围的知识更新极快，任何乖张都可能危及人命。Agent AI   不错贯穿泰斗的、实时更新的医学数据库，在生成会诊建议时，同步进行事实核查和开头援用，这对于扼制模子幻觉、保证信息的准确性至关紧迫。

Agent   不错匡助处理和分流普遍的患者信息，监控慢性病患者的人命体征数据，并实时向医师发出预警，收尾更高效的个性化健康料理。

结语

尽管远景渊博，但这篇综述也领路地相识到，Agent AI   仍处于早期阶段，濒临着跨越模态、范围和现实的多重鸿沟。

举例，如何让   Agent   信得过收尾视觉、话语、听觉、动作等模态的深度和会，而不仅仅浅层拼接，是改日的核心研究办法。

以及如何放哨一个能在游戏、机器东谈主和医疗等迥然相异范围都能高效使命的"通用   Agent "，而不是为每个范围定制一个模子，是通往   AGI   的枢纽一步。

何况在评测与基准方面，如何科学地评测一个   Agent   的智能水平亦然枢纽。为此，论文团队提议了新的评测基准，如用于多智能体联接的" CuisineWorld "和用于视频领路的" VideoAnalytica "。建立圭臬化的评测体系，对于蛊惑颈域发展、算计时刻跨越至关紧迫。

总结原文来看，李飞飞等东谈主的这篇《Agent AI》综述，远不啻是对现存研究的简短梳理。它提议了一个搭伙、无缺的   Agent AI   领悟框架，申诉了大型基础模子在其中饰演的核心变装，何况系统性地剖析了其在枢纽应用范围的机遇与挑战。为面前略显喧嚣和碎屑化的   Agent   研究范围，提供了一张弗成或缺的"舆图"。

临了，民众不错一键传送论文原文：https://arxiv.org/abs/2401.03568。