超越ChatGPT的AI智能体（英文）

今天分享的是：超越ChatGPT的AI智能体（英文）

报告共计：82页

这篇文档聚焦AI智能体，探讨其超越ChatGPT的发展路径，核心围绕模型性能提升和应用能力增强展开。

1. AI智能体的重要性与现状：多位专家高度评价AI智能体，认为它将带来计算领域的重大变革 ，推动AI取得巨大进展。然而，当前智能体存在局限性，如大多只是围绕大语言模型（LLM）的简单包装，自回归LLM在推理和规划方面存在不足，像Auto - GPT就远非实用解决方案。

2. 提升模型性能的方法

- 基于LLM的模型自我改进：通过让LLM生成“自我改进”数据来训练小模型，如TriPosT方法，利用LLM或Python脚本作为编辑模型，收集小模型与LLM的交互记录，处理成训练样本，对小模型进行加权监督微调，有效提升了模型在复杂任务上的表现。

- 树搜索增强模型能力：将树搜索应用于对话任务决策过程，如基于提示的蒙特卡洛树搜索（MCTS），让LLM分别扮演不同角色来搜索、模拟和评估行动，在说服任务中，GDP - Zero（基于MCTS的方法）比基础LLM表现更优，能制定出更具说服力的策略。

- R - MCTS提升智能体性能：针对视觉语言模型（VLM）在计算机任务中的挑战，引入R - MCTS（带对比自反思的MCTS），它能在任务执行中搜索最佳轨迹，并在任务后进行对比自反思，在VisualWebArena和OSWorld基准测试中超越其他搜索算法，取得新的最优成绩。

3. 智能体性能提升的多方面探索：探索通过扩展测试时计算资源和将搜索知识转移回模型训练来提升智能体性能。探索性学习通过对树遍历进行训练，让GPT - 4o在无需额外搜索算法的情况下展现出计算扩展特性。

4. 未来发展方向：未来将探索强化学习（RL）和模型预测控制（MPC）等方法，减少对树搜索的依赖，降低与环境交互的成本。Arklex提出智能体优先的组织框架，涵盖混合控制、任务组合、人类干预和持续学习等特性，旨在使智能体更智能、更可控，以适应多样化的目标和动态环境。

以下为报告节选内容