清华、小米、华为、 vivo、理想等多机构联合综述，首提个人LLM智能体、划分5级智能水平

Siri、你好小娜、小爱同学、小艺小艺、OK Google、小布小布……

想必这些唤醒词中至少有一个曾被你的嘴发出并成功呼唤出了一个能给你导航、讲笑话、添加日程、设置闹钟、拨打电话的智能个人助理（IPA）。可以说 IPA 已经成了现代智能手机不可或缺的标配，近期的一篇综述论文更是认为「个人 LLM 智能体会成为 AI 时代个人计算的主要软件范式」。

这篇个人 LLM 智能体综述论文来自国内多所高校和企业研究所，包括清华大学、小米、华为、欢太、vivo、云米、理想汽车、北京邮电大学、苏州大学。

文中不仅梳理了个人 LLM 智能体所需的能力、效率和安全问题，还收集并整理了领域专家的见解，另外还开创性地提出了个人 LLM 智能体的 5 级智能水平分级法。该团队也在 GitHub 上创建了一个文献库，发布了相关文献，同时也可供 IPA 社区共同维护，更新最新研发进展。

• 论文地址：https://arxiv.org/abs/2401.05459
• 文献库：https://github.com/MobileLLM/Personal_LLM_Agents_Survey
• 论文标题：Personal LLM Agents: Insights and Survey about the Capability, Efficiency and Security

机器之心整理了这篇综述论文的内容主干，以飨读者。

科幻描绘了很多亮眼的智能个人助理（IPA），即可以增强个人能力、完成复杂任务甚至满足情感需求的软件智能体。这些智能体可以代表大多数人对人工智能（AI）的幻想。

随着智能手机、智能家居设备、电动车等个人设备的广泛普及和机器学习技术的进步，这种幻想正在逐渐变成现实。现在，很多移动设备都内嵌了 IPA 软件，比如 Siri、Google Assistant、Alexa 等。这些智能体与用户密切相关，可以读取用户数据和传感器数据、控制各种个人设备、使用与个人账户关联的个性化服务。

但是，当今的智能个人助理的灵活性和可扩展性都还有限。它们的智能水平还远远不够，在理解用户意图、推理和任务执行等方面尤其明显。现如今大多数智能个人助理都只能执行受限范围内的任务（比如内置应用的简单功能）。一旦用户的任务请求超出了这些范围，智能体就无法准确理解和执行这些动作。

要改变这种情况，就必须显著提升智能体的能力，使其支持范围更广、更灵活的任务。但是，当前的 IPA 产品很难支持大范围的任务。当今大多数 IPA 都需要遵循特定的预定义规则，比如开发者定义的规则或用户演示的步骤。因此，除了定义任务执行的触发器和步骤之外，开发者或用户还必须明确指定他们希望支持哪些功能。本质上讲，这种方法会限制这些应用被用于更广泛的任务，因为支持更多任务需要大量时间和劳动力成本。

某些方法在尝试通过监督学习或强化学习实现自动化学习，从而支持更多任务。但是，这些方法也需要大量人工演示和 / 或定义奖励函数的工作。

近些年出现的大型语言模型（LLM）为 IPA 的开发带来了全新的机会，其展现出了解决智能个人助理可扩展性问题的潜力。

相比于传统方法，ChatGPT 和 Claude 等大型语言模型已经展现出了指令遵从、常识推理和零样本泛化等特有能力。这些能力的实现基于在大规模语料库（超过 1.4 万亿词）上进行无监督学习以及后续通过人类反馈进行微调。利用这些能力，研究者已经成功采用大型语言模型来驱动自动智能体（即 LLM 智能体），其目标是通过自动进行规划和使用搜索引擎、代码解释器和第三方 API 等工具来解决复杂问题。

IPA 是一类特殊的智能体，有望通过 LLM 实现变革，毕竟 LLM 具备显著增强的可扩展性、能力和有用性。我们可以把 LLM 驱动的智能个人助理称为个人 LLM 智能体（Personal LLM Agents）。

相比于普通 LLM 智能体，个人 LLM 智能体会更深度地参与个人数据和移动设备，并且它们也有更明确的设计目的：辅助人类而非取代人类。

具体而言，辅助用户的主要方式是减少他们日常生活中重复、乏味、低价值的劳动，让用户能专注于更有趣、更有价值的事情，从而提高工作和生活的效率和质量。个人 LLM 智能体可基于现有软件栈（例如移动应用、网站等）构建，同时还能通过无处不在的智能自动化能力带来令人耳目一新的用户体验。

因此，该团队预计个人 LLM 智能体会成为 AI 时代个人计算的主要软件范式，如图 1 所示。

尽管个人 LLM 智能体未来潜力巨大，但相关研究仍处于起步阶段，仍有许多错综复杂的问题和挑战有待解决。

这篇综述论文率先讨论了实现个人 LLM 智能体方面的路线图、设计选择、主要挑战和可能解决方案。

具体来说，这篇论文主要关注的是个人 LLM 智能体中与「个人」相关的部分，其中包括分析和利用用户个人数据、使用个人资源、在个人设备上部署以及提供个性化服务。将 LLM 的通用语言能力简单直接地整合进 IPA 不在本文的讨论范围内。

首先，该团队对个人 LLM 智能体领域的专家做了一番调研。他们邀请了业内领先公司、研发用在个人设备上的 IPA 和 / 或 LLM 的 25 位首席架构师、管理者和 / 或资深工程师 / 研究者他们让这些专家谈了谈将 LLM 整合进面向消费者的产品的机遇和挑战。基于对这些专家意见的理解和分析，该团队总结了一套简单又普适的个人 LLM 智能体架构，其中最重要的部分是对个人数据（用户背景信息、环境状态、行为历史记录、个人特征）和个人资源（移动应用、传感器、智能家居设备）的智能管理和使用。

另外，管理和使用这些个人事项的能力不同于个人 LLM 智能体的智能水平。该团队从自动驾驶的 1-5 级智能分级获得灵感，提出了个人 LLM 智能体的 5 个智能等级。

另外，该团队的这项研究还突出强调了实现这类个人 LLM 智能体的一些主要技术挑战；他们将这些挑战分成了三类：基本能力、效率、安全和隐私。他们也详细解释了这三方面的挑战并全面总结了可能的解决方案。具体来说，对于每个技术方面，他们会简要解释其与个人 LLM 智能体的相关性以及对个人 LLM 智能体的重要性，然后再具体讨论其中的主要研究问题。

这篇论文的主要内容和贡献可以总结如下：

1. 总结了产业界和学术界中智能个人助理的当前现状，同时分析了它们的主要局限和 LLM 时代的未来趋势。
2. 收集了 LLM 和个人智能体领域资深专家的见解、提出了一个普适的系统架构并定义了个人 LLM 智能体的智能水平。
3. 总结了个人 LLM 智能体三个重要技术方面的文献，包括基本能力、效率、安全和隐私。

智能个人助理简史

智能个人助理发展时间线

智能个人助理（IPA）的发展史已经很长。图 2 给出了 IPA 历史的大致时间线。其发展过程可以分为四个阶段，图中采用了不同的颜色标记。

第 1 阶段是从 1950 年代到 1980 年代末，这一时期的重点是开发语音识别技术。

第 2 阶段是从 1990 年代到 2000 年代末，此时语音识别已经开始被整合进一些软件实现一些高级功能。

第 3 阶段始于 2010 年代初。这时候，智能手机和个人计算机等移动设备上开始出现总是开启的虚拟助手服务。2011 年，Siri 被集成到了 iPhone 4S 中，也被广泛认为是首个安装在现代智能手机上的智能个人助理。

第 4 阶段则是始于近期 ——LLM 开始赢得世界瞩目。现在已经出现了很多基于 LLM 的智能聊天机器人（如 ChatGPT），还有一些安装在个人设备上的 LLM 驱动的 IPA 软件（如 Copilot）。

从技术角度看智能个人助理发展史

在观察智能个人助理时，我们可以选择很多不同视角，这里作者选择重点关注其最重要的一项能力，即任务自动化的能力（遵从指令并完成任务）。下面将介绍四种用于在 IPA 中实现智能任务自动化的主要技术。

基于模板的编程：大多数 IPA 商业产品都是通过基于模板的编程来实现任务自动化。这种方法是把要自动化的功能预定义成模板；通常来说，模板中会包含任务描述、相关动作、要匹配的示例查询、需要填充的可用参数等。用户给出指令后，智能体首先会将指令映射到最相关的模板，然后再按照预定义的步骤完成任务。其工作流程如图 3 所示。

监督学习方法：监督学习是一种实现任务自动化的直接方法，其做法是基于任务输入和当前状态预测后续的动作和状态。这方面的主要研究问题包括如何学习软件 GUI 的表征以及如何训练交互模型。

强化学习方法：不同于需要大量训练样本的基于监督学习的任务自动化方法，基于强化学习（RL）的方法允许智能体通过与目标接口持续交互来获得任务自动化的能力。在交互过程中，智能体会获得指示任务完成进度的奖励反馈，并逐渐学习如何通过最大化奖励回报来自动化任务。

对基础模型的早期使用：近年来，以大型语言模型（LLM）为代表的预训练大型基础模型发展迅速，为个人助理带来了新机会。

个人 LLM 智能体：定义和见解

我们正在见证基于 LLM 的智能个人助理的巨大潜力，也能看到学术界和产业界对这一技术的广泛兴趣。该团队通过这个研究项目率先系统性地讨论了与这一方向相关的机会、挑战和技术。

他们首先对个人 LLM 智能体（Personal LLM Agents）进行了定义：一类深度整合了个人数据、个人设备和个人服务的基于 LLM 的特殊智能体。

个人 LLM 智能体的主要目标是辅助终端用户，帮助他们减少重复性和繁琐的工作，让他们能更关注更有趣和更重要的事务。

按照这一定义，通用的自动化方法（prompt 设计、规划、自我反思等）类似于普通的基于 LLM 的智能体。这里重点关注的是与「个人」相关的部分，比如个人数据管理、对智能手机应用的使用情况以及部署到资源有限的个人设备等等。

该团队预计：在 LLM 时代，个人 LLM 智能体将成为个人设备的一个主要软件范式。但是，个人 LLM 智能体的软件栈和生态系统仍处于非常早期的阶段。与系统设计和实现相关的许多重要问题尚不明晰。

因此，为了了解这些问题，该团队做了一番调研，收集并整理了 25 位该领域专家的见解。这 25 位专家是来自 8 家研发 IPA 相关产品的领先公司的首席架构师、管理者或高级工程师 / 研究者。他们分享了对个人 LLM 智能体的看法，并解答了一些从应用场景到部署挑战等方面的常见问题。基于这些讨论和收集到的答案，该团队将这些见解分成了三个方面，包括个人 LLM 智能体的关键组件、智能水平分级、有关常见问题的专家意见。

高效推理

为了提升 LLM 的推理效率，人们已经提出了很多模型或系统层面的方法，其中包括：

模型压缩：直接降低模型大小或减少计算量，从而降低 LLM 在计算、内存和能量方面的需求，进而提升推理效率。模型压缩技术可以进一步分类：量化、剪枝（稀疏化）、蒸馏和低秩分解。

推理加速：除了下面会提到的让模型更紧凑之外，还有一些用于加速 LLM 推理过程的技术。LLM 与传统非 Transformer 模型的一大关键差异是注意力机制。由于注意力的计算成本会随上下文长度而近二次增长，因此增强模型在长上下文推理方面的计算效率就格外重要了。为了更好地支持长上下文推理，现有的研究工作主要集中于降低上下文长度和优化注意力核。

减少内存用量：LLM 推理不仅计算成本高，而且内存需求也大，这也是部署个人 LLM 智能体的一大挑战。KV 缓存和模型权重是内存开销的两个主要原因。研究者已经针对这两方面提出了一些优化方法，包括通过量化或剪枝技术来压缩 KV 缓存。

能耗优化：能耗高的智能体不仅会增加部署成本和碳足迹，而且还会因为温度升高和潜在的热节流而损害体验质量（QoE）。由于计算和内存访问（主要是权重加载）是高能耗的两个主要原因，因此有很多旨在优化这两个方面的研究，其中既有软件方面的研究，也有硬件方面的研究。

高效定制化

个人 LLM 智能体可能需要使用同一个基础 LLM 为不同用户提供服务，在不同场景中执行不同的任务，因此这需要针对每种情况进行高效的定制化。

定制化 LLM 行为的方法主要有两种：一是为 LLM 提供不同的上下文 prompt 供其上下文学习，二是使用特定领域的数据微调 LLM。因此，定制化效率的主要决定因素是上下文加载效率和 LLM 微调效率。

上下文加载效率：提升上下文加载效率的方法有很多。一种简单的方法是去掉冗余的 token，缩短上下文长度。另一种方法是降低上下文数据传输过程中的带宽消耗。

微调效率：这方面的技术大致可以分为这些类别：参数高效型微调技术、高效的优化器设计和训练数据组织管理。

高效操作记忆

为了给出明智的决策，个人 LLM 智能体需要频繁地检索内部或外部记忆。在 LLM 推理阶段，内部记忆会表示成上下文 token 并以 KV 缓存的形式存储。内部记忆的检索是由 Transformer 架构中的自注意力模块隐式处理的。这就需要 LLM 在执行推理时，在长上下文上执行更高效的计算，同时尽力最小化内存足迹。这些问题与之前讨论的 LLM 的推理效率类似。因此，这一小节主要关注的是操作外部记忆（可被动态检索并添加到上下文中）的效率。

考虑到外部记忆数据的多样性，比如用户配置文件、交互历史和本地原始文件（图像、视频等），常见做法是使用嵌入模型将记忆数据表示成一种统一格式的高维向量。向量之间的距离表示对应数据之间的语义相似度。对于每一次查询，智能体都需要在外部记忆存储中找到最相关的部分。这个过程以及对向量的维护工作可以通过向量软件库（如 Faiss 和 SCaNN）、向量数据库或某种定制的记忆结构完成。不管这些系统的功能有何差异，他们的效率优化目标基本都集中于两个方面：搜索和检索。