AI佟湘玉 PK AI吕秀才！人大和北邮联合发布的评测基准，能分辨大模型角色扮演哪家强

Role-Playing Conversational Agents（RPCA）是一类对话代理，它们被设计成能够模仿特定角色或人物进行对话。这些角色通常来自于现有的文学作品、电影、卡通、游戏等，具有特定的知识、行为和回应风格。RPCA的目标是与用户进行沉浸式的互动，提供情感价值而非仅仅是信息或生产力。

与传统的聊天机器人不同，RPCA更注重于角色扮演和情感交流。它们能够根据用户的输入，以特定角色的身份进行回应，从而创造出一种仿佛与真实人物对话的体验。这种类型的对话代理在娱乐、教育、心理辅导等领域有着广泛的应用前景，因为它们能够提供更加个性化和情感化的交互体验。

RPCA的挑战在于如何准确地模拟角色的知识、行为和风格，同时保持对话的连贯性和吸引力。为了评估这些代理的性能，来自中国人民大学高瓴人工智能学院的三位研究者联手北京邮电大学人工智能学院共同推出了一个名为CharacterEval的中文基准测试。并辅以一个量身定制的高质量数据集。

该数据集由 1785 个多回合角色扮演对话组成，包含 23020 个例子和 77 个来自中国小说和剧本的角色。比如《武林外传》中的佟湘玉和吕秀才。CharacterEval 可以直接让不同的大模型生成这两个角色进行对话，并根据基准测试的标准来给出相应的能力评分。

作为基准测试，CharacterEval 采用多维度评估方式，包括对话能力、角色一致性、角色扮演模式以及个性测试四个维度，每个维度还有不同的指标，一共十三个具体指标。

对话能力（Conversational Ability）

• 流畅性（Fluency）：衡量响应的语法正确性和可读性。
• 连贯性（Coherency）：评估响应与对话上下文的相关性。
• 一致性（Consistency）：检查RPCA在对话中是否保持一致性，避免自相矛盾。

角色一致性（Character Consistency）

• 知识曝光（Know-Exposure, KE）：评估RPCA在响应中提供的信息量。
• 知识准确性（Know-Accuracy, KA）：衡量RPCA基于角色知识生成响应的准确性。
• 知识幻觉（Know-Hallucination, KH）：评估RPCA在缺乏知识时是否会产生幻觉。
• 角色行为（Persona-Behavior, PB）：评估RPCA的行为描述是否符合角色特征。
• 角色台词（Persona-Utterance, PU）：检查RPCA的说话风格是否与角色相符。

角色扮演吸引力（Role-playing Attractiveness）

• 人类相似度（Human-Likeness, HL）：评估RPCA的响应是否具有人类特征。
• 沟通技巧（Communication Skills, CS）：衡量RPCA在对话中的沟通能力。
• 表达多样性（Expression Diversity, ED）：检查RPCA在对话中是否展现出多样性。
• 同理心（Empathy, Emp）：评估RPCA在对话中表达同理心的能力。

个性测试（Personality Back-Testing）

• MBTI准确性（MBTI Accuracy）：使用Myers-Briggs Type Indicator（MBTI）个性类型作为参考，评估RPCA在个性测试中的准确性。

研究团队还推出了一个名为 CharacterRM 的奖励模型，用于对主观指标的评估。CharacterRM 通过与人类判断的相关性来评估RPCA在主观指标上的表现。而根据实验结果，其性能优于GPT-4，当人这只能说是角色扮演这方面。

研究团队用了几个比较常用的 AI 大模型进行了测试，其中包括常见的 ChatGLM3-6B、GPT-4、minimax、Baichuan2-13B等，并根据他们的表现给出了评分。

CharacterEval 的诞生，填补了角色扮演对话代理（RPCAs）领域缺乏全面评估基准的空白。而他的发布也有助于该领域的发展以及以及用户体验提升。

研究团队先已经放出了CharacterEval 相关数据集、论文等信息，感兴趣的人可以通过GitHub访问。此外，该测试的代码也将会在不久后更新在其 GitHub页面中。