论文阅读-26-06w4

每周论文阅读笔记~

MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs

提出一个多游戏、多智能体、可复现的 LLM Agent 评测 benchmark。提出评估 LLM 的社会推理和策略推理，不能只看静态回答，也不能只看 win rate，还要分析完整交互轨迹、错误类型、规则遵守、状态追踪等。

Introduction

LLM 虽然能够通过标准的任务，但在一些交互式的 benchmark 中，会暴露出信念追踪、欺骗检测、跨轮次承诺一致性的弱点。

---

心智理论（Theory of Mind）

个体理解他人心理状态的能力，能够意识到他人拥有自己的想法、信念、意图和目标，并且这些心理状态可能与自己的认知或现实情况并不一致。基于这种能力，个体可以推断他人如何理解当前情境，并进一步预测他人可能采取的行为。

在多智能体 LLM 研究中，心智理论通常并不意味着模型真正拥有类似人类的心理理解能力，而是指模型在交互过程中是否能够表现出对其他智能体心理状态和行为策略的建模能力。例如，模型是否能够推断对手掌握的信息、预测对方的下一步行动、理解队友的意图，或在社会推理场景中识别和实施欺骗。

• 信念追踪（belief tracking）：持续记录和更新“别人知道什么、相信什么、误解了什么”；LLM 存在记不清楚谁说了什么，也可能没有把 真实状态 和 某人的想法 区分开的问题
• 欺骗检测（deception detection）：判断别人是不是在说谎、隐藏信息、策略性误导；LLM 很容易被表面语言影响，别人说得很诚恳，他就相信了，难以发现长期行为中的矛盾
• 多轮次承诺一致性（commitment consistency across turns）：多轮互动中，长期策略之间是否一致。