Meta 公司攜手華盛頓大學和卡內基梅隆大學，組建科研團隊，合作開發了 ExploreToM 框架，旨在更有效地評估和訓練大語言模型（LLM）的心智理論（Theory of Mind，ToM）能力。

心智理論

心智理論（Theory of Mind，ToM）是人類社會智能的基礎之一，能讓我們能夠理解他人的想法、意圖和信念。這種認知能力對于有效的溝通和協作至關重要，是復雜社交互動的支柱。

讓 AI 也具備 ToM 能力，對于創建能與人類無縫互動的智能體至關重要，只是當前大型語言模型（LLM）在 ToM 方面仍面臨巨大挑戰。

現有的基準通常缺乏復雜性和多樣性，導致高估模型能力。例如，許多基準測試基于簡單的預定義場景，無法復制人類用來推斷心理狀態的復雜推理。

ExploreToM 框架

ExploreToM 通過生成多樣化、可擴展的對抗性數據集，為提升 AI 的 ToM 能力奠定了堅實基礎。該研究強調了當前模型的局限性，以及高質量訓練數據對于彌合這些差距的潛力。

在數據集方面，ExploreToM 利用 A* 搜索算法和特定領域語言生成多樣化、高難度的測試數據集，模擬復雜的社會情景，挑戰 LLM 的認知極限。

ExploreToM 與現有基準測試不同，通過創建對抗性故事場景，旨在揭示 LLM 在 ToM 推理中的盲點。

此外該框架還引入了非對稱信念更新機制，可以模擬不同角色對同一情況持有不同觀點的復雜社交互動。

主流模型測試效果

GPT-4o 和 Llama-3.1-70B 模型在 ExploreToM 數據集上的準確率分別只有 9% 和 0%，凸顯了現有 LLM 在處理復雜 ToM 推理方面的不足。

在 ExploreToM 數據上進行微調后，模型在經典 ToMi 基準測試中的準確率提高了 27 個百分點，證明了該框架的有效性。

附上參考地址

Meta AI Introduces ExploreToM: A Program-Guided Adversarial Data Generation Approach for Theory of Mind Reasoning

Explore Theory-of-Mind: Program-Guided Adversarial Data Generation for Theory of Mind Reasoning

GitHub

huggingface