这项由Vector人工智能研究院等机构联合完成的研究发表于2026年2月，论文编号为arXiv:2602.06841v2，专门探讨了人工智能解释性在传统模型和智能体系统中的根本性差异。有兴趣深入了解的读者可以通过该编号查询完整论文。

当我们使用智能手机的语音助手时，它会执行一系列复杂的操作：理解你的话、搜索信息、调用各种工具、最终给出回答。但如果这个助手犯了错误，我们该如何理解它到底在哪一步出了问题？这正是当今人工智能面临的一个关键挑战。

过去十年里，研究人员一直在努力让AI系统变得更加"透明"，就像医生需要解释诊断结果一样。他们开发了许多方法来解释AI的决策过程，比如SHAP和LIME这样的工具，就像给AI装上了"解释器"，能告诉我们哪些输入因素最影响AI的判断。这些方法在处理单一预测任务时表现出色，比如判断一封邮件是否为垃圾邮件，或者识别照片中的物体。

然而，AI技术的发展已经远远超越了简单的预测任务。现在的大型语言模型可以扮演智能助手的角色，它们能够制定计划、使用各种工具、与环境互动，并在多个步骤中完成复杂任务。这就像从静态的照片识别升级为动态的电影制作，整个游戏规则都变了。

研究团队发现了一个关键问题：传统的解释方法主要关注"这个决定为什么是对的"，但智能体系统更需要回答"这个过程哪里出了错"。比如，当一个预订机票的AI助手失败时，问题可能不在于最后的预订步骤，而在于中途对航班信息的理解偏差，这种偏差逐渐积累，最终导致整个任务失败。

为了解决这个问题，研究人员提出了一套全新的解释框架。他们不再仅仅分析单个决策点，而是追踪整个"轨迹"——就像分析一场比赛的完整录像，而不只是看最终比分。这种方法能够揭示智能体在执行任务过程中的每一个关键决策点，包括它们如何选择工具、如何维护内部状态，以及如何从错误中恢复。

研究团队通过对比实验验证了他们的观点。在传统的分类任务中，SHAP和LIME等方法能够稳定地识别重要特征，相关性达到0.86。但在智能体任务中，这些方法就显得力不从心了。相比之下，基于轨迹的诊断方法能够准确定位执行层面的故障，发现状态追踪不一致的问题在失败案例中的出现频率高出2.7倍，并且会将成功概率降低49%。

这项研究的意义不仅仅在于技术层面。随着AI系统越来越多地参与到关键决策中，比如医疗诊断、金融操作或自动驾驶，我们迫切需要理解它们的行为模式。传统的解释方法就像只能看到冰山一角，而新的轨迹级解释方法则能让我们看到整座冰山的结构。

**一、从单张照片到连续电影：AI解释的范式转变**

在传统的AI解释中，研究人员面对的情况相对简单。就像分析一张静态照片一样，他们只需要解释"为什么AI认为这是一只猫而不是一只狗"。这种情况下，输入是固定的（一张图片），输出也是明确的（猫或狗），解释的任务就是找出图片中哪些像素或特征影响了最终判断。

SHAP方法就像一个非常细致的侦探，它会系统性地检查每个输入特征的贡献。比如在判断邮件是否为垃圾邮件时，它可能发现"免费"这个词贡献了30%的垃圾邮件概率，"优惠"贡献了15%，而发件人地址贡献了25%。这种分析在单次决策中非常有用。

LIME方法则采用了不同的策略，它像一个好奇的实验者，通过轻微改变输入内容来观察输出如何变化。继续邮件的例子，LIME可能会尝试删除某些词汇，然后观察垃圾邮件概率如何变化，从而确定哪些词汇最为关键。

然而，现代AI系统的工作方式已经发生了根本性变化。它们不再像传统的"问答机器"那样简单运作，而更像是能够独立行动的智能助手。当你要求AI助手帮你规划一次旅行时，它需要执行一系列复杂的操作：首先理解你的需求，然后搜索航班信息，比较不同选项，检查酒店可用性，考虑交通安排，最后整合所有信息给出建议。

这个过程就像导演拍摄一部电影，每个场景都可能影响整体效果，而且前面的决定会影响后续的选择。如果AI在第三步查询酒店时出现了错误理解，这个错误可能会传播到后面的每一步，最终导致整个规划方案不合理。

更复杂的是，智能体系统具有"记忆"和"状态"的概念。它们会在执行过程中维护和更新内部信息，就像人类在思考复杂问题时会在脑海中保持多个信息片段。如果这个内部状态出现不一致，就像记忆出现偏差一样，会导致后续决策偏离正轨。

研究团队通过具体实验揭示了这种差异的重要性。在传统的IT职位分类任务中，使用TF-IDF加逻辑回归的模型表现出很高的解释稳定性，Spearman相关系数达到0.8577，而文本CNN的稳定性相对较低，为0.6127。这说明在静态预测任务中，传统解释方法确实能够提供可靠的洞察。

但在智能体任务中，情况完全不同。研究人员分析了TAU-bench航空公司基准测试和AssistantBench网页助手基准测试中的智能体行为，发现传统的归因方法虽然能够识别出哪些高级行为维度与任务成功相关，但无法准确定位具体执行中的问题所在。

**二、智能体的"诊断报告"：轨迹级解释的威力**

为了更好地理解智能体的行为，研究团队开发了一套类似医疗诊断的评估体系。就像医生不仅要知道病人的症状，还要了解病情发展的整个过程一样，智能体的解释也需要追踪整个执行轨迹。

这套评估体系包含六个关键维度，就像体检中的不同项目。意图对齐检查智能体的行动是否符合既定目标，就像检查病人是否按照医嘱服药。计划遵循评估智能体是否能够维持连贯的多步骤计划，类似于检查病人的治疗依从性。工具正确性验证智能体是否正确使用可用工具，就像检查医疗器械的使用是否规范。

工具选择准确性关注智能体是否为特定子任务选择了最佳工具，这就像选择最适合的治疗方案。状态一致性检查智能体是否在整个执行过程中保持了连贯的内部状态，类似于监测病人的生理指标是否稳定。错误恢复能力评估智能体发现并从执行失败中恢复的能力，就像评估病人的自愈能力或对治疗的反应。

通过这套诊断体系，研究团队发现了智能体失败的一些有趣模式。在TAU-bench航空任务中，状态追踪一致性是最强的失败预测因子。当这个"体检项目"出现问题时，任务成功率会显著下降36个百分点，相对风险比仅为0.51。这意味着状态不一致就像慢性病一样，会逐渐削弱智能体的执行能力。

具体来说，状态追踪不一致表现为智能体在执行过程中逐渐偏离正确的理解。比如，在处理航班改签请求时，智能体可能在早期步骤中正确理解了乘客的需求，但随着信息的增加和工具调用的复杂化，它可能开始混淆不同的航班选项，或者错误地保持了过时的约束条件。这种偏差在初期可能很微小，但会像滚雪球一样越来越严重，最终导致完全错误的结果。

相比之下，在AssistantBench网页助手任务中，失败模式有所不同。工具选择准确性和计划遵循成为了关键的"致命伤"，当这些方面出现问题时，成功率直接降为零。这反映了网页交互任务的特点：一旦选择了错误的导航路径或交互工具，往往很难恢复，就像在迷宫中走错了关键的分叉口。

有趣的是，并非所有的"诊断异常"都意味着灾难。工具正确性的违规有时反而与成功任务相关，相对风险比为1.24。这种现象类似于某些医疗检查中的"假阳性"，表明智能体可能正在尝试更复杂或创新的方法，虽然在技术执行上不够完美，但整体策略是有效的。

**三、最小解释包：为智能体解释建立新标准**

面对智能体解释的复杂性，研究团队提出了"最小解释包"的概念，就像为复杂的医疗报告建立标准格式一样。这个概念的核心思想是，解释不应该是孤立的信息片段，而应该是包含完整上下文和验证信息的整合包裹。

传统的解释就像只给你一张X光片，而最小解释包则提供了完整的病历档案。它包含三个核心组件：解释工件、关联证据和验证信号。解释工件是人类可理解的解释本身，比如特征重要性图或推理轨迹。关联证据提供支撑解释的背景材料，比如输入实例、执行轨迹、检索文档和工具调用日志。验证信号则提供解释可靠性的指标，比如扰动稳定性得分或基于回放的一致性检查。

在传统的静态预测场景中，最小解释包相对简单。以工作类别分类器为例，解释工件可能是SHAP特征归因或LIME局部解释，上下文包括输入文本和预测标签，验证信号则是特征排名在扰动输入下的相关性。这就像一个标准化的体检报告，简洁明了。

但在智能体场景中，最小解释包变得更加丰富和复杂。解释工件变成了连接推理步骤与行动的执行轨迹，上下文扩展为包括用户请求、每步观察、工具参数和返回值、检索证据以及状态更新的完整记录。验证信号则包括基于规则的行为标志和基于回放的一致性检查。

这种差异反映了两种解释范式的根本不同。静态解释关注的是"什么导致了这个结果"，而智能体解释关注的是"这个过程是如何展开的，哪里可能出错"。前者像是分析一张摄影作品的构图，后者则像是分析一部电影的叙事结构。

研究团队通过桥接实验进一步验证了这种差异。他们将智能体的执行轨迹压缩为基于规则的二进制特征向量，其中每个维度表示某个行为约束是否被满足。然后使用这些特征训练逻辑回归模型来预测任务成功与失败，并计算SHAP值来量化每个规则特征对结果预测的影响。

结果显示，意图对齐、状态追踪一致性和工具正确性是最具影响力的预测因子，平均绝对SHAP值分别为0.473、0.422和0.415。这证明了即使在行为压缩的表示下，传统归因方法仍能恢复合理的全局重要性排序。

然而，这个实验也揭示了传统归因方法的局限性。虽然SHAP可以告诉我们哪些规则特征总体上最重要，但它无法解释特定运行失败的原因。这种解释仍然是相关性的而非因果性的，它解释的是代理模型对结果预测的依据，而不是导致特定运行失败的实际原因。

**四、实战检验：不同基准测试中的发现**

为了验证新解释框架的有效性，研究团队在两个具有代表性的智能体基准上进行了深入分析。这就像在不同的"考试"中测试学生的能力，每种考试都有其独特的挑战和评判标准。

TAU-bench航空基准模拟了结构化的客户服务场景，智能体需要处理航班搜索、重新预订、取消等API驱动的任务。在50个测试案例中，智能体取得了56%的成功率。这个场景就像训练有素的客服代表处理标准化流程，虽然复杂，但有相对清晰的操作规范。

AssistantBench则代表了开放式的网页辅助任务，需要多步导航和信息收集。在33个测试案例中，智能体只达到了17.39%的成功率。这种场景更像是让助手在一个陌生的图书馆中帮你找资料，充满了不确定性和需要灵活应对的情况。

通过轨迹级分析，研究团队发现了两个基准中截然不同的失败模式。在TAU-bench中，失败主要表现为"渐进式退化"模式。状态追踪一致性问题在失败案例中的出现概率比成功案例高33.3个百分点，比例达到2.7:1。这种情况类似于慢性疲劳，智能体在执行过程中逐渐失去对任务状态的准确把握。

具体表现为，智能体可能在任务初期正确理解了乘客的改签需求，包括出发地、目的地和时间偏好。但随着查询过程的深入，当面对多个航班选项和复杂的约束条件时，它开始出现记忆偏差。比如，它可能忘记了乘客的座位偏好，或者混淆了不同航班的时间信息，这种小的偏差逐步积累，最终导致推荐了完全不合适的航班。

在AssistantBench中，失败模式更像是"急性创伤"。工具选择准确性的问题在失败案例中独有，成功案例中完全没有出现，形成了无穷大的比值。计划遵循问题也表现出类似的模式。这表明网页辅助任务中的错误往往是决定性的，一步走错就可能导致整个任务失败。

这种差异可以用导航来类比。TAU-bench的失败就像在熟悉的城市中因为分心而逐渐偏离正确路线，虽然每次转弯都不算离谱，但累积效应让你越来越远离目标。而AssistantBench的失败更像是在关键路口选择了完全错误的方向，一次错误决策就让你进入了完全错误的区域。

更有趣的发现是，某些"违规"行为实际上与成功相关。在TAU-bench中，工具正确性的违规有时伴随着更高的成功率，相对风险比为1.24。这种现象揭示了智能体行为的复杂性，有些表面上的"错误"可能是智能体尝试创新解决方案的表现，就像经验丰富的工匠可能会以非标准方式使用工具来达到更好的效果。

**五、从理论到实践：新解释框架的意义**

研究团队的发现不仅仅是学术层面的突破，更预示着AI系统评估和调试方式的根本性变革。这种变革的重要性可以通过一个医疗诊断的类比来理解：传统方法就像只看病人的最终症状，而新方法则像追踪疾病的完整发展过程。

在实际应用中，这种差异产生了深远的影响。当一个自动客服系统失败时，传统的解释方法可能会告诉我们"客户的问题描述中某些词汇导致了错误分类"，但这种解释对改进系统帮助有限。而基于轨迹的解释能够精确定位："系统在第三轮对话中错误理解了客户的退款意图，导致后续所有回应都偏离了正确方向。"

这种精确定位能力对AI系统的持续改进至关重要。就像工程师需要知道机器在哪个部件发生故障一样，AI开发者需要了解智能体在执行链条的哪个环节出现了问题。只有这样，才能进行有针对性的优化和修正。

研究还揭示了不同类型任务对解释需求的差异。结构化任务（如API调用）更容易出现累积性错误，需要重点关注状态一致性的维护。而开放式任务（如网页交互）更容易出现决策性错误，需要特别注意关键选择点的正确性。

这种洞察对AI系统的设计具有指导意义。对于结构化任务，开发者应该投入更多资源来确保状态管理的准确性，比如实现更强的状态验证机制和错误检测系统。对于开放式任务，则需要在关键决策点增加更多的验证步骤，或者提供更丰富的上下文信息来辅助决策。

从更广泛的角度来看，这项研究预示着AI系统从"黑盒"向"透明盒"的转变。传统的AI就像一个神秘的占卜师，给出预测但不解释原因。而新一代的智能体系统将更像是一个可以查看思考过程的合作伙伴，人们可以理解它的决策逻辑，监督它的执行过程，并在必要时进行干预。

这种透明度对于AI在关键领域的应用尤为重要。在医疗诊断中，医生需要理解AI助手的推理过程才能做出最终决策。在金融服务中，监管机构需要能够审计AI系统的决策轨迹。在自动驾驶中，工程师需要理解系统在复杂情况下的行为模式。

然而，研究团队也诚实地指出了当前方法的局限性。基于规则的评估虽然能够提供一致的分析框架，但必然是粗粒度的，可能会掩盖细致的决策动态。LLM评判虽然能够处理复杂的轨迹分析，但引入了主观性，即使使用固定的提示和仅基于轨迹的访问也无法完全消除这种主观性。

说到底，这项研究为我们打开了一扇理解AI行为的新窗口。它告诉我们，随着AI系统变得越来越复杂和自主，我们不能再满足于简单的"是什么"的解释，而需要深入了解"为什么"和"如何"的问题。这不仅是技术发展的需要，更是确保AI系统安全、可靠、值得信赖的必要条件。

未来的研究方向可能包括开发更精细的轨迹分析工具，建立标准化的智能体行为评估框架，以及探索如何将这些洞察转化为具体的系统改进建议。归根结底，让AI变得更加透明和可理解，不仅是技术挑战，更是人类与AI和谐共存的重要基础。

Q&A

Q1：什么是轨迹级解释，它与传统AI解释有什么不同？

A：轨迹级解释是追踪AI智能体完整执行过程的方法，就像分析一部电影的完整情节而不只是看结局。传统解释只关注单一决策的原因，而轨迹级解释能够显示智能体在多个步骤中如何做决定、使用工具、维护状态，并定位具体哪一步出了问题。

Q2：为什么SHAP和LIME等传统方法不适用于智能体系统？

A：传统方法设计用于解释单次预测，就像解释"为什么这张照片被识别为猫"。但智能体系统像连续剧一样包含多个相互影响的步骤，传统方法无法捕捉步骤间的依赖关系和累积效应，也不能定位具体哪个执行环节导致了最终失败。

Q3：这项研究对普通用户使用AI服务有什么实际意义？

A：这项研究能让AI服务变得更可靠和透明。未来当AI助手出错时，它能够准确解释是在理解需求、选择工具还是执行过程中出现问题，这样开发者就能针对性地改进系统。对用户来说，这意味着更好的AI服务体验和更高的信任度。