技能提升网质检认为机器人退货说明没有错误，客户仍连续问了三遍怎么申请，最后点转人工。说明中确实写了政策，却没有给出该订单可用的申请入口。知识答对与客户完成任务之间，还隔着一次实际操作。
评价单位从一句回答改成一个任务
收集经授权且脱敏的完整会话、用户意图、机器人回复、按钮或链接状态、转人工记录及后续处理。不要只取质检抽查的单句，因为前后文可能改变其含义。订单号、联系方式和支付信息去标识，受控原文只供必要人员回查。
定义任务是否完成的可观察证据，例如进入正确申请流程、收到必要确认或人工记录已解决。客户不再回复可能是完成，也可能离开，不能直接当成功。满意评分有回答偏差，低分和无评分分别记录，不把空白填为满意。
回答事实正确性、政策适用性、表达可理解性和行动可达性分别核对。某句话符合通用政策但不适用于这笔订单，不能称完全正确；入口失效又是另一个问题。分类先由客服和产品确认定义，AI只提供候选证据。
重复追问不一定是知识库缺内容
按用户追问与上一个回复的关系，区分没看懂、没有执行入口、需要订单具体判断和机器人没有记住上下文。用户换问法未必是换任务，机器人不停从头解释会延长处理。AI可做语义候选，人工抽查真实意图，不从一句烦死了推断人格。
XLSX Skill可以把已确认会话标签、任务结果和转人工原因整理成实际分析工作簿，检查重复统计及分母。语义判断来自脱敏会话的候选与人工确认，表格能力不自动证明情绪和满意度，也不替客服执行退款等操作。
同一会话出现多次追问与一次转人工，可按任务一次统计，同时保留追问次数。一个人分三次联系同一问题，若有获授权可靠关系可以标重复任务，否则说明无法去重。不要用每句问话作为独立客户数。
二十次转人工需要拆出原因
假设抽样一百个有效任务，二十个转人工。经人工核对，八个缺申请入口，六个需要订单权限查询，四个出现上下文重复，两个人主动偏好人工，四组不重叠。这个演示不能证明所有转人工都是机器人失败，人工偏好也不应被当作需要阻止的行为。
需要人工判断或敏感业务的任务，及时转人工可能是正确流程。降低转人工率不应通过隐藏入口或无限要求客户重问实现。每个业务定义何时应转、如何交接、客户能否主动选择，权限要求与安全边界保持清楚。
交接时提供必要任务摘要和已核事实，避免客户重新讲全部经过。摘要中的订单状态与建议动作须有依据，未知标待查。机器不能把用户要求退款写成已同意退款，人工收到的内容也不能含不必要的敏感资料。
改善分别交给知识、产品和流程负责人
入口问题由产品检查按钮、登录状态和可用渠道，适用条件问题由业务核对政策及权限，上下文问题由技术检查状态管理。知识负责人只改文案无法解决每一种情况。AI清单列证据、复现任务及验收，不泛泛要求提升智能程度。
小范围测试包含正常任务、特殊订单、重复追问和主动转人工。检查操作入口是否有效、摘要是否准确以及人工是否能接续处理。只比较满意平均值会掩盖样本结构变化，需要同时看问题类型和任务完成证据。
抽查会话截断、无评分、重复联系和敏感业务，确保标签不会把无观测当成功。处理日志中的登录令牌、真实订单明细和私人资料不能未经授权传给AI。模型提出的配置与流程改变由负责团队批准，不直接写入生产机器人。
复盘保留正确但不可操作、适用性不清、交接不足及合理人工转接各类结果。下一次改动针对已经确认的问题，保留测试版本及实际反馈。机器人没有答错可以是事实，但它是否帮客户完成任务，仍需要另一组证据回答。
最终交付让客服知道哪些会话需要继续处理，让产品知道哪些入口要修，让知识团队知道哪些解释值得改。AI帮助找出体验断点，而不是用一张正确率很高的图证明客户的不满没有理由。
