A/B测试跑了两周仍没结论，AI能判断继续、停止还是重做吗？

实验计划写着运行两周，今天到期，主指标没有明显差异。一个小分群看起来提升，另一个分群方向相反，团队有人建议再跑三天，理由只是“也许就显著了”。

延长并非一定错误，问题在于延长条件是否提前定义。AI能整理质量缺陷和结论等级，不能通过反复看数、切人群或改指标制造想要的答案。

先查实验是否仍回答原问题

• 主指标、保护指标和分析窗口是否事先确定
• 分流比例、样本污染和跨组曝光是否正常
• 埋点定义与版本在实验中途是否变化
• 节假日、活动、故障或渠道变化是否只影响一组
• 样本量计划与最小可检测效果是否仍适用

若核心数据质量失效，继续收集只会积累更多不可解释的数据，应先修复并决定是否重跑。

给结论分等级

什么时候可以继续

继续应满足三个条件：数据质量有效，剩余样本有现实机会回答原问题，新的结束时间与判断规则在看下一轮结果前固定。若只是因为结果接近预期，就不应延长。

保护指标恶化、实验风险升高或业务窗口已经结束时，即使主指标尚无结论，也可能需要停止。

先用少量资料把判断链跑通

不要一开始就把整个批次交给模型。挑一组正常项、一组明确异常和一组边界不清的样本，确认字段能对应、规则不会互相覆盖，再扩大范围。小样本的目标不是证明模型聪明，而是发现资料缺口和误判方向。 对本任务，首轮只验证能否可靠支持这一判断：继续收集、停止采用、判定无效、修复后重跑或仅对特定人群上线。

角色：负责产品实验决策的产品经理或数据分析师。
触发：实验到达原计划时间但主指标不显著，分群结果方向不一致。
资料：实验设计、样本与分流、主指标和保护指标、分群结果、异常事件。
判断：继续收集、停止采用、判定无效、修复后重跑或仅对特定人群上线。
交付：实验质量检查、停止规则、结论等级和下一步决定。
要求：逐条列出证据、未知项、规则冲突和需要谁确认，不执行任何高风险写入。

扩大处理范围前先做反向抽查

除了核对被标红的项目，还要从模型判定正常的结果中随机抽查。只看异常会漏掉最危险的假阴性。抽查发现同类遗漏时，应回到规则和输入修正，并重跑整个受影响范围。 验收终点应是可以交接的实验质量检查、停止规则、结论等级和下一步决定。

出现这些情况就停止自动处理

• 关键文件缺少版本、时间范围或唯一编号，无法确认是否属于同一任务
• 多个资料来源给出冲突事实，且没有被授权的基准可以裁决
• 结果会触发付款、权限、合同、生产、薪酬或对外承诺等高风险动作
• 可能造成的后果是反复延长直到出现想要结果，或过早结束错过真实效果并污染后续决策

停止自动处理不等于停止工作。保留已经完成的证据整理，标出阻塞位置、责任人和期望回复时间，让人工从明确节点接手并继续完成实验质量检查、停止规则、结论等级和下一步决定。

把结论写成决定而不是统计摘要

Metrics Review负责组织主指标、保护指标、分群和已知事件；validate-data负责检查分流、口径、偏差与结论强度。两项能力的输出要前后衔接，不能只把同一份材料重复总结。

AI不能补造样本量或显著性，也不能为追求结果反复切分人群；停止规则和上线决定由实验负责人审批。