技能提升网抓取日志里新增的 URL 数量持续上涨，真正的分类页却要更久才被发现。颜色、尺寸、排序、页码和广告跟踪参数任意组合后，同一批商品能产生数千个地址。
处理这类问题不能先写一条 robots 规则。某些筛选组合有稳定搜索需求，另一些只是状态或追踪参数。AI可以归类模式并整理证据，索引价值仍需 SEO 与业务判断。
先按参数作用分组
| 参数类型 | 常见作用 | 初步倾向 |
|---|---|---|
| 属性筛选 | 颜色、尺寸、用途 | 有需求时可能独立索引 |
| 排序与展示 | 价格顺序、列表视图 | 通常合并规范地址 |
| 跟踪标记 | 广告或渠道归因 | 移除入口并规范合并 |
| 会话与状态 | 登录、临时筛选状态 | 避免抓取和索引 |
| 分页 | 内容序列导航 | 按站点结构单独判断 |
初步倾向不是最终规则。每一种参数都要取样查看页面内容、内部链接、规范地址和搜索结果状态。
用日志回答搜索引擎实际在做什么
统计参数模式的抓取量、返回码、重复内容比例、被索引样本和重要页发现频率。只看站点地图会漏掉内部链接和外部链接不断制造的入口。
- 参数顺序是否会生成等价地址
- 空结果与低商品量页面是否无限扩张
- canonical 是否稳定指向预期页面
- noindex 页面是否仍被大量内部链接
- 规则变化后重要页面抓取是否改善
四种动作要分开部署
需要索引的筛选页要有独立价值、稳定内容和清晰内链。规范合并用于内容等价但地址需保留的情况。减少入口解决内部链接规模，禁止抓取用于不希望继续消耗资源的模式。禁止抓取不会自动清理既有索引，因此不能混为一个动作。
先定义一条可复查的工作记录
开始处理前就确定如何编号输入、记录假设和保存人工修改。否则模型给出的候选项即使有用，也很难在审批时说明它来自哪一版资料。 对本任务，首轮只验证能否可靠支持这一判断：哪些参数页应独立索引、规范合并、减少入口或阻止抓取。
角色：管理电商或目录站抓取预算的 SEO 负责人。
触发：筛选组合和跟踪参数生成大量 URL，抓取日志增长且重要页面发现变慢。
资料：参数规则、抓取日志、索引样本、搜索需求、内部链接与 canonical。
判断：哪些参数页应独立索引、规范合并、减少入口或阻止抓取。
交付：参数类型决策表、规则变更、样本验证和监控口径。
要求：逐条列出证据、未知项、规则冲突和需要谁确认，不执行任何高风险写入。
把正常项也纳入质量检查
| 能力步骤 | 接收资料 | 交给下一步 |
|---|---|---|
| 审计参数页的抓取、索引、规范地址和内部链接信号 | 参数模式、日志、站点地图和页面样本 | 参数类型风险与修复优先级 |
异常清单通常最受关注，但正常项决定了是否存在漏检。按来源、时间和业务类型抽样回查，比较不同群组的错误分布，不要只用一个整体准确率掩盖局部问题。 验收终点应是可以交接的参数类型决策表、规则变更、样本验证和监控口径。
不要让异常在流程里静默通过
- 关键文件缺少版本、时间范围或唯一编号，无法确认是否属于同一任务
- 多个资料来源给出冲突事实，且没有被授权的基准可以裁决
- 结果会触发付款、权限、合同、生产、薪酬或对外承诺等高风险动作
- 可能造成的后果是误封有搜索价值页面，或让无限组合持续消耗抓取并制造重复信号
停止自动处理不等于停止工作。保留已经完成的证据整理，标出阻塞位置、责任人和期望回复时间，让人工从明确节点接手并继续完成参数类型决策表、规则变更、样本验证和监控口径。
先小样本验证再扩大规则
Technical SEO Checker负责审计参数页的抓取、索引、规范地址和内部链接信号。它的输出必须保留证据来源和待人工判断项，不能把建议写成已经执行的决定。
Skill 是审计工作流而非完整爬虫；索引价值必须结合真实搜索需求和页面质量，由 SEO 与研发确认规则。
