灰度阶段收录提交正常,不代表全量发布后仍然正常。灰度通常只覆盖少量模板、少量路径和有限抓取预算,全量发布后这些条件同时变化,例外才会暴露。正确做法不是立即回滚,而是先判断例外来自抓取配额、页面本身,还是提交入口与真实URL之间的对应关系,再决定缩小提交范围还是修正页面。
假设一次改版只放量了 5% 的文章页,提交后抓取与索引表现都正常。全量上线后,同一批模板的其余页面却出现大量“已提交未处理”。这不是灰度结论错了,而是灰度没有覆盖全量才会出现的三类变化:URL 总量、参数组合和页面生成时间。
灰度样本往往集中在少数目录或少数内容类型,全量发布则把分页、筛选、排序、会话参数一并放大。提交入口接收的是这批放大后的 URL,抓取端面对的却是成倍的重复变体和更深的链接层级。此时“提交成功”只说明入口收到了地址,不说明地址值得被抓取或被索引。
解释一:抓取配额被摊薄。全量后待抓 URL 数量上升,而站点可用的抓取资源没有同步增加,提交队列被拉长。表现是延迟而非拒绝:部分 URL 几天后才被抓取,抓取后也能正常进入索引。
解释二:页面本身不满足索引条件。全量后模板拼接出大量内容近似、主体缺失或依赖前端渲染的页面。表现是抓取发生但内容被判为重复或空壳,或者抓取请求被 robots.txt 拦截。注意,robots.txt 限制抓取不等于可靠的索引移除,被拦截的 URL 仍可能以其他方式出现在结果中。
两种解释会导向完全相反的动作:前者应控制提交节奏,后者应先修页面再提交。判断错方向,会把页面问题当成配额问题拖延,或者把配额问题当成质量问题反复改模板。
不要只看提交入口返回的成功数量,那只能证明请求被接收。按下面顺序取证据:
一个假设例子:灰度 200 条 URL 全部被抓取,全量 20000 条中三天内仅 800 条被抓取,且这 800 条正文长度与灰度样本一致。这组数据更支持配额摊薄,而不是页面质量崩塌。此时下一步应是分批提交并观察每批的抓取反馈,而不是重写模板。
若证据指向配额摊薄,把全量提交拆成按目录或按内容类型的小批次,每批提交后等待抓取反馈再决定下一批规模。若证据指向页面不合格,先修正模板输出,再重新提交,否则只是把同一批不合格 URL 再送一遍。
站点地图不保证收录,提交入口也不保证处理顺序。灰度结论的适用边界是:它只对灰度覆盖到的模板、参数组合和链接深度成立。全量发布前应确认灰度样本是否包含分页、筛选和参数化 URL,否则灰度通过不能作为全量放行的依据。HTTPS 不保证安全无漏洞或排名,它与本问题的判断无关,不应作为例外原因的解释。
最后,不同搜索引擎对提交入口和站点地图的支持情况须分别核查,灰度在一个引擎上的表现不能直接迁移到另一个引擎。把灰度当成全量的缩小版,而不是全量的抽样版,才能避免下一次例外在同样位置重复出现。