已发现但未索引：原因与检查项

以Google的视角检查单个URL

从一个地址开始。一旦你知道哪一行描述了眼前的页面，原因表才变得有用。

从覆盖状态开始

在搜索控制台中打开页面的检查报告，并首先阅读状态行。已发现和已抓取是不同的判定，每个判定指向不同的修复方法。

不要在一个Google从未抓取的页面上花费一周时间进行链接建设。在状态行发生变化之前，这些精力应花在其他地方。

保存带有日期的检查结果。覆盖状态会随着Google重新抓取而变化，因此上周的记录告诉你当时发生了什么，而最新的检查告诉你现在的情况。

将原始HTML与渲染后的页面进行比较

使用cURL抓取URL并查看响应中的主要内容。如果文字仅在脚本运行后才出现，则问题是渲染问题，而非链接图谱问题。

原始响应中缺少标题或正文内容单薄是一个快速信号，也是人们最常忽略的一点。

按顺序处理列表。第一项的失败通常能解释其余问题，因此在修复之前无需检查其他项。

• 响应中包含主标题
• 正文文本长于几句话
• 存在作为纯锚文本的内部链接
• 规范标签指向正确的地址

确认sitemap和robots文件一致

sitemap列出了URL，但robots.txt将其屏蔽，这会发出混合信号。在规范主机上检查这两个文件，因为从其他主机提供的副本可能会显示不同的内容。

此类不匹配很少导致整个网站出现问题。但它们会使其他检查更难解读。

如果sitemap包含lastmod值，也请检查它们。从不更改的日期或全部匹配构建日期的日期，向Google提供的关于“新内容”的信息非常有限。

反向链接的作用

来自其他网站的链接是一条发现路径。Google会跟随它，从而可能使页面更早从发现队列中移出。

这并不意味着链接就是索引开关。没有内部链接且只有一个随机反向链接的页面仍然是弱候选者，Google已明确表示它不会索引它发现的所有内容。

使用 toppages 查看哪些URL吸引链接，然后确认这些确切的URL是否已被索引。已链接但索引中缺失是一个值得花一天时间调查的信号。

当你不确定时，查看链接到卡住URL的页面。如果其中没有你自己的页面，问题可能是内部结构而非外部链接。

来自无人阅读页面的链接

来自从未被抓取的页面的链接给Google提供的可跟随内容很少。在将其计为发现路径之前，请检查链接页面本身是否已被索引。

来自旧页面的死链接可能会让某个地址在列表中停留一段时间，但它们很少单独改变判定结果。

内部链接承担主要工作

对自己网站页面的大部分发现发生在网站内部。菜单、分类列表和sitemap对新页面的帮助比一个外部链接更大。

如果页面没有内部路径，外部链接只是对结构缺陷的修补，而缺陷才是需要修复的问题。

如何区分链接深度与质量

被发现但未被抓取的页面通常是优先级问题。Google 已掌握该地址，但认为无需急于抓取，通常是因为指向该页面的内部链接较少。

被抓取但未收录的页面意味着 Google 已阅读该页面但决定不予收录，因此增加链接无法解决内容单薄或重复的问题。

框架结构引入了第三种原因。Next.js 和 React 站点有时会发布仅在 JavaScript 运行后才显示的文本。使用 cURL 获取原始 HTML 并检查其中是否包含您的文本。如果没有，则需要进行服务器端渲染或预渲染，并且在更换技术栈时，应用保持 URL 稳定的方案。

Bing 和 Yandex 有各自的抓取队列，因此在假设问题仅出在您这边之前，请先检查 Bing 站长工具。

一个有用的测试是从两个角度查看同一页面。如果其内部链接数量较少且内容单薄，则原因可能两者兼有，您应在等待之前同时修复这两个问题。

当排除的 URL 激增是参数或站点地图问题时

排除 URL 的突然增加通常有机械性原因。任务是找到生成器，而不是追逐每一个地址。

参数和筛选路径

突然的激增通常可以追溯到开始生成新地址的筛选或排序参数。从报告中抽样十几个并读取它们的查询字符串。

如果变体显示相同的内容，则问题是重复。解决方案是设置规范链接或参数规则，而不是增加更多链接。

注意那些应该存在的页面。当人们确实搜索某种组合时，筛选器值得拥有独立的地址。规则不是阻止所有参数，而是决定哪些组合值得拥有地址。

列出不正确主机的站点地图

为 http 版本或现在重定向的主机构建的站点地图，会向 Google 提供一个它不会信任的列表。打开文件，并将前十个地址与您的规范主机进行核对。

先修复列表。发布干净的站点地图成本为零，并且可以从调查中消除一个变量。

托管和机器人阻止陷阱

Hostinger、Cloudflare 和类似的层有时会对 Googlebot 进行速率限制，同时完美地服务于人类用户。网站对您来说看起来正常，但对爬虫来说却时好时坏。

读取包含 Googlebot 的用户代理的 403、429 和 5xx 响应的原始访问日志。通过反向 DNS 验证这些命中，因为许多爬虫会伪造名称。

AI 爬虫是一个单独的决策。在 robots.txt 中阻止 GPTBot 或 ClaudeBot 不会影响 Googlebot，但粗心的通配符规则可能会。每次编辑后测试该文件。

测试副本需要小心处理。当其中一个成为问题时，将其置于密码保护之下，并在搜索控制台中请求移除。单独的 noindex 标签可能会被一次部署所覆盖。在整合主机之前，请参阅重定向方案。

速率限制通常只在繁忙时段出现。在午夜运行的检查可能看起来干净，但下午的日志则讲述另一个故事，因此在做出决定之前，请采样多个时间窗口。

记录您更改的每条防火墙规则。为阻止一个爬虫而添加的规则也可能阻止爬虫，其症状可能仅在稍后以覆盖率的悄然下降形式出现。