收录问题 –为什么你的网站没有充分收录？

想知道为什么你的网站没有被搜索引擎充分索引吗？充分索引是SEO的基础，只有实现充分收录，不存在收录问题，网站的总体流量才能上去。但是为什么你的网站没有被充分收录？

这里有两个网站，抓取的网页数量都增加了，但是前面一个收录数（已编入索引的网页）却降低了，而后一个网站收录数却在增加，这两个网站有什么差别？为什么它们会出现相反的结果？本文将从 Bing 搜索引擎（必应）的角度分析这个问题。

一、收录问题背后的原因

收录问题引起的原因可能有多个方面。

这个问题一般存在于新手当中。比如下面的 robots.txt 文件：

User-agent: *
Disallow: /

这里第一行表示所有客户端都可以访问，第二行则表示不能访问网站的任何页面。

有的人可能会问：如果照这样说，为什么我的网站被某些搜索引擎收录了？答案是这些搜索引擎不遵守 robots 协议，而 Bing 是遵守 robots 协议的，因此 Bing 不会索引你的任何页面。

当然有时候你会想阻止搜索引擎搜索某些页面，但这是 robots.txt 更高级的用法。

上面 robots.txt 的问题很明显，可以很容易排除，但是还有其它一些东西可以影响索引的效果。

在必应 Bing 网站管理员工具中有一个特性叫抓取控制，通过这个特性，你可以控制抓取的频率和 Bingbot 在什么时间抓取您的网站内容。如下图所示：

这是一个非常方便的工具（ Google 网站管理员工具没有这个工具），但是要想用好它，你必须理解如何使用它。

在使用这个工具时，你必须考虑以下几点：

抓取速度设得越慢， Bingbot 在抓取你的网站时就会越慢，对网站的影响就越小。对于大的网站，这会让Bingbot很难抓取所有内容。
如果将抓取速度设置为最大，那么Bingbot会提高抓取速度，对于现在的大部分网站，这不是问题。但是必须考虑你的服务器是否能够承受得起，搜索引擎的爬取内容工作是否会影响网站正常用户的访问和使用。
这个工具可以控制在一天的不同时间段抓取的速度，因此你可以轻松地进行设置。当你的用户不访问你的网站或在线用户数较少时，可以提高抓取速度，当用户访问高峰期时降低抓取速度。因此在设置抓取速度前需要确定网站的忙时和闲时，可以查看网站统计的数据获得这个数据。

有些主机商为了保护他们的服务器和限制带宽的使用，会阻止某些蜘蛛的访问，因此必须确定你的网站没有阻止Bingbot的抓取。如果抓取不了，那自然是无法索引的。

一个常见的问题是服务器有访问数限制或连接数限制。这些限制用来保护系统，防止DDOS攻击，是一种合理的措施。但不幸的是很多系统管理员设置了太低的限制值，这些限制值会影响SEO的工作。这个问题在产生大量新内容的大型网站尤其突出。还是那句话：不能抓取就不会索引。

可以使用以下方法对网站进行测试，以确定问题所在。

使用 Bingbot 提取进行测试，确定是否网站页面被阻止Bingbot访问了。通过它可以确定 robots.txt 文件是否存在问题，主机商是否阻止了 Bingbot 。
检查抓取错误报告。对于500错误，搜索引擎会在稍后的时间重新抓取，此时应及时检查服务器，恢复网站的正常运营。对于404错误，这是需要重点关注的错误，大量的404错误突然出现说明网站的某部分内容出现了问题，可能某部分内容发生了移动但是没有做301转向，当出现这种问题时搜索引擎需要很长时间才能反应过来，它需要时间来抓取新的内容和索引新的页面。站长们应该避免出现这类问题。

关于收录问题你还可以查看以下资料：

Indexing issues? Let’s examine the most common problems. - 实现上这篇文章就是转载此文，只是翻译了一下，如果想看原文的可以直接浏览。
对于 Bing 的索引，还可以参考这一篇文章： To Crawl or Not to Crawl, That is Bingbot’s Question （关于Bingbot 是爬取还是不爬取的困惑），通过此文，你可以获取 Bing 对于索引的更多细节。
当然有时候收录了并不表示排名就高， SEO 就做得好，有时似乎收录高，但是网站流量也不见涨，这是为什么？可以查看收录很多，但是没有排名是怎么回事？了解更多关于这个问题的背后原因和解决方法。
对于国内用户来说，百度比必应和 Google 更重要，百度的收录问题同样是困扰广大站长们的一个难题。百度的收录问题也有方法解决，可以查看百度不收录或收录数不增加的解决方法获取更多细节。