不管内容写得多么好，如果你的网页没有被自然搜索收录都是白搭。网站的收录率，是网站的网页被收录在搜索索引库中的百分比。我们应该至少每周检查收录率。一是要追踪工作的进度，看看消除蜘蛛陷阱和激活蜘蛛路径的工作进行的如何，二是对收录率每周的检查，也可以及时发现网站上是否存在蜘蛛陷阱。
通常，IBM的网站（www.ibm.com）有超过200万个网页中Google的搜索索引库中——直到有一天每周的索引检查显示只有5000个页面。不需要进行任何时髦的收录率运算就可以知道肯定是什么地方出了可怕的错误。
因为没有对站点实施主要的构架上的或者导航型的变化，不像是所有的蜘蛛通道都被去掉了，这样一个索引库中页面的急剧下降指向一个新的蜘蛛陷阱，因此专门的一个蜘蛛程序被放出来查看出了什么问题。
不需要花很长时间来确实出了什么问题。当蜘蛛程序爬过ibm.com首页，它就停下死在那里了，返回一个报错。对那个页面的检查显示出新的Javascript已经被加在首页上，要求想进入网站的人要激活使用JavaScript。如果你没有激活它，你就被挡在站点之外——你已经被出示了报错信息来解释需要JavaScript。
被误导的网站开发人员将这个功能放在这里是想要帮助访客访问ibm.com，因为站点上有些网页确实需要Javascript（大多数在电子商务网站订购流程的网页）。但是搜索蜘蛛现在不能够收录任何通过首页才能到达的页面，因此只有几千个网页留在索引库中（只是因为他们被其他站点直接链接）。
显示这个问题持续了大约一个月，并且在很多次失败的爬行之后，Google从其索引库中拿下了大多数ibm.com的网页。一旦首页修改了以后，蜘蛛程序再次没有障碍的爬过站点，导致网页又回到了索引库里。
如果IBM没有进行每周的收录率检查，搜索引荐可能会下降一周或者更长时间，直到某人注意到问题为止。
摘自《解密SEO-搜索引擎优化》
搜藏
添加到雅虎收藏