我们经常会提到“爬行” Crawling和“索引” Indexing，这2个词并不是同义词，而且区别很大。
爬行Crawing是搜索引擎请求的过程——成功下载一个唯一的URL。妨碍搜索引擎爬行的因素有：没有反向链接的URL，服务器宕机，robots排除，或使用搜索引擎蜘蛛不能发现的链接脚本（如JavaScript链接)。
索引/收录Indexing
索引是爬行成功的结果。一个URL被（Google）索引意味着当你请求info:url 或cache:URL的时候会出现一个结果。妨碍搜索引擎索引的因素有：重复内容（搜索引擎可能会发现很多个页面有相同的内容，这种情况下，搜索引擎只会选择其中一个页面进行索引）、服务器不稳定（如果搜索引擎只有三分之一的请求可以成功通过，那么它可能会决定不索引这个页面）等等。
The Difference Between Crawling and Indexing
http://seoblog.intrapromote.com/2008/08/the_difference_1.html
搜藏
添加到雅虎收藏