robots.txt文件很重要，但如果我们写错的话，可能会给网站带来很大的麻烦，如果有个工具能帮我们测试的话，我们就可以更方便的了解robots.txt文件的设置是否符合我们所预期。
Google网站管理员里有一个分析robots.txt工具，可以帮助我们分析robots.txt是否成功设置了阻止Google蜘蛛对特定网页的访问，以及robots.txt是否有语法错误等等。
1. https://www.google.com/webmasters/tools/
进入后，选择你要分析的网站，然后选择工具>>分析robots.txt
2. 进入后你可以看到有关你网站的robots.txt的基本信息
3.下面是一个文本框列出了你网站的robots.txt文件的内容
在这个文本框中你可以修改robots.txt内容，以进行测试，注意，在这个文本框修改此文本时，并未更改网站上的 robots.txt 文件。在这里测试完 robots.txt 更改后，还要对网站上的文件进行相应更改。
4. 要测试目标文件是否被阻止，只要在下面的文本框输入要测试的网址就好了。还可以选择要测试的Googlebot。如果你测试的是图片，可以选择Google图片搜索蜘蛛。
5. 之后就可以看到测试的结果
如需转载，请注明来自豆苗网http://www.doumiao.net,谢谢！
搜藏
添加到雅虎收藏