前几天，Google站长管理员发布了一款新的站长工具——robots.txt 生成器。robots.txt 文件使你能够指定你希望阻止其在你网站上抓取文件的漫游器（也被称为"bots"、"抓取工具"、“搜索引擎蜘蛛”）。网络上有很多各种各样的robots.txt 生成器。但这一款是第一个由搜索引擎自己提供的生成器工具。
robots.txt文件其实很简单，只有几个简单的命令，用记事本就可以编辑了。但是对于很多菜鸟站长来说，robots.txt文件还是太过于复杂了。使用网站管理员工具 robots.txt 生成器，你就能够轻松创建 robots.txt 文件了。
登陆Google网站管理员（https://www.google.com/webmasters/），选择你要检查的站点，在点击工具，就可以看到robots.txt 生成器工具了。
路径：控制台>工具>生成 robots.txt(Generate robots.txt)
1. robots.txt生成器工具默认选项是“允许所有漫游器”——允许所有的搜索蜘蛛抓取网站。如果你也是希望这样的话，那么根本没有必要创建一个robots.txt文件。
2. 你可以修改默认选项为“拦截所有漫游器”，这样做，你会得到下面的2行代码：
User-Agent: *
Disallow: /
这2行代码意味着你网站上的所有网页对所有的搜索引擎蜘蛛都不允许抓取。
3. 如果你只想阻止某个特殊的蜘蛛，你可以先选择蜘蛛名称，然后再列出你要禁止的目录或文件名称，比如images文件夹，你会得到下面这样的代码：
User-Agent: *
Allow: /
User-Agent: Googlebot
Disallow: /images/
Allow: /
第一部分表示允许所有的蜘蛛进入（其实这部分完全不需要），第二部分表示Googlebot不允许抓取images文件夹里的内容。
这个工具中只是列出了Google的蜘蛛，不过你也可以自己定义想要禁止的别的搜索引擎蜘蛛名称。
当你使用 robots.txt 生成器创建文件后，可以下载文件并将其保存于你服务器的顶级目录下。
如需转载，请注明来自豆苗网http://www.doumiao.net,谢谢！
