如果robots.txt限制了那个网页，那么robots标签说什么都不重要了，因为蜘蛛程序根本不会看那个网页。但是如果robots.txt允许蜘蛛程序来访问网页，那么蜘蛛程序在访问页面时就会看robots标签。
robots meta标签的影响仅限于它所在的文件。要防止所有搜索引擎蜘蛛将你网站中的一页编入索引，要将以下代码放入网页的 <HEAD> 部分：
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
要允许其他搜索引擎蜘蛛将你网站中的页面编入索引，而只防止 Google蜘蛛将你网站中页面编入索引，应使用以下标记：
<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW">
允许搜索引擎蜘蛛将你网站中的页面编入索引，但要指示它不追踪外部链接，应使用以下标记：
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
选择使用robots标签而不是robots.txt文件，原因在于你的网站上只有一两个文件需要排除在外，或者你只想进行临时性的简单排除，还有一种可能，你没有访问网站根目录的权限。
站点上的有些网页只能按顺序从头开始查看，例如一个虚拟演示。尽管有些搜索者会不按顺序从中间来访问，有些站点的负责人可能不想让他们这样做，因此这些管理员会在虚拟演示的第一页上加上robots标签，指明“index，follow”（可收录可跟随）并且在所有其他页面上具体知名“noindex，nofollow”（不收录，不跟随）。
如需转载，请注明来自豆苗网http://www.doumiao.net,谢谢！
