除了考虑robots.txt文件要怎样和蜘蛛打交道外，你是否在别的时候也想过你的robots.txt文件呢？事实可能是在你创建它之后，就再也没有睬过它了。那么，现在你最好在重新看一下它，不是从搜索引擎蜘蛛的角度，而是从竞争对手的角度。
你将会很惊讶地发现许多网站和企业使用robots.txt文件来设置某些文件不允许蜘蛛索引，但却没有想到却将这些秘密的文件告诉了他们的竞争者。因为人们在创建robots.txt文件的时候只是想如果蜘蛛不能索引他们，那么人们也就不能搜索到它们。但是当你将这些文件包含在robots.txt文件中的时候，你已经在告诉真实的人们这些文件在哪里。同样让人惊讶的是，大多数这些“秘密的”文件都没有采取保护措施，竞争者们不需要任何权限和密码就可以轻松的获得它们。
通过robots.txt文件人们还能发现你正在给网站增加什么内容，即使你没有宣布这些消息。当你正在工作的内容是你计划在未来几个月后才发布的，不要把它们写在你的robots.txt文件里。否则你的竞争对手会有机会通过robots.txt文件发现这些内容，更糟糕的情况是，如果这些文件是全部开放的，那么他们会知道你所有的工作进展，然后抢先一步发布他们的内容。最好的做法，是将这些文件设置密码保护或者放到另一个域名的网站上进行测试。
你是否不想让你的竞争对手从你的robots.txt文件中发现些什么？仔细查看你的robots.txt文件，是否有一些秘密的文件也列在了上面，如果有的话，从robots.txt文件中删除它们，并给这些页面加上密码保护和Meta Robots标签。
你是否正在为网站增加新的内容但还没打算现在发布它们？同样，使用密码保护或者将所有的内容放到另一个网站中，你可以使用robots.txt文件将这个网站全部关闭。或者最好、最简单的方法是把所有内容放在本地服务器中，直到发布前期在进行简单的线上测试。也就是说，在你需要在线测试的时候，你才把它上传到远程服务器中，测试完毕后，就马上从服务器中删除。
通过巧妙的设置robots.txt文件，你就不会轻易地让你的竞争对手发现你网站上的关键内容，也不会让他们知道你的工作进展。有趣的是，你也可以查看你的竞争对手的robots.txt文件，通常你总能发现至少一两件有趣的事情。
英文原文：What is your robots.txt file telling your competitors about you?（Jennifer Slegg）
http://www.jenniferslegg.com/2008/02/12/what-is-your-robotstxt-file-telling-your-competitors-about-you/
如需转载，请注明来自豆苗网http://www.doumiao.net,谢谢！
