Yahoo周一宣布，将推出第三代网络爬虫Yahoo! Slurp 3.0。
Yahoo周一宣布，将推出第三代网络爬虫Yahoo! Slurp 3.0。
新的爬虫仍将包含所有的robots.txt规则，只是名字由“Slurp2.0”变成了“Slurp3.0”
Yahoo提醒用户将有两个变化：
（1） 新的爬虫将使用新的IP段，但仍然从crawl.yahoo.net的DNS中找到。所以如果您正使用基于IP的规则，务必关注并添加它们的IP段到您的数据库中。
（2） 新的爬虫将返回新的“user agent”。如果你将User-agent设为"Slurp" 或“Yahoo! Slurp”，该命令仍将有效，但如果你是设为“Slurp/2.0”，将会产生一些问题。所以Yahoo建议您在Robots.txt文件要使用“User-agent: Slurp”。
如需转载，请注明来自豆苗网http://www.doumiao.net,谢谢！
