限制Bing等搜索引擎抓取频率降低服务器负载

在网站流量没有明显增长的情况下，发现网站服务器太卡，那么就需要考虑下是不是哪里出问题了。通常如果网站没有做升级和技术修改，问题都出现在外部，例如网站被采集了，或者被搜索引擎疯狂抓取。

最近没事看下服务器监控信息，发现服务器cpu占用非常高，如下图：

分析了网站日志后发现是bing的机器人抓取太频繁了，所以我们需要来解决一下。

解决办法就是限制bing的抓取频率。

方法一：在管理员后台设置

如果你注册过Bing webmaster工具，那么可以在后台找到Crawl Control菜单，然后在右侧设置下抓取频率即可。

方法二：通过robots.txt文件设置

如果你还不知道robots.txt是什么请先阅读：robots.txt是什么_WordPress正确的robots写法和生成工具

我们可以在robots.txt里面增加crawl-delay 这个参数。

User-agent: *
Crawl-delay: 1

上面的代码代表所有搜索引擎限制抓取频率为慢。

如果不设置Crawl-delay就代表由搜索引擎自己决定抓取频率。

这个值可以设置1、5、10，分别对应慢、非常慢、极慢。

如果是其他搜索引擎，例如Google、百度这些，都可以在对应的站长工具里面设置抓取频率，也可以通过robots.txt文件设置，相对来说，robots.txt生效时间会慢一点。

标签：负载频率搜索引擎服务器