nginx修改配置限制恶意爬虫频率

服务器 2024/12/23 佚名

2 0 1

极乐门资源网 Design By www.ioogu.com

如何在nginx中限制恶意网络爬虫抓取内容呢？也就是限制下恶意爬虫的抓取频率。下面来一起看看。

今天在微博发现@金荣叶的处理方法很灵活，可以动态设定一个爬虫的频率，达到减轻服务器负载，并且不至于封杀爬虫。

#全局配置

limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;

#某个server中

limit_req zone=anti_spider burst=30 nodelay;

if ($http_user_agent ~* “xxspider|xxbot”) {

set $anti_spider $http_user_agent;

}

超过设置的限定频率，就会给spider一个503。

总结

以上就是nginx修改配置限制恶意爬虫频率的全部内容，希望对大家的工作和学习能有所帮助，如果有疑问可以留言交流。

nginx,频率限制,nginx防爬虫配置,nginx,限制爬虫

标签：

nginx,频率限制,nginx防爬虫配置,nginx,限制爬虫

极乐门资源网 Design By www.ioogu.com

极乐门资源网 免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

极乐门资源网 Design By www.ioogu.com

评论“nginx修改配置限制恶意爬虫频率”

暂无nginx修改配置限制恶意爬虫频率的评论...

更新日志

2024年12月23日

nginx修改配置限制恶意爬虫频率

nginx,频率限制,nginx防爬虫配置,nginx,限制爬虫

CentOS 6.5上的Tomcat启动报错问题解决方法

environments was not found on the java.library.path 问题的解决方法

评论“nginx修改配置限制恶意爬虫频率”

更新日志

友情链接