ngnix防采集过滤规则分析

阿里 阅读:148 2021-09-18 13:53:11 评论:0
本文章主要介绍了ngnix防采集过滤规则,具有不错的的参考价值,希望对您有所帮助,如解说有误或未考虑完全的地方,请您留言指出,谢谢!

1.根据访问地址过滤。

检测到访问地址有test=这些关键词,自动跳转到公安备案网。

if ($request_uri ~* test=) {  
 
return 301 http://www.beian.gov.cn;  
 
}

2.根据访问地址过滤。

检测到来源地址有Baiduspider,自动跳转到公安备案网。

if ($http_referer ~* Baiduspider) {  
 
return 301 http://www.beian.gov.cn;  
 
}

3.根据ua过滤

检测到ua,有Baiduspider直接过滤。反正被打也会打不开,跟过滤蜘蛛一个性质!

if ($http_user_agent ~* Baiduspider) {  
 
return 444;  
 
}

4.检测代理IP

检测代理IP是否设置

if ($proxy_add_x_forwarded_for != $remote_addr){  
return 444;  
}


标签:爬虫
声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

发表评论
搜索
KIKK导航

KIKK导航

排行榜
关注我们

一个IT知识分享的公众号