宝塔面板nginx防火墙非浏览器拦截真的有用吗?

更新8.7.3版nginx防火墙后,小白发现多了一个“非浏览器拦截”。宝塔官网对此功能只说明了建议开启此功能,拦截非浏览器请求,此开关将应用所有网站(建议开)。但是小白实测开启后会拦截部分蜘蛛。小编赵一八笔记(www.fuwuqidl.com)目前罗列下今天被拦截的几个蜘蛛。其中一大票都是真的蜘蛛。虽然他们的UA确实比较奇怪。

1、106.11.159.74、106.11.153.36、106.11.159.81、106.11.155.37、106.11.153.34

被拦截useragent:Mozilla/5.0 (iPhone; U; CPU iPhone OS 10_3_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293 Safari/6531.22.7

反查IP:shenmaspider-106-11-159-74.crawl.sm.cn

虽然使用了阿里云服务器IP,AS37963。但是人家是真真正正的神马搜索蜘蛛。

2、111.202.101.82、111.202.101.18

被拦截useragent:Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0

反查IP:sogouspider-111-202-101-82.crawl.sogou.com

搜狗蜘蛛,使用了奇怪useragent。

3、42.156.254.20

被拦截useragent:Mozilla/5.0 (iPhone; U; CPU iPhone OS 10_3_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293 Safari/6531.22.7

反查IP:shenmaspider-42-156-254-20.crawl.sm.cn

神马蜘蛛,奇怪IP。

4、49.7.21.113、49.7.21.104

被拦截useragent:Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0

反查IP:sogouspider-49-7-21-113.crawl.sogou.com

搜狗蜘蛛奇怪UA。

5、123.183.224.158

被拦截useragent:Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0

反查IP:sogouspider-123-183-224-158.crawl.sogou.com

搜狗蜘蛛奇怪UA。

赵一八笔记点评,目前宝塔的nginx防火墙。非浏览器识别会拦截部分搜狗和神马的蜘蛛。如果你比较在乎这两个搜索引擎。建议关闭这个功能。误报率挺高。当然也有一部分因素是搜索引擎自身使用了比较奇怪的UA。

目前百度和谷歌系列的蜘蛛并没有被宝塔非浏览器拦截。所以说还是比较好用的。

如果你想体验下宝塔nginx防火墙,可以点击领取宝塔3188元代金券(https://www.bt.cn/?invite_code=MV9wZmViZHM=)。券后0.99元体验专业版。专业版免费使用所有专业版插件,包含nginx防火墙。抵扣券可用于专业版、企业版、插件、月付、年付、永久。

(0)

相关推荐

  • 锲而不舍,爬虫的魂

    写爬虫经常被封锁,常用的策略有伪装成浏览器,降低访问频率,还有一个是修正一下重新爬.关于代理IP不在本文范畴,我们只需要够用的数据即可,一般一个IP,一台机器慢慢的爬就可以了. 分别看看这几个策略的实 ...

  • fake-useragent库:值得花2分钟学习的库

    前几天意外找到一个简单实用的库- fake-useragent,可以伪装生成headers请求头中的User Agent值.再也不用,重复做复制粘贴这种很Low的工作了. 安装 pip3 instal ...

  • 构建User-Agnet代理池

    在编写爬虫程序时,一般都会构建一个User-Agent(用户代理)池,就是把多个浏览器的UA信息放进列表中,然后再从中随机选择.构建用户代理池,能够避免总是使用一个UA来访问网站,因为短时间内总使用一 ...

  • 百度蜘蛛Baiduspider真假识别如何呢?

    之前百度站长平台接到某站长求助,表示误封禁了Baiduspider的IP,询问是否有办法获得Baiduspider的所有IP,打算放入白名单加以保护,防止再次误封.在此百度官方告诉各位站长,Baidu ...

  • python接口自动化42 - 生成随机请求头部UserAgent(fake_useragent)

    前言 如果网站对请求头部有限制,短时间内频繁访问会被锁定,可以使用随机请求头部伪装不同浏览器 使用 python 第三方模块 fake_useragent 随机生成请求头部 UserAgent fak ...

  • 服务器Linux宝塔面板 升级切换Nginx版本教程

    如何升级宝塔面板的Nginx版本? 可能很多人不知道如何切换Nginx版本,其实在宝塔面板中切换是相当简单的. 今天为大家写一个宝塔面板 Nginx 版本切换的教程. 1.登录你的宝塔面板 2.点击 ...

  • 宝塔面板FTP账户无法连接登录详细解决方法

    前提准备: 云服务器一台:我的服务器是阿里云服务器.你有其它的云服务器也可以操作. 云服务器需要安装宝塔面板:参考教程:云服务器安装宝塔面板(超详细)新手必读 FileZilla客户端(连接FTP空间 ...

  • 2021宝塔面板安装教程(更新安装视频教程)

    这篇宝塔安装教程奶爸建站笔记会教大家在自己的VPS上面安装好宝塔面板,宝塔面板是一款服务器运维软件,可以帮助新手管理VPS服务器,然后在服务器上面搭建网站或者其他程序,如果你还不会安装宝塔,那么就跟着 ...

  • 宝塔面板安装Rsshub,并设置反代;可订阅Telegram频道等

    一.安装宝塔 安装宝塔,并最少安装Docker管理器:Nginx用于反代 yum install -y wget && wget -O install.sh http://downlo ...

  • linux centos7安装宝塔面板 视频教程

    linux centos7安装宝塔面板 步骤一:首先用SSH远程工具连接到远程服务器,打开宝塔官网. 步骤二:找到Linux版. 步骤三:找到Linux面板命令大全. 步骤四:这里可以找到宝塔面板Li ...

  • 宝塔面板安装服务器运行环境

    宝塔面板安装服务器运行环境 步骤一:宝塔面板安装完成后首次登陆,需要勾选同意用户协议,勾选同意用户协议后进入面板. 步骤二:首次进入会弹出推荐安装套件提示,根据业务需要选择LNMP或者是LAMP环境, ...

  • 宝塔面板修改root密码

    步骤一:登录宝塔面板后台,在左侧菜单找到软件商店,点击进入,找到系统工具,找到Linux工具箱,点击设置. 步骤二:找到系统密码,输入新密码,再次输入密码确认,点击修改,这样就利用宝塔面板修改root ...

  • 宝塔面板怎么添加FTP

    宝塔面板怎么添加FTP 步骤一:登录到宝塔面板. 步骤二:在左侧菜单找到FTP并打开中,点击添加FTP填写FTP用户名,FTP密码为自动生成,根据需要可自定义修改,选择FTP根目录,我这里选择网站目录 ...

  • 宝塔面板怎么修改8888默认访问端口

    宝塔面板怎么修改8888默认访问端口 步骤一:登录到宝塔面板后台,在左侧菜单栏找到面板设置,点击打开,找到面板端口, 右 侧可以看到建议端口范围为8888-65535,点击修改. 步骤二:需要注意的是 ...