鍍金池/ 問答/數(shù)據(jù)分析&挖掘  Python  網(wǎng)絡(luò)安全/ 大眾點評最新反爬:識別動態(tài)秒切代理IP?

大眾點評最新反爬:識別動態(tài)秒切代理IP?

本人最近在爬大眾點評的店鋪首頁,Url類似于http://m.dianping.com/shop/4094416。因為大眾點評有針對IP的反爬,所以我就搞了一條動態(tài)IP隧道,能夠秒切IP,也就是每次請求換一個IP,這個我用http://httpbin.org/get網(wǎng)站也驗證過了,的確是一次請求一個IP。

但是我用上述方法,爬取大眾點評店鋪首頁,并且控制請求間隔時間為1s,最終還是被ban掉了,如下圖:

clipboard.png

于是我想看一下被ban的請求的響應(yīng)的頭信息是什么,結(jié)果是:

{'Date': 'Thu, 07 Jun 2018 17:45:05 GMT', 'Content-Type': 'application/octet-stream', 'Content-Length': '0', 'M-Appkey': 'com.sankuai.rc.mtsi.optimus', 'M-SpanName': 'OptimusController.optimusAuthorize', 'M-Host': '10.73.137.220', 'M-TraceId': '3536539434466270722', 'Pragma': 'no-cache', 'Cache-Control': 'no-cache', 'Vary': 'User-Agent, Accept-Encoding', 'Age': '0', 'Accept-Ranges': 'bytes', 'Connection': 'keep-alive'}

請問大眾點評是如果做到ban掉動態(tài)秒切的代理IP的?

另外,該網(wǎng)站請求并不需要cookie或奇奇怪怪的頭信息,我用攔截了cookie的chrome瀏覽器打開http://m.dianping.com/shop/4094416,請求頭信息是:

clipboard.png

可以看到這個頭信息非常普通,所以到底是怎么做到的???

回答
編輯回答
離殤

1.可能有關(guān)于瀏覽器指紋的js算法
2.chrome驅(qū)動特征值

現(xiàn)在的技術(shù)發(fā)展太快了,切換IP已經(jīng)不是殺手锏了,各種特征值和指紋不需要匹配IP就可以ban你

2017年9月22日 03:51