鍍金池/ 問答/數(shù)據(jù)分析&挖掘  Python/ 企查查 搜索是如何反爬的

企查查 搜索是如何反爬的

https://www.qichacha.com/

我是用無頭瀏覽器爬的,模擬搜索關(guān)鍵詞 換了動(dòng)態(tài)ip 5秒換一個(gè) 不登陸 ,開始可以搜索關(guān)鍵詞,但是后期不可以了,不知道通過什么反爬的?

回答
編輯回答
下墜

1、某個(gè) ip 短時(shí)間的大量的請(qǐng)求,就會(huì)封 ip,解決辦法,弄 ip 代理。
2、判斷請(qǐng)求間隔時(shí)間
3、弄些空白節(jié)點(diǎn),空白節(jié)點(diǎn)被獲取了就封。

2018年6月18日 02:35