鍍金池/ 問答/數(shù)據(jù)分析&挖掘  Python/ 使用b站api獲取播放量信息出現(xiàn)了無法連續(xù)獲取的問題

使用b站api獲取播放量信息出現(xiàn)了無法連續(xù)獲取的問題

api:http://api.bilibili.com/x/web...
在庫里已經(jīng)有了70w個aid,每天凌晨按aid獲取視頻播放量更新
然后今天凌晨突然出現(xiàn)了問題,每次獲取200-300條數(shù)據(jù)后,就會出錯,之后的數(shù)據(jù)全都會出錯,例如:
錯誤號: 403
用戶IP: 112.28.149.110
前端服務(wù)器: cn-jswx-cmcc-w-02
處理服務(wù)器: shylf-ops-slb-09
請求地址: http://api.bilibili.com/x/web...

2分鐘后再來,出錯就會“解決”,再獲取200-300條不等后,問題又會出現(xiàn)。

這是今天新出的反爬蟲機制?
上面的報錯不是python的報錯,而是瀏覽器頁面的報錯。即原本應(yīng)該出現(xiàn)一組json數(shù)據(jù),但現(xiàn)在是“非常抱歉,你要找的頁面不見了”

這和我的ip 有關(guān)嗎
有解決的辦法嗎

回答
編輯回答
瘋子范

這是一個非常常見的反爬策略,同一IP某一時間段訪問過于頻繁,限制請求多長時間
如果你對數(shù)據(jù)的時效性要求不高,可以設(shè)定請求間隔,比如0.5秒,1秒
如果對時效性要求比較高,則可以使用代理ip的方式

2017年1月3日 19:21