鍍金池/ 問答/Python  Linux/ Python如何爬取多個(gè)Request URL不變,F(xiàn)orm Data改變的頁面

Python如何爬取多個(gè)Request URL不變,F(xiàn)orm Data改變的頁面?

在爬取香港交易所的股票數(shù)據(jù)時(shí)鏈接描述,發(fā)現(xiàn)頁面的Request URL沒有改變。直接post日期,也只返回最近一日的數(shù)據(jù)。

clipboard.png

clipboard.png

url = 'http://sc.hkexnews.hk/TuniS/www.hkexnews.hk/sdw/search/mutualmarket_c.aspx?t=sh'
payload = {'ddlShareholdingDay':'4', 'ddlShareholdingMonth':'11','ddlShareholdingYear':'2017'}
r1 = requests.post(url, payload)
soup = bs(r1.text,'lxml')
soup

clipboard.png

嘗試post 11.4的日期,返回11.6(昨日)的數(shù)據(jù)。

Form data里面還有其他參數(shù),加到payload之后不返回任何數(shù)據(jù)。

剛剛學(xué)習(xí)Requests和BeautifulSoup包,很不熟練,請大家指教。

回答
編輯回答
薄荷綠

如果有精力就研究一下那些不規(guī)則的參數(shù)值怎么生成的,你也可以照著寫一份,如果沒有精力就用selenium來解決吧

2017年8月20日 11:44