鍍金池/ 問答/人工智能  數(shù)據(jù)分析&挖掘  Python/ 用Crawlspider爬取帶分頁的網(wǎng)頁(相對路徑報錯,大家能幫我看看哪里錯了嗎

用Crawlspider爬取帶分頁的網(wǎng)頁(相對路徑報錯,大家能幫我看看哪里錯了嗎)

clipboard.png
主要需求是:根據(jù)網(wǎng)址中的日期來過濾,但是有些網(wǎng)頁中的“下一頁”是相對地址,對于這些地址我組裝后在進行爬取,但是去沒有成功,有大神能幫我看看哪里不對嗎?用的是Crawlspider,多謝了~

回答
編輯回答
乖乖噠

先檢查拼接后的新網(wǎng)址有沒有問題?手動在瀏覽器中能不能打開。

2018年9月18日 05:53