鍍金池/ 問答/數(shù)據(jù)分析&挖掘  Python/ 請問這種情況為什么爬取不了標(biāo)簽的內(nèi)容

請問這種情況為什么爬取不了標(biāo)簽的內(nèi)容

圖片描述

圖片描述

如圖,只返回了標(biāo)簽,但內(nèi)容都沒了。我才學(xué)爬蟲沒多久,也不知道錯的原因

回答
編輯回答
怣痛

你先查看頁面源代碼,如果里面沒有你想要的數(shù)據(jù),就說明這些數(shù)據(jù)都是ajax異步加載的(目前絕大多數(shù)網(wǎng)站數(shù)據(jù)都是異步加載的)。如果是異步加載,你就需要找到那個(gè)ajax的URL,看看所需參數(shù),然后自己模擬請求。

2018年8月5日 07:49
編輯回答
膽怯

你可以換幾種方法測試,例如正則,或pyquery,等方法,看是否成功,
但看你這個(gè)情況,網(wǎng)頁多半是ajax刷新的,或者,你設(shè)置一個(gè)time函數(shù),暫停一下再抓取。

2018年4月28日 23:24