鍍金池/ 問答/數(shù)據(jù)分析&挖掘  網(wǎng)絡(luò)安全/ python爬蟲靜態(tài)頁面爬取

python爬蟲靜態(tài)頁面爬取

通常python爬取靜態(tài)網(wǎng)站之后, 可以使用xpath或者css選擇器去匹配元素, 但是如果html元素是由js獲取數(shù)據(jù)之后動態(tài)構(gòu)成的該如何處理, 打開頁面源代碼

clipboard.png
獲取的數(shù)據(jù)都是在這個ul下的, ul下的li是有js動態(tài)構(gòu)成

clipboard.png

這些數(shù)據(jù)改如何去匹配

回答
編輯回答
遺莣

可以用selenium模擬瀏覽器加載完js然后再去匹配。

2018年6月27日 21:10
編輯回答
憶往昔

需要執(zhí)行js。。。
可以試試用webdriver

2018年8月4日 09:12