鍍金池/ 問(wèn)答/數(shù)據(jù)分析&挖掘  Python/ 請(qǐng)教爬取淘寶的商品問(wèn)題,急

請(qǐng)教爬取淘寶的商品問(wèn)題,急

我準(zhǔn)備爬淘寶的搜索某商品的結(jié)果頁(yè)列表-

在分析頁(yè)面的html的時(shí)候我發(fā)現(xiàn),淘寶這個(gè)頁(yè)面獲取了數(shù)據(jù)之后,之后顯示到屏幕的才會(huì)加載出數(shù)據(jù)來(lái), 可能描述的不清楚,我貼幾個(gè)圖片。

我要爬取的是下面紅框里的數(shù)據(jù)圖片描述

然后我從頁(yè)面上分析html標(biāo)簽?zāi)玫降臄?shù)據(jù)只有前面這幾個(gè),后面都是空的圖片描述

然后我就用selenium加了一個(gè)滾動(dòng)到底部的操作,結(jié)果就是兩頭有數(shù)據(jù),中間一大片空 。

所以我看了一下,這個(gè)東西是隨著你慢慢的滾動(dòng),才顯示出更多的數(shù)據(jù)的

請(qǐng)教一下大神們,我要怎么樣處理,才能拿到全部的數(shù)據(jù)

回答
編輯回答
耍太極

可以用selenium執(zhí)行javascript命令來(lái)下拉窗口,從而使所有數(shù)據(jù)都加載顯示后,再進(jìn)行數(shù)據(jù)提取

2018年8月20日 21:31
編輯回答
做不到
https://s.m.taobao.com/search?q=iphonex&search=%E6%8F%90%E4%BA%A4&tab=all&sst=1&n=20&buying=buyitnow&m=api4h5&abtest=10&wlsort=10&page=1

用接口吧

2018年4月25日 13:11