可以使用xpath 獲取每一個DIV下的兩個span 然后再對span進(jìn)行文本獲取
文本測試如下

<span>
    <span>test</span>
    <span>.pdf</span>
</span>

from lxml import etree
html = etree.parse('hello.html')
result = html.xpath('//span/span/text()')
print(result)

運(yùn)行結(jié)果['test', '.pdf']

為何不嘗試下beautifulsoup4呢（笑）

上面的代碼，只是在一個數(shù)組里面放了一個空數(shù)組而已

嚴(yán)格意義上，JavaScript并沒有二維數(shù)組的概念。

后面很明顯是一個圖片，而且圖片也是比較簡單的數(shù)字圖片
找一個圖片識別工具進(jìn)行識別就可以了
Python的圖片識別工具還是挺多的
建議搜索 Python 驗證碼識別

@可好了 謝謝你的回復(fù)，我已經(jīng)把需要的飛機(jī)場代碼給爬取到了我是使用的這個地址拼裝的http://flights.ctrip.com/inte... ，現(xiàn)在的主要是效率，太低。模擬一次請求，需要大概20秒的時間，才能把整個航線的航班數(shù)據(jù)爬取下來。 多線程的跑selenium 有很多問題。今天在看一下

修改配置文件后，報了一個權(quán)限錯誤。。

$data = array('2018/04/16','2018/04/17','2018/04/18','2018/04/19','2018/04/20','2018/04/21','2018/04/28');

又是引用問題

var a = {};
var b = a;
b.id = 1;
console.log(a)//{ id: 1 }

沒有太好的辦法，只能先取出原始值，然后根據(jù)當(dāng)前的網(wǎng)址計算絕對網(wǎng)址。具體的算法可以百度：js 相對網(wǎng)址轉(zhuǎn)絕對

我是提問者，我自己也想了個辦法。但是我覺得不如“prolifes同學(xué)”的答案來的清晰。

分享給大家我的辦法：使用了兩層的字典推倒式。

data = {k:{g.valuesi:g.valuesi for i in range(len(g))} for k,g in df.groupby('code')}

刪除文件夾下的numbers.pyc重新執(zhí)行下代碼

binning的部分可以用 case_when

library(tidyverse)

data %>%
mutate(V2 = case_when(V2 %>% between(0,1) ~ "0-1",
                      V2 %>% between(1,2) ~ "0-2",
                      TRUE ~ ">=3") %>%
group_by(V2) %>%
summarize(mean_value = mean(V1))

是不是 R 的代碼比上面的 更用戶友好點。

LinkExtractor這里面寫的不是正則寫的是你匹配的下一頁的url里面的東西LinkExtractor（r'/subject/d+/'）

就是切換的時候塞數(shù)字的問題，為什么要用定時器呢，而且還是間隔一段時間執(zhí)行的
你不停的點擊不就有越來越多的定時器在執(zhí)行么，后面都不知道誰先執(zhí)行，誰后執(zhí)行

微博pc端很難爬，你得做好心理準(zhǔn)備

已經(jīng)很短了，pandas的設(shè)計思想有點類似于orm，參考http://www.cnblogs.com/en-hen...
所以對于處理數(shù)據(jù)可以類比sql， 比如你的

dataframe[b][dataframe[a]==1].values[0]

類比于sql就是

      選取列dataframe[b]            條件dataframe[a]==1  取第1個數(shù)values[0]
SELECT dataframe.b FROM dataframe WHERE dataframe.a=1 offset 0 limit 1

這樣方便與擴(kuò)展

當(dāng)然也可以寫成

dataframe[dataframe[a]==1][b].values[0]  #結(jié)果一樣，但是過程不一樣

getElementsByTag

可以通過捉包得出, 登錄url 不是https://passport.csdn.net/acc...
而是這個https://passport.csdn.net/acc...
session.post(url，data=post_data, headers=headers)
中的url 改回 https://passport.csdn.net/acc... 就可以登錄

我不是很理解你這個有效封裝具體指的是什么？

你想問的是如何數(shù)組去重嗎？

簡單粗暴的方法，截圖