鍍金池/ 問答/數(shù)據(jù)分析&挖掘  Python/ 爬蟲學(xué)習(xí):為什么封裝函數(shù)與否使得返回的結(jié)果不一樣?

爬蟲學(xué)習(xí):為什么封裝函數(shù)與否使得返回的結(jié)果不一樣?

我正在學(xué)習(xí)爬去天涯論壇的帖子,遇到了一個很奇怪的現(xiàn)象:同樣的代碼如果直接執(zhí)行可以獲取到頁面完整的帖子信息,但如果封裝成函數(shù)再執(zhí)行就只能獲取到其中的一個帖子。為什么一樣的代碼會有不一樣的效果呢?這里mark一下,如果有緣遇到懂的大神求指教!

# 封裝成函數(shù)

import requests
from bs4 import BeautifulSoup
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}

def get_content(url):
    res = requests.get(url,headers = headers)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text,'html.parser')
    contents = soup.find_all('div','bbs-content')
    authors = soup.find_all('a','js-vip-check')
    for author,content in zip(authors,contents):
        data = {
        'author':author.get_text().strip(),
        'content': content.get_text().strip()
    }
        return(data)


url = 'http://bbs.tianya.cn/post-develop-2271894-1.shtml'
print(get_content(url))

結(jié)果如圖(只有一個帖子的內(nèi)容):
clipboard.png

# 沒有封裝函數(shù),直接執(zhí)行

import requests
from bs4 import BeautifulSoup
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}

url = 'http://bbs.tianya.cn/post-develop-2271894-1.shtml'
res = requests.get(url, headers=headers)
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text, 'html.parser')
contents = soup.find_all('div', 'bbs-content')
authors = soup.find_all('a', 'js-vip-check')
for author, content in zip(authors, contents):
    data = {
        'author': author.get_text().strip(),
        'content': content.get_text().strip()
    }
    print(data)

結(jié)果如圖(完整帖子的內(nèi)容):

clipboard.png

回答
編輯回答
薄荷綠

大哥你仔細看你的代碼,你要return的data被for循環(huán)覆蓋了,第二個代碼你用了print(),當(dāng)然每次循環(huán)只是把data打印出來了

2018年4月29日 03:45