大家好,前面入門已經(jīng)說了那么多基礎(chǔ)知識(shí)了,下面我們做幾個(gè)實(shí)戰(zhàn)項(xiàng)目來挑戰(zhàn)一下吧。那么這次為大家?guī)?,Python 爬取糗事百科的小段子的例子。
首先,糗事百科大家都聽說過吧?糗友們發(fā)的搞笑的段子一抓一大把,這次我們嘗試一下用爬蟲把他們抓取下來。
本篇目標(biāo)
糗事百科是不需要登錄的,所以也沒必要用到 Cookie,另外糗事百科有的段子是附圖的,我們把圖抓下來圖片不便于顯示,那么我們就嘗試過濾掉有圖的段子吧。
好,現(xiàn)在我們嘗試抓取一下糗事百科的熱門段子吧,每按下一次回車我們顯示一個(gè)段子。
首先我們確定好頁面的 URL 是 http://www.qiushibaike.com/hot/page/1,其中最后一個(gè)數(shù)字1代表頁數(shù),我們可以傳入不同的值來獲得某一頁的段子內(nèi)容。
我們初步構(gòu)建如下的代碼來打印頁面代碼內(nèi)容試試看,先構(gòu)造最基本的頁面抓取方式,看看會(huì)不會(huì)成功
\# -*- coding:utf-8 -*-
import urllib
import urllib2
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
try:
request = urllib2.Request(url)
response = urllib2.urlopen(request)
print response.read()
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
運(yùn)行程序,哦不,它竟然報(bào)錯(cuò)了,真是時(shí)運(yùn)不濟(jì),命途多舛啊
line 373, in _read_status
raise BadStatusLine(line)
httplib.BadStatusLine: ''
好吧,應(yīng)該是 headers 驗(yàn)證的問題,我們加上一個(gè) headers 驗(yàn)證試試看吧,將代碼修改如下
\# -*- coding:utf-8 -*-
import urllib
import urllib2
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
request = urllib2.Request(url,headers = headers)
response = urllib2.urlopen(request)
print response.read()
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
嘿嘿,這次運(yùn)行終于正常了,打印出了第一頁的 HTML 代碼,大家可以運(yùn)行下代碼試試看。在這里運(yùn)行結(jié)果太長(zhǎng)就不貼了。
好,獲取了 HTML 代碼之后,我們開始分析怎樣獲取某一頁的所有段子。
首先我們審查元素看一下,按瀏覽器的 F12,截圖如下
http://wiki.jikexueyuan.com/project/python-crawler-guide/images/06.png" alt="" />
我們可以看到,每一個(gè)段子都是 <div class=”article block untagged mb15″ id=”…”>…
現(xiàn)在我們想獲取發(fā)布人,發(fā)布日期,段子內(nèi)容,以及點(diǎn)贊的個(gè)數(shù)。不過另外注意的是,段子有些是帶圖片的,如果我們想在控制臺(tái)顯示圖片是不現(xiàn)實(shí)的,所以我們直接把帶有圖片的段子給它剔除掉,只保存僅含文本的段子。
所以我們加入如下正則表達(dá)式來匹配一下,用到的方法是 re.findall 是找尋所有匹配的內(nèi)容。方法的用法詳情可以看前面說的正則表達(dá)式的介紹。
好,我們的正則表達(dá)式匹配語句書寫如下,在原來的基礎(chǔ)上追加如下代碼
content = response.read().decode('utf-8')
pattern = re.compile('<div.*?class="author.*?>.*?<a.*?</a>.*?<a.*?>(.*?)</a>.*?<div.*?class'+
'="content".*?title="(.*?)">(.*?)</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
items = re.findall(pattern,content)
for item in items:
print item[0],item[1],item[2],item[3],item[4]
現(xiàn)在正則表達(dá)式在這里稍作說明
.? 是一個(gè)固定的搭配,.和代表可以匹配任意無限多個(gè)字符,加上?表示使用非貪婪模式進(jìn)行匹配,也就是我們會(huì)盡可能短地做匹配,以后我們還會(huì)大量用到 .*? 的搭配。
(.?)代表一個(gè)分組,在這個(gè)正則表達(dá)式中我們匹配了五個(gè)分組,在后面的遍歷item中,item[0]就代表第一個(gè)(.?)所指代的內(nèi)容,item[1]就代表第二個(gè)(.*?)所指代的內(nèi)容,以此類推。
現(xiàn)在我們可以看一下部分運(yùn)行結(jié)果
儒雅男神 2015-02-17 14:34:42
小時(shí)候一個(gè)一個(gè)拆著放的舉個(gè)爪…
<\div class=”thumb”>
<a href=”/article/100705418?list=hot&s=4747301″ target=”_blank” onclick=”_hmt.push([‘_trackEvent’, ‘post’, ‘click’, ‘signlePost’])”>
<img src=”http://pic.qiushibaike.com/system/pictures/10070/100705418/medium/app100705418.jpg” alt=”糗事#100705418″ />
</a>
</div>
7093
奇怪的名字啊 2015-02-17 14:49:16
回家的路,你追我趕,回家的心情和窗外的陽光一樣燦爛。一路向前,離親人越來越近了。哪里有爸媽哪里才是家,希望所有糗友的爸爸媽媽都身體健康…….
4803
這是其中的兩個(gè)段子,分別打印了發(fā)布人,發(fā)布時(shí)間,發(fā)布內(nèi)容,附加圖片以及點(diǎn)贊數(shù)。
其中,附加圖片的內(nèi)容我把圖片代碼整體摳了出來,這個(gè)對(duì)應(yīng) item[3],所以我們只需要進(jìn)一步判斷 item[3]里面是否含有 img 這個(gè)字樣就可以進(jìn)行過濾了。
好,我們?cè)侔焉鲜龃a中的 for 循環(huán)改為下面的樣子
for item in items:
haveImg = re.search("img",item[3])
if not haveImg:
print item[0],item[1],item[2],item[4]
現(xiàn)在,整體的代碼如下
\# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
request = urllib2.Request(url,headers = headers)
response = urllib2.urlopen(request)
content = response.read().decode('utf-8')
pattern = re.compile('<div.*?class="author.*?>.*?<a.*?</a>.*?<a.*?>(.*?)</a>.*?<div.*?class'+
'="content".*?title="(.*?)">(.*?)</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
items = re.findall(pattern,content)
for item in items:
haveImg = re.search("img",item[3])
if not haveImg:
print item[0],item[1],item[2],item[4]
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
運(yùn)行一下看下效果
http://wiki.jikexueyuan.com/project/python-crawler-guide/images/08.png" alt="" />
恩,帶有圖片的段子已經(jīng)被剔除啦。是不是很開森?
好啦,現(xiàn)在最核心的部分我們已經(jīng)完成啦,剩下的就是修一下邊邊角角的東西,我們想達(dá)到的目的是:
按下回車,讀取一個(gè)段子,顯示出段子的發(fā)布人,發(fā)布日期,內(nèi)容以及點(diǎn)贊個(gè)數(shù)。
另外我們需要設(shè)計(jì)面向?qū)ο竽J?,引入類和方法,將代碼做一下優(yōu)化和封裝,最后,我們的代碼如下所示
__author__ = 'CQC'
\# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
import thread
import time
\#糗事百科爬蟲類
class QSBK:
\#初始化方法,定義一些變量
def __init__(self):
self.pageIndex = 1
self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
\#初始化headers
self.headers = { 'User-Agent' : self.user_agent }
\#存放段子的變量,每一個(gè)元素是每一頁的段子們
self.stories = []
\#存放程序是否繼續(xù)運(yùn)行的變量
self.enable = False
\#傳入某一頁的索引獲得頁面代碼
def getPage(self,pageIndex):
try:
url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
\#構(gòu)建請(qǐng)求的request
request = urllib2.Request(url,headers = self.headers)
\#利用urlopen獲取頁面代碼
response = urllib2.urlopen(request)
\#將頁面轉(zhuǎn)化為UTF-8編碼
pageCode = response.read().decode('utf-8')
return pageCode
except urllib2.URLError, e:
if hasattr(e,"reason"):
print u"連接糗事百科失敗,錯(cuò)誤原因",e.reason
return None
\#傳入某一頁代碼,返回本頁不帶圖片的段子列表
def getPageItems(self,pageIndex):
pageCode = self.getPage(pageIndex)
if not pageCode:
print "頁面加載失敗...."
return None
pattern = re.compile('<div.*?class="author.*?>.*?<a.*?</a>.*?<a.*?>(.*?)</a>.*?<div.*?class'+
'="content".*?title="(.*?)">(.*?)</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
items = re.findall(pattern,pageCode)
\#用來存儲(chǔ)每頁的段子們
pageStories = []
\#遍歷正則表達(dá)式匹配的信息
for item in items:
\#是否含有圖片
haveImg = re.search("img",item[3])
\#如果不含有圖片,把它加入list中
if not haveImg:
\#item[0]是一個(gè)段子的發(fā)布者,item[1]是發(fā)布時(shí)間,item[2]是內(nèi)容,item[4]是點(diǎn)贊數(shù)
pageStories.append([item[0].strip(),item[1].strip(),item[2].strip(),item[4].strip()])
return pageStories
\#加載并提取頁面的內(nèi)容,加入到列表中
def loadPage(self):
\#如果當(dāng)前未看的頁數(shù)少于2頁,則加載新一頁
if self.enable == True:
if len(self.stories) < 2:
\#獲取新一頁
pageStories = self.getPageItems(self.pageIndex)
\#將該頁的段子存放到全局list中
if pageStories:
self.stories.append(pageStories)
\#獲取完之后頁碼索引加一,表示下次讀取下一頁
self.pageIndex += 1
\#調(diào)用該方法,每次敲回車打印輸出一個(gè)段子
def getOneStory(self,pageStories,page):
\#遍歷一頁的段子
for story in pageStories:
\#等待用戶輸入
input = raw_input()
\#每當(dāng)輸入回車一次,判斷一下是否要加載新頁面
self.loadPage()
\#如果輸入Q則程序結(jié)束
if input == "Q":
self.enable = False
return
print u"第%d頁\t發(fā)布人:%s\t發(fā)布時(shí)間:%s\n%s\n贊:%s\n" %(page,story[0],story[1],story[2],story[3])
\#開始方法
def start(self):
print u"正在讀取糗事百科,按回車查看新段子,Q退出"
\#使變量為True,程序可以正常運(yùn)行
self.enable = True
\#先加載一頁內(nèi)容
self.loadPage()
\#局部變量,控制當(dāng)前讀到了第幾頁
nowPage = 0
while self.enable:
if len(self.stories)>0:
\#從全局list中獲取一頁的段子
pageStories = self.stories[0]
\#當(dāng)前讀到的頁數(shù)加一
nowPage += 1
\#將全局list中第一個(gè)元素刪除,因?yàn)橐呀?jīng)取出
del self.stories[0]
\#輸出該頁的段子
self.getOneStory(pageStories,nowPage)
spider = QSBK()
spider.start()
好啦,大家來測(cè)試一下吧,點(diǎn)一下回車會(huì)輸出一個(gè)段子,包括發(fā)布人,發(fā)布時(shí)間,段子內(nèi)容以及點(diǎn)贊數(shù),是不是感覺爽爆了!