鍍金池/ 教程/ Python/ 例子
Benchmarking
命令行工具(Command line tools)
下載器中間件(Downloader Middleware)
信號(hào)(Signals)
Telnet 終端(Telnet Console)
初窺 Scrapy
數(shù)據(jù)收集(Stats Collection)
Scrapyd
通用爬蟲(Broad Crawls)
Item Loaders
試驗(yàn)階段特性
Scrapy 入門教程
自動(dòng)限速(AutoThrottle)擴(kuò)展
Settings
Scrapy 終端(Scrapy shell)
下載項(xiàng)目圖片
DjangoItem
調(diào)試(Debugging)Spiders
選擇器(Selectors)
Feed exports
Spiders Contracts
借助 Firefox 來爬取
Logging
Spiders
Ubuntu 軟件包
實(shí)踐經(jīng)驗(yàn)(Common Practices)
安裝指南
Item Exporters
擴(kuò)展(Extensions)
Items
Spider 中間件(Middleware)
異常(Exceptions)
例子
發(fā)送 email
架構(gòu)概覽
常見問題(FAQ)
Jobs:暫停,恢復(fù)爬蟲
核心 API
使用 Firebug 進(jìn)行爬取
Item Pipeline
Link Extractors
Web Service
調(diào)試內(nèi)存溢出

例子

學(xué)習(xí)的最好方法就是參考例子,Scrapy 也不例外。Scrapy 提供了一個(gè)叫做 dirbot 的樣例項(xiàng)目供您把玩學(xué)習(xí)。其包含了在教程中介紹的 dmoz spider。

您可以通過 [https://github.com/scrapy/dirbot]( https://github.com/scrapy/dirbot ) 找到 dirbot。其包含了 README 文件,詳細(xì)介紹了項(xiàng)目的內(nèi)容。

如果您熟悉 git,您可以 checkout 代碼。或者您可以點(diǎn)擊 Downloads 來下載項(xiàng)目的 tarball 或者 zip 的壓縮包。

Snipplr 上的 scrapy 標(biāo)簽是用來分享 spider,middeware,extension 或者 script 代碼片段。歡迎(并鼓勵(lì))在那分享您的代碼。

上一篇:Items下一篇:Benchmarking