Scrapy 如何控制多個(gè)采集網(wǎng)站的啟動(dòng)周期，優(yōu)先度、采集頻率等設(shè)置，采集網(wǎng)站數(shù)據(jù)采集完成狀態(tài)，完成時(shí)間展示

想要采集一些網(wǎng)上的數(shù)據(jù)，網(wǎng)上都推薦Scrapy框架，我看了一下官方文檔與網(wǎng)上的文章但是其中還是幾個(gè)地方一頭霧水，想要整理一下學(xué)習(xí)思路，初學(xué)者，有些東西都是只是想法，不正確請(qǐng)指點(diǎn)，一起討論。
Scrapy框架感覺只是提供了一個(gè)爬蟲解決方案的殼子，官方只給出了簡(jiǎn)單情況的使用方法，你可以使用中間件或者修改配置應(yīng)對(duì)更多的情況，我覺得這樣就是為了應(yīng)對(duì)復(fù)雜并不斷成長(zhǎng)的爬蟲領(lǐng)域，想法挺好的。
爬蟲制作主要解決3件事情：
1、針對(duì)網(wǎng)站結(jié)構(gòu)與頁(yè)面分析寫出能遍歷所有頁(yè)面與數(shù)據(jù)的Spider；
2、編寫對(duì)爬到的數(shù)據(jù)清洗、去重、重構(gòu)后并保存下來的Item Pipeline；
3、采集網(wǎng)站的啟動(dòng)周期，優(yōu)先度、采集頻率等設(shè)置，采集網(wǎng)站數(shù)據(jù)采集完成狀態(tài)，完成時(shí)間展示；

Spider制作過程：
給出初始URL地址，下載器完成后對(duì)頁(yè)面分析結(jié)構(gòu)，比如要采集首頁(yè)是列表，分析分頁(yè)數(shù)據(jù)制作分頁(yè)url連接，發(fā)送新頁(yè)的采集URL地址，保存列表數(shù)據(jù)到Item，分析并發(fā)送詳細(xì)頁(yè)采集URL地址，詳細(xì)頁(yè)數(shù)據(jù)采集后保存到Item。
（我的理解：列表頁(yè)與詳細(xì)頁(yè)是不是都應(yīng)該放到一個(gè)Spider實(shí)現(xiàn)，也就是關(guān)于這個(gè)網(wǎng)站的一個(gè)采集信息項(xiàng)目都放到一個(gè)Spider中，比如列表與詳細(xì)頁(yè)面，詳細(xì)頁(yè)做成一個(gè)新函數(shù)，列表采集只是重復(fù)調(diào)用）

數(shù)據(jù)存儲(chǔ)Item PipeLine制作過程：
把Spider采集到的Item進(jìn)行數(shù)據(jù)庫(kù)保存，數(shù)據(jù)保存前進(jìn)行清洗，比如去重，數(shù)據(jù)格式標(biāo)準(zhǔn)化，分別處理全量采集數(shù)據(jù)保存，增量采集數(shù)據(jù)保存，更新數(shù)據(jù)的數(shù)據(jù)保存。
（Item只是定義保存的數(shù)據(jù)結(jié)構(gòu)嗎？PipeLine中是數(shù)據(jù)存儲(chǔ)的方式，數(shù)據(jù)清洗與保存方法應(yīng)該放到PipeLine中嗎？Item與PipeLine如何關(guān)聯(lián)起來的呢？）

采集網(wǎng)站的啟動(dòng)周期，優(yōu)先度、采集頻率等設(shè)置，采集網(wǎng)站數(shù)據(jù)采集完成狀態(tài)，完成時(shí)間展示：
Spider的啟動(dòng)方式只能通過使用scrapy命令參數(shù)的方式調(diào)用嗎？這樣是不是只能通過編寫shell或者Python程序然后通過命令的方式執(zhí)行呢？啟動(dòng)周期、優(yōu)先度、采集頻率在什么地方設(shè)置，如何獲得采集網(wǎng)站的完成狀態(tài)與完成時(shí)間，
比如失敗后重復(fù)采集降低優(yōu)先度這種操作如何操作？我看文檔了解官網(wǎng)沒有Web方式管理的平臺(tái)，ScrapyD是做什么用的？我了解到SpiderKeeper是一個(gè)Python寫的維護(hù)Scrapy任務(wù)的Web系統(tǒng)，還有類似的或者PHP編寫的項(xiàng)目嗎？

寫了很多如果能找到可以參考的開源項(xiàng)目就好了，歡迎熟悉爬蟲采集的高手來解惑。