鍍金池/ 問(wèn)答/人工智能  HTML/ 弱弱地問(wèn)下,scrapy 的closed函數(shù)怎么調(diào)用?

弱弱地問(wèn)下,scrapy 的closed函數(shù)怎么調(diào)用?

希望達(dá)到的目的,就是當(dāng)這個(gè)spider項(xiàng)目滿足某些條件后,就整個(gè)停止下來(lái),不需要繼續(xù)運(yùn)行下去。
大致類(lèi)似如下:

clipboard.png

原先用sys.exit(0),但這個(gè)不管用。
后來(lái)用 raise CloseSpider(),這個(gè)能達(dá)到目的。但是受限于settings里設(shè)置的最大并發(fā)數(shù)。比如默認(rèn)是16個(gè)并發(fā),那就要等每個(gè)進(jìn)程都達(dá)到條件,才能退出。
目標(biāo)是不管多少個(gè)并發(fā),任何一個(gè)滿足條件就可以退出這個(gè)項(xiàng)目。所以想問(wèn)下scrapy里應(yīng)該有自帶的closed函數(shù),該怎么調(diào)用呢?

回答
編輯回答
做不到

試試直接os._exit(0)

2018年6月20日 16:45