鍍金池/ 問(wèn)答/網(wǎng)絡(luò)安全/ celery做分布式，如果我有100個(gè)worker運(yùn)行，是不是這100個(gè)work

celery做分布式，如果我有100個(gè)worker運(yùn)行，是不是這100個(gè)worker都會(huì)連接數(shù)據(jù)庫(kù)？

我想用celery做一個(gè)分布式的爬蟲(chóng)

讓celery抓取數(shù)據(jù)，存入我的mysql數(shù)據(jù)庫(kù)

但是我買(mǎi)來(lái)的mysql數(shù)據(jù)庫(kù)只有50個(gè)連接數(shù)（數(shù)據(jù)庫(kù)提供商限制）

那我是不是就無(wú)法啟動(dòng)100個(gè)worker同時(shí)去抓取數(shù)據(jù)了？

有辦法讓worker把數(shù)據(jù)抓了，返回給master，讓master存入數(shù)據(jù)庫(kù)可以嗎？

請(qǐng)問(wèn)大家有解決辦法嗎？

謝謝

回答
編輯回答
冷溫柔

生產(chǎn)的數(shù)據(jù)存入redis的隊(duì)列（List）。然后開(kāi)一個(gè)進(jìn)程慢慢消費(fèi)。

2017年2月26日 22:57