scrapy-redis和scrapy有什么區(qū)別？scrapy的請求存儲在內(nèi)存中，然后通過schedule進行調(diào)度，通過twisted進行并發(fā)。為了分配，需要多個刮片參與調(diào)度。利用redis數(shù)據(jù)庫重寫

scrapy-redis和scrapy有什么區(qū)別？

scrapy的請求存儲在內(nèi)存中，然后通過schedule進行調(diào)度，通過twisted進行并發(fā)。為了分配，需要多個刮片參與調(diào)度。利用redis數(shù)據(jù)庫重寫了在調(diào)度表中存儲和分發(fā)請求的方法。多個scrape通過遠程鏈接到redis數(shù)據(jù)庫，同時參與調(diào)度。

另外，使用redis的set存儲結(jié)構(gòu)重寫重復(fù)數(shù)據(jù)消除方法。

碰巧我也在學(xué)習速寫redis，這是我現(xiàn)在的觀點