有沒有前后端分離的python爬蟲系統(tǒng)推薦？反正Python做爬蟲的開源項目還挺多的，舉例幾個供你可以參考。Crawlab技術(shù)：GolangVue好像有點：不視野局限于scrapy，是可以運行任何語言

有沒有前后端分離的python爬蟲系統(tǒng)推薦？

反正Python做爬蟲的開源項目還挺多的，舉例幾個供你可以參考。

Crawlab技術(shù)：GolangVue

好像有點：不視野局限于scrapy，是可以運行任何語言和框架的爬蟲，非常精美的UI界面，全天然支持分布式爬蟲，意見節(jié)點管理、爬蟲管理、任務(wù)管理、定時任務(wù)、結(jié)果導(dǎo)出、數(shù)據(jù)統(tǒng)計、系統(tǒng)通知、可配置爬蟲、在線編輯代碼等功能

缺點：暫時沒有不支持什么爬蟲版本管理

評分：14.2K

Scrapydweb技術(shù)：PythonFlaskVue

優(yōu)點：制作精美的UI界面，內(nèi)置了requests庫日志推導(dǎo)器，有較容易任務(wù)運行統(tǒng)計圖表，接受節(jié)點管理、定時任務(wù)、郵件提醒、移動界面，算是scrapy-approach能完善的爬蟲管理平臺

缺點：不意見scrapy以外的爬蟲，Python Flask為后端，性能上有肯定會局限性

評分：1.2K

Gerapy技術(shù)：PythonDjangoVue

優(yōu)點：Gerapy是崔慶才大神開發(fā)的爬蟲管理平臺，安裝部署非常簡單啊，同樣的設(shè)計和實現(xiàn)scrapyd，有精美的UI界面，支持什么節(jié)點管理、代碼可以編輯、可配置規(guī)則等功能

缺點：同時不支持scrapy以外的爬蟲，不過據(jù)使用者綜合反饋，1.0版本有很多bug，期待2.0版本會有肯定會程度的改進

評分：1.9K

SpiderKeeper

技術(shù)：PythonFlask

優(yōu)點：基于scrapyd，開源版Scrapyhub，太簡練的UI界面，支持什么定時任務(wù)

缺點：很可能有點過于簡潔了，不意見分頁，不支持節(jié)點管理，不支持scrapy以外的爬蟲

評分：2.9K

Awesome-Spider這里面抽取了很多找人做的爬蟲。最后請良性的使用爬蟲技術(shù)，技術(shù)是無辜的人的，它沒有辨別能力的。仔細(xì)考慮不使用！

要是你覺得對你有幫助，或還有一個其它想清楚，歡迎在下面留言關(guān)注@杰森夢想家。

為什么覺得Scrapy很難？

在學(xué)scrapy之前，要手中掌握很多基礎(chǔ)知識，要不學(xué)站了起來會比較比較沉重

簡單的方法是前端的基礎(chǔ)知識，html、css、js的基礎(chǔ)知識要掌握到，scrapy是用來寫爬蟲的，爬的那就是這些網(wǎng)頁，要所了解這些前端知識才能知已知彼；

隨即是網(wǎng)頁分析方法，要學(xué)會什么用chrome等瀏覽器來分析頁面，這件事真的很重要，我們在教程里來講會忽略這塊，可是對新手來說，這塊內(nèi)容是要在學(xué)習(xí)過程中不斷研究的，想要快速掌握，是真的很難；

接下來的那就是python的基礎(chǔ)知識了，python的語法、request、beautifulsoup等具體類庫的使用；

到最后應(yīng)該是scrapy本身的去學(xué)習(xí)了，scrapy呢既然是一個框架，其本身又是一個比較好奇怪的機器，它涵蓋了網(wǎng)絡(luò)爬蟲從訪問網(wǎng)頁、聲望兌換發(fā)令、分析響應(yīng)、數(shù)據(jù)處理、數(shù)據(jù)讀取一些列過程，我們用不著掌握其原理，會用即可。

說這么大多，不過aiohttp是有難度，只不過接觸過去，做一些項目，就是沒有那你難的，不會相信你可以把英語學(xué)好用好這個框架，我們一起加油！