想要用python做爬蟲，是使用scrapy框架還是用requests、bs4等庫？我個人推薦scrapy。實施起來太方便了。我覺得這個框架太棒了，我不需要寫任何代碼。是爬蟲寫的。讓我們分享一下我自己

想要用python做爬蟲，是使用scrapy框架還是用requests、bs4等庫？

我個人推薦scrapy。實施起來太方便了。我覺得這個框架太棒了，我不需要寫任何代碼。是爬蟲寫的。讓我們分享一下我自己的使用過程。

最近，我看到我想爬詩歌。就在不久前，我學會了如何爬詩。我想我會把它和scratch結合起來做一個爬蟲。想一想就開始，目標網(wǎng)站的首選是詩網(wǎng)。我更喜歡辛棄疾，所以我以辛棄疾的詩為對象。

當然，我們還需要將爬網(wǎng)結果存儲在服務器中。在這里我選擇mongodb。這部分也很方便。只需編寫一個類將數(shù)據(jù)寫入mongodb。

scrapy-redis和scrapy有什么區(qū)別？

Scratch是一個通用的爬蟲框架，它的功能比較完善，可以幫助你快速編寫一個簡單的爬蟲，并運行。為了更方便地實現(xiàn)碎片的分布式抓取，scrapredis提供了一些基于redis的組件（注意scrapredis只是一些組件，不是一個完整的框架）。你可以把它想象成一個能生產(chǎn)你想要的蜘蛛的工廠。為了幫助工廠更好地實現(xiàn)一些功能，其他廠家制造了一些設備來代替工廠原有的設備。

因此，如果要運行分布式，應首先設置場景工廠，然后使用場景redis設備替換一些場景設備。

那么這些組件的特點是什么？他們使用redis數(shù)據(jù)庫來替換原始草圖中使用的deque。如果數(shù)據(jù)結構改變了，相應的操作當然也會改變。因此，與隊列相關的這些組件已被替換。

python都有哪些框架？

嗯，有很多。你可以去pypi看看

在你學習科學之前，你需要掌握很多基礎知識，否則就很難學習

]首先，你需要掌握前端、HTML、CSS和JS的基礎知識?？茖W是用來寫爬蟲的。你爬過的是這些網(wǎng)頁，你需要了解這些前端知識來了解你自己和他人；

還有網(wǎng)頁分析方面，學習如何使用chrome和其他瀏覽器來分析網(wǎng)頁非常重要。我們在教程中經(jīng)常忽略這一點，但對于新手來說，這一內(nèi)容需要在學習過程中不斷探索，很難快速掌握

接下來是python的基礎知識，python語法的使用，request，beautiful soup等相關類庫；

最后，這是抓撓本身的學習。因為scratch是一個框架，所以它也是一個相對復雜的機器。它涵蓋了一系列的過程，供網(wǎng)絡爬蟲訪問網(wǎng)頁，獲取響應，分析響應，處理數(shù)據(jù)和存儲數(shù)據(jù)。我們不需要掌握它的原理，我們可以使用它。

事實上，說這么多很困難，但聯(lián)系和做一些項目并不是那么困難。相信你能學好這個框架，讓我們一起加油吧

為什么覺得Scrapy很難？

安裝python時，請檢查高級選項步驟中與vs2015相關的最后一個選項。這樣，當您下載這些碎片時，就可以直接PIP安裝這些碎片并正確安裝它們。不需要單獨安裝twisted，方便快捷。選中vs2015選項以解決所有相關問題。如果不是，其他需要vs2015的包也會有問題。

scrapy框架安裝時報錯該如何處理？

主要簡單易用，支持高并發(fā)爬蟲