如何寫爬蟲程序爬取豆瓣網(wǎng)或者新浪微博里的內(nèi)容？主要使用python，一般靜態(tài)網(wǎng)頁直接使用素描框架。如果需要對動態(tài)網(wǎng)站進(jìn)行爬網(wǎng)，則需要使用selenium呈現(xiàn)JS以獲取動態(tài)加載的數(shù)據(jù)?，F(xiàn)在我要抓取數(shù)據(jù)。

如何寫爬蟲程序爬取豆瓣網(wǎng)或者新浪微博里的內(nèi)容？

主要使用python，一般靜態(tài)網(wǎng)頁直接使用素描框架。如果需要對動態(tài)網(wǎng)站進(jìn)行爬網(wǎng)，則需要使用selenium呈現(xiàn)JS以獲取動態(tài)加載的數(shù)據(jù)。

現(xiàn)在我要抓取數(shù)據(jù)?；旧希抑皇褂肞ypeter。硒有嚴(yán)重的缺點。它會留下很多webriver標(biāo)簽，這些標(biāo)簽會被一些網(wǎng)站反爬網(wǎng)。雖然有些標(biāo)簽可以通過各種方式避免，但對于新手來說非常麻煩?，F(xiàn)在，Pypeter很容易使用。只要看一下它的API文檔，你就會發(fā)現(xiàn)你可以從一些基本的前端知識開始，而且效率遠(yuǎn)遠(yuǎn)高于selenium。基本上，一個動態(tài)網(wǎng)頁。如果你想攀爬，你只需要獲取物體，然后獲取一些屬性。您可以通過常規(guī)或字符串處理獲得所需的數(shù)據(jù)。

現(xiàn)在它基本上是一個動態(tài)網(wǎng)頁，因此不考慮草圖框架。

最后，在再次攀爬之前，您應(yīng)該注意網(wǎng)站的設(shè)計機(jī)器人.txt文件哦，這會告訴你什么可以讓你抓取，避免面向監(jiān)獄的編程哦。