python網(wǎng)絡(luò)爬蟲具體是怎樣的？Python網(wǎng)絡(luò)爬蟲實際上就是一個用python開發(fā)的程序，爬蟲就好比蜘蛛一樣順著蜘蛛網(wǎng)到達網(wǎng)的每個地方。在互聯(lián)網(wǎng)上也是同樣的道理，好比一個網(wǎng)站，網(wǎng)站里邊分布了很多頁

python網(wǎng)絡(luò)爬蟲具體是怎樣的？

Python網(wǎng)絡(luò)爬蟲實際上就是一個用python開發(fā)的程序，爬蟲就好比蜘蛛一樣順著蜘蛛網(wǎng)到達網(wǎng)的每個地方。在互聯(lián)網(wǎng)上也是同樣的道理，好比一個網(wǎng)站，網(wǎng)站里邊分布了很多頁面鏈接，通過鼠標(biāo)點擊可以訪問到下一層的內(nèi)容，而網(wǎng)絡(luò)爬蟲就模擬人們訪問網(wǎng)頁那樣，一個一個的打開連接進行訪問并按照開發(fā)設(shè)定的規(guī)則抓取信息的這么一個過程。

由于Python的語法簡單、學(xué)習(xí)成本比較低，有眾多的開源類庫與框架可以使用，使得開發(fā)難度與時間大大縮減，得到了大多數(shù)人的青睞，特別是在數(shù)據(jù)處理方面。

在這里推薦幾個值得關(guān)注的異步爬蟲庫，給你做下參考。

Scrapy是一個為了爬取網(wǎng)站數(shù)據(jù)，提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架。 可以應(yīng)用在包括數(shù)據(jù)挖掘，信息處理或存儲歷史數(shù)據(jù)等一系列的程序中。

其最初是為了 頁面抓取 (更確切來說, 網(wǎng)絡(luò)抓取 )所設(shè)計的， 也可以應(yīng)用在獲取API所返回的數(shù)據(jù)(例如 Amazon Associates Web Services ) 或者通用的網(wǎng)絡(luò)爬蟲。

PySpider：一個國人編寫的強大的網(wǎng)絡(luò)爬蟲系統(tǒng)并帶有強大的WebUI。采用Python語言編寫，分布式架構(gòu)，支持多種數(shù)據(jù)庫后端，強大的WebUI支持腳本編輯器，任務(wù)監(jiān)視器，項目管理器以及結(jié)果查看器。

Crawley可以高速爬取對應(yīng)網(wǎng)站的內(nèi)容，支持關(guān)系和非關(guān)系數(shù)據(jù)庫，數(shù)據(jù)可以導(dǎo)出為JSON、XML等。

4.Portia

Portia是一個開源可視化爬蟲工具，可讓您在不需要任何編程知識的情況下爬取網(wǎng)站！簡單地注釋您感興趣的頁面，Portia將創(chuàng)建一個蜘蛛來從類似的頁面提取數(shù)據(jù)。

Newspaper可以用來提取新聞、文章和內(nèi)容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用python開發(fā)的可用于提取文章內(nèi)容的程序。支持10多種語言并且所有的都是unicode編碼。

Soup

Beautiful Soup 是一個可以從HTML或XML文件中提取數(shù)據(jù)的Python庫.它能夠通過你喜歡的轉(zhuǎn)換器實現(xiàn)慣用的文檔導(dǎo)航,查找,修改文檔的.Beautiful Soup會幫你節(jié)省數(shù)小時甚至數(shù)天的工作時間。這個我是使用的特別頻繁的。在獲取html元素，都是bs4完成的。

Selenium 是自動化測試工具。它支持各種瀏覽器，包括 Chrome，Safari，F(xiàn)irefox 等主流界面式瀏覽器，如果在這些瀏覽器里面安裝一個 Selenium 的插件，可以方便地實現(xiàn)Web界面的測試. Selenium 支持瀏覽器驅(qū)動。Selenium支持多種語言開發(fā)，比如 Java，C，Ruby等等，PhantomJS 用來渲染解析JS，Selenium 用來驅(qū)動以及與 Python 的對接，Python 進行后期的處理。

下面是網(wǎng)絡(luò)爬蟲工作的大致流程圖

如何實現(xiàn)在java程序中實現(xiàn)打開某個指定瀏覽器？

打開瀏覽器：根據(jù)不同平臺的默認安裝路徑找到 各個瀏覽器的可執(zhí)行文件（也可自行指定瀏覽器路徑），然后用java的Runtime這類的東東開啟進程就行了。

進程可附帶執(zhí)行參數(shù)，將首參數(shù)指定為一個url，就可打開指定頁面。

通信：java無法做到與瀏覽器API交互，因為編譯發(fā)行的瀏覽器可執(zhí)行文件不是內(nèi)核源碼，木有豐富的內(nèi)置API可供調(diào)用。因此，在打開瀏覽器的時候會指定 URL 到Selenium的遠程服務(wù)頁上去。

這個頁面通過js建立與遠程服務(wù)器的HTTP連接通信（如 長連接，websocket，ajax輪詢等）。

當(dāng)遠程代碼需要獲取、操作本地瀏覽器DOM、JS 等內(nèi)容時，推送一段指定js源碼到瀏覽器端執(zhí)行。

執(zhí)行完成后將結(jié)果發(fā)送至遠端服務(wù)器上。以此來實現(xiàn)遠端對客戶端瀏覽器頁面內(nèi)容通信。