java可以寫爬蟲程序嗎 學(xué)好java除了可以做網(wǎng)頁(yè)外,還可以做什么?
學(xué)好java除了可以做網(wǎng)頁(yè)外,還可以做什么?Java可以做很多事情,從應(yīng)用軟件到系統(tǒng)軟件。例如:(1)應(yīng)用軟件:應(yīng)用軟件有很多,javaSE可以做一些基礎(chǔ)的東西,比如有圖形化操作界面的通用應(yīng)用軟件(G
學(xué)好java除了可以做網(wǎng)頁(yè)外,還可以做什么?
Java可以做很多事情,從應(yīng)用軟件到系統(tǒng)軟件。
例如:
(1)應(yīng)用軟件:
應(yīng)用軟件有很多,javaSE可以做一些基礎(chǔ)的東西,比如有圖形化操作界面的通用應(yīng)用軟件(GUI),也可以應(yīng)用到網(wǎng)絡(luò)編程中。我用javaSE寫過(guò)一個(gè)非常小規(guī)模的網(wǎng)絡(luò)爬蟲,效果不錯(cuò),javaEE可以搞企業(yè)級(jí)。的編程,比如做網(wǎng)站的后臺(tái),當(dāng)然前臺(tái)也可用java來(lái)做,但有點(diǎn)不太方便,因?yàn)閖avascript(一種做網(wǎng)站前臺(tái)的語(yǔ)言,與java沒什么關(guān)系)在做前臺(tái)方面已經(jīng)很強(qiáng)大且方便了。
(2)系統(tǒng)軟件:
Java很厲害,連系統(tǒng)軟件都沒問(wèn)題。例如,java可以用作一些高級(jí)腳本語(yǔ)言的解釋器。一個(gè)非常成功的例子是這個(gè)版本的Jpython(一個(gè)非常強(qiáng)大的python解釋器)。當(dāng)然Python解釋器一般用C或者Cp。p),python也是一門非常非常強(qiáng)大的語(yǔ)言。我認(rèn)為python優(yōu)于java(當(dāng)然大多數(shù)人認(rèn)為兩種語(yǔ)言沒有可比性),java其實(shí)可以做很多事情。
(3)總之很多大鳥說(shuō)的都有道理。語(yǔ)言只是一個(gè)工具,它能做什么取決于你的大腦。積累財(cái)富,多讀書很重要,但要知道,書永遠(yuǎn)是有限的。新的東西要想通了才會(huì)出現(xiàn)在書里,很多人害怕或者沒有能力去管。把握未來(lái),還有一點(diǎn),C很厲害(包括Cpp)。
PHP、Python和 Node.js,哪個(gè)比較適合寫爬蟲?
分析頁(yè)面和操作數(shù)據(jù)庫(kù)(mysql)的能力,此外還有抓取效率。
驚訝于沒有java???
然而,爬蟲 的主要麻煩是應(yīng)對(duì)目標(biāo)網(wǎng)站的各種反抓取措施。對(duì)于頁(yè)面解析和數(shù)據(jù)庫(kù)操作,基本上所有語(yǔ)言都有自己的類庫(kù),操作估計(jì)也很方便。至于抓取效率,這個(gè)主要看目標(biāo)網(wǎng)站的響應(yīng)速度,一般可以 我不會(huì)讓你經(jīng)常來(lái)的。所以所有的語(yǔ)言都差不多。所以,哪種你熟悉的語(yǔ)言才是適合你的。
我一直覺得用簡(jiǎn)單的語(yǔ)言寫爬行動(dòng)物很方便。
Python和Node.js都可以用來(lái)寫爬蟲程序。爬蟲程序其實(shí)就是模擬一個(gè)瀏覽器發(fā)起一個(gè)HTTP請(qǐng)求,然后解析HTTP響應(yīng)體的內(nèi)容,提取我們需要的數(shù)據(jù)。
如果需要Node.js寫爬蟲。需要請(qǐng)求模塊和cheerio模塊。
請(qǐng)求模塊:獲取目標(biāo)頁(yè)面的html代碼。
Cheerio模塊:叫做Node.js版本的jQuery。類似于jQuery的語(yǔ)法,使用起來(lái)更方便。實(shí)際上,為了解析HTTP請(qǐng)求的響應(yīng)體,處理了HTML代碼。
Python拼接強(qiáng)大的第三方庫(kù)和簡(jiǎn)潔的語(yǔ)法被廣泛用于編寫爬蟲。使用的特定庫(kù)如下:
有啟動(dòng)網(wǎng)絡(luò)請(qǐng)求的庫(kù):urllib和Requests。
解析響應(yīng)體的內(nèi)容:RE (Python正則表達(dá)式庫(kù))、beautiful Soup(內(nèi)容提取神器)和lxml庫(kù)(神器)。
爬蟲框架包括:Scrapy
可見Python有豐富的庫(kù)可供選擇,所以更適合寫爬蟲程序。
-
喜歡,找有用的麻煩去喜歡,非常感謝~
個(gè)人官方賬號(hào):極客猴(ID: geek _ monkey)
堅(jiān)持分享Python原創(chuàng)干貨,包括基礎(chǔ)入門,高級(jí)技能,網(wǎng)絡(luò)爬蟲,數(shù)據(jù)分析,Web應(yīng)用開發(fā)等。歡迎關(guān)注~