Python如何爬取網(wǎng)頁(yè)文本內(nèi)容？用python爬取網(wǎng)頁(yè)信息的話，不需要怎么學(xué)習(xí)幾個(gè)模塊，urllib，urllib2，urllib3，requests，httplib等等模塊，又要怎么學(xué)習(xí)re模塊（

Python如何爬取網(wǎng)頁(yè)文本內(nèi)容？

用python爬取網(wǎng)頁(yè)信息的話，不需要怎么學(xué)習(xí)幾個(gè)模塊，urllib，urllib2，urllib3，requests，httplib等等模塊，又要怎么學(xué)習(xí)re模塊（也就是正則表達(dá)式）。依據(jù)什么不同的場(chǎng)景使用差別的模塊來(lái)高效迅速的解決問(wèn)題。

最正在我見(jiàn)意你還是從最簡(jiǎn)單的urllib模塊學(xué)起，比如說(shuō)爬新浪首頁(yè)（聲明：本代碼只做學(xué)術(shù)研究，絕無(wú)攻擊用意）：

這樣的就把新浪首頁(yè)的源代碼爬取到了，這是整個(gè)網(wǎng)頁(yè)信息，如果不是你要再提取你覺(jué)得沒(méi)有用的信息得要會(huì)建議使用字符串方法或是正則表達(dá)式了。

平時(shí)多看一下網(wǎng)上的文章和教程，迅速就能學(xué)會(huì)的。

補(bǔ)充有一點(diǎn)：以上可以使用的環(huán)境是python2，在python3中，已經(jīng)把urllib，urllib2，urllib3全部整合為一個(gè)包，而并沒(méi)有有這幾個(gè)單詞為名字的模塊。

學(xué)Python，我應(yīng)該走哪個(gè)方向？

1.WEB開(kāi)發(fā)——最火的Pythonweb框架Django,支持什么異步模式高并發(fā)的Tornado框架，短小精悍的flask,bottle,Django官方的標(biāo)語(yǔ)把Django符號(hào)表示為theframeworkwhileperfectionistwithdeadlines(大意是兩個(gè)為已經(jīng)主義者開(kāi)發(fā)的高效率web框架)。

2.網(wǎng)絡(luò)編程——支持高并發(fā)的Twisted網(wǎng)絡(luò)框架，py3分解重組的asyncio使異步編程變的非常很簡(jiǎn)單。

3.爬蟲(chóng)——爬蟲(chóng)領(lǐng)域，Python幾乎是霸主地位，ScrapyRequestBeautifuSoap%urllib等，想爬啥就爬啥。

4.云計(jì)算——目前最火最比較知名的云計(jì)算框架就是OpenStack,Python現(xiàn)在的火，不大一部分就是畢竟云計(jì)算。

5.人工智能——誰(shuí)會(huì)藍(lán)月帝國(guó)AI

和大數(shù)據(jù)時(shí)代的第一開(kāi)發(fā)語(yǔ)言？這本已是一個(gè)不要這場(chǎng)爭(zhēng)論的問(wèn)題。如果沒(méi)有說(shuō)三年前，Matlab、Scala、R、Java和Python還各有機(jī)會(huì)，局面縱然不很清楚，那么三年之后，趨勢(shì)早更加內(nèi)容明確了，特別是前兩天

Facebook閉源了PyTorch之后，Python以及AI時(shí)代頭牌語(yǔ)言的位置基本正式確立，未來(lái)的懸念僅是誰(shuí)能抱上第二把交椅。

6.自動(dòng)化運(yùn)維——去問(wèn)的每個(gè)運(yùn)維人員，運(yùn)維人員前提是會(huì)的語(yǔ)言是什么？10個(gè)人我相信會(huì)給你一個(gè)是一樣的的答案，它的名字叫Python。

7.金融分析——我個(gè)人前在金融行業(yè)，10年的時(shí)候，我們公司寫(xiě)的好多分析程序、高頻交易者軟件是是用Python,到目前,Python是金融講、自動(dòng)化交易領(lǐng)域里帶的至少的語(yǔ)言。

8.科學(xué)乘除運(yùn)算——你很清楚么,97年正在，NASA就在源源不斷使用Python在進(jìn)行各種復(fù)雜的科學(xué)除法運(yùn)算，緊接著NumPy,SciPy,Matplotlib,Enthoughtlibrarys等眾多程序庫(kù)的開(kāi)發(fā)，使的Python越發(fā)適合我于做科學(xué)計(jì)算、手工繪制高質(zhì)量的2D和3D圖像。和科學(xué)計(jì)算領(lǐng)域最不流行的商業(yè)軟件Matlab而言，Python是一門(mén)可以修的程序設(shè)計(jì)語(yǔ)言，比Matlab所需要的腳本語(yǔ)言的應(yīng)用范圍更應(yīng)用廣泛。

9.游戲開(kāi)發(fā)——在網(wǎng)絡(luò)游戲開(kāi)發(fā)中Python也有很多應(yīng)用。兩者相比Lua內(nèi)個(gè)C,Python比Lua有更八階的抽象能力，可以不用更少的代碼具體解釋游戲業(yè)務(wù)邏輯，與Lua比起，Python更合適才是一種Host語(yǔ)言，即程序的入口點(diǎn)是在Python那一端會(huì)比較比較好，接著用C/C在更加必要的時(shí)候?qū)懸恍U(kuò)展。Python相當(dāng)適合我c語(yǔ)言設(shè)計(jì)1萬(wàn)行以上的項(xiàng)目，但是能夠挺好地把網(wǎng)游項(xiàng)目的規(guī)模完全控制在10萬(wàn)行代碼以內(nèi)。至于我聽(tīng)說(shuō)，知名度比較高的游戲文明應(yīng)該是用Python寫(xiě)的。