如何用python爬蟲干掉ePUBee電子書庫呢？你的想法好像有點(diǎn)卑鄙。什么都且不說，就解釋一句“該如何用python爬蟲，干掉ePUBee電子書庫？”你叫我咋答?但是你的所謂的的“解決掉”又是什么意

如何用python爬蟲干掉ePUBee電子書庫呢？

你的想法好像有點(diǎn)卑鄙。什么都且不說，就解釋一句“該如何用python爬蟲，干掉ePUBee電子書庫？”你叫我咋答?但是你的所謂的的“解決掉”又是什么意思？爬蟲是捉取數(shù)據(jù)的，姑妄當(dāng)你的“干掉”是爬蟲抓取所有數(shù)據(jù)的意思。這樣問題就換成：該如何用python爬取ePUBeer電子書庫的全部數(shù)據(jù)。是對(duì)這樣一句話，我也可以用一句話回答你：這個(gè)可以的力量python的scrapy框架，就能爬全部數(shù)據(jù)了。同于這對(duì)這樣的一個(gè)問題，如果沒有你是一個(gè)連計(jì)算機(jī)都沒外界過的內(nèi)容，我很有可能要花兩年時(shí)間，寫幾本百萬字的書，再算上身教勝于言傳，花個(gè)三五年時(shí)間，肯定也能教會(huì)你可以做到。

用Python爬蟲可以爬過去的網(wǎng)站嗎？

.例如現(xiàn)在的時(shí)間是2017.3.3，我想爬蟲抓取2017.3.1號(hào)的某網(wǎng)站的數(shù)據(jù)，這可行嗎？剛自學(xué)python爬蟲，望指教！

首先我們要明白什么是爬蟲？爬蟲那就是一個(gè)自動(dòng)采集網(wǎng)頁數(shù)據(jù)的程序，是搜素引擎的有用組成部分。按照計(jì)算機(jī)程序在網(wǎng)絡(luò)不停按照設(shè)計(jì)定制的入口網(wǎng)址去提取網(wǎng)頁的鏈接，并依據(jù)什么這些鏈接猛然抓取分離提取更深的其它未知的鏈接，故此繼續(xù),結(jié)果獲取是想的內(nèi)容。

這一次我們還要認(rèn)真思索如何用爬蟲抓取時(shí)間網(wǎng)頁數(shù)據(jù)：

1.必須要內(nèi)容明確網(wǎng)頁的三大特征：

1）每一個(gè)網(wǎng)頁都有唯一統(tǒng)一資源定位符（URL）來參與定位；

2）網(wǎng)頁在用超文本標(biāo)簽語言（HTML）來具體解釋頁面信息；

3）網(wǎng)頁不使用超文本傳輸協(xié)議（HTTP/HTTPS）協(xié)議來傳輸HTML數(shù)據(jù)。

2.成立爬蟲的設(shè)計(jì)思路：

1）簡(jiǎn)單考慮必須爬取的網(wǎng)頁URL地址；

2）是從HTTP/HTTP協(xié)議來查看按的HTML頁面；

3）提取HTML頁面里用處不大的數(shù)據(jù)：

a.如果是是需要的數(shù)據(jù)，就需要保存起來。

b.如果不是是頁面里的其他URL，的話再想執(zhí)行第二步。

例如我們想爬去新浪資訊整站數(shù)據(jù)內(nèi)容，觀察到新浪首頁上方有很多分類，例如新聞、財(cái)經(jīng)、科技、體育、娛樂、汽車……，每一個(gè)分類下又分很多子類，.例如新聞下又統(tǒng)稱軍事、社會(huì)、國際……。而，簡(jiǎn)單要從新浪的首頁又開始，可以找到各個(gè)大類的URL鏈接，再在大類下找到小類的URL鏈接，結(jié)果能找到每個(gè)新聞頁面的URL，按需求爬取文本后者圖片，這那就是抓取內(nèi)容一整個(gè)資源站的思路。

3.爬蟲的

可以做爬蟲的語言有很多，如PHP、Java、C/C、Python等等...

但目前Python能夠其語法優(yōu)美絕倫、代碼簡(jiǎn)約、開發(fā)效率高、意見的模塊多，相關(guān)的HTTP只是請(qǐng)求模塊和HTML解析模塊非常相當(dāng)豐富下一界了最越來越廣泛使用的，其有極為強(qiáng)大的爬蟲Scrapy包括長(zhǎng)大成熟又高效的scrapy-redis分布式策略。況且，借用python動(dòng)態(tài)鏈接庫其他借口都是很方便。

過去的網(wǎng)站能不能爬，關(guān)鍵看站點(diǎn)有無也可以不能訪問歷史頁面?；蛘吣阋酪粋€(gè)內(nèi)容站點(diǎn)，所有文章這個(gè)可以實(shí)際翻頁導(dǎo)航到，隨后聲望兌換二級(jí)頁面的url，那么就可以不爬。如果不是你爬的站點(diǎn)本身該如何也找不到歷史頁面填寫的url那你就沒什么辦法爬了。