爬蟲爬取某個(gè)網(wǎng)站進(jìn)行個(gè)股分析時(shí)，源代碼關(guān)鍵數(shù)字被屏蔽，是因?yàn)镴avaScript的原因嗎？要怎么破解？蠻有意思的，搞得我很想去看看。關(guān)鍵數(shù)字被屏蔽了，可以看看渲染后的html是否為數(shù)字，還是一串uni

爬蟲爬取某個(gè)網(wǎng)站進(jìn)行個(gè)股分析時(shí)，源代碼關(guān)鍵數(shù)字被屏蔽，是因?yàn)镴avaScript的原因嗎？要怎么破解？

蠻有意思的，搞得我很想去看看。關(guān)鍵數(shù)字被屏蔽了，可以看看渲染后的html是否為數(shù)字，還是一串unicode編碼，也有可能是一串圖片（很少有公司有實(shí)力做到這一步）?；臼窍旅鎺最悾?/p>

1：字體庫加密，在我的文章里有過一篇文章說的字體庫加密的破解可以對(duì)照下。驗(yàn)證方式是點(diǎn)開源代碼看看是不是一串unicode編碼。

2：圖片，使用圖片拼接數(shù)學(xué)在百度的指數(shù)上面有應(yīng)用，這個(gè)麻煩一點(diǎn)點(diǎn)。用f12看下樣式就好。

3：Js動(dòng)態(tài)控制css實(shí)現(xiàn)渲染。汽車之家的m站是這種，就是設(shè)置某個(gè)css樣式背景是某個(gè)字符，也可以通過f12看看css就可以確定了。

至于反爬，感覺沒點(diǎn)真功夫比較懸，我估計(jì)是第一種，畢竟簡(jiǎn)單。這里并不是不想教方法，因?yàn)閮?nèi)容有點(diǎn)多，我一下子說不完，后面想看的可以關(guān)注我。第一種我的文章已經(jīng)寫了。

怎么獲取網(wǎng)頁源代碼中的文件？

網(wǎng)頁源代碼是父級(jí)網(wǎng)頁的代碼網(wǎng)頁中有一種節(jié)點(diǎn)叫iframe，也就是子Frame，相當(dāng)于網(wǎng)頁的子頁面，他的結(jié)構(gòu)和外部網(wǎng)頁的結(jié)構(gòu)完全一致，框架源代碼就是這個(gè)子網(wǎng)頁的源代碼。另外，爬取網(wǎng)易云推薦使用selenium，因?yàn)槲覀冊(cè)谧雠廊【W(wǎng)易云熱評(píng)的操作時(shí)，此時(shí)請(qǐng)求得到的代碼是父網(wǎng)頁的源代碼，這時(shí)是請(qǐng)求不到子網(wǎng)頁的源代碼的，也得不到我們需要提取的信息，這是因?yàn)閟elenium打開頁面后，默認(rèn)是在父級(jí)frame里面的操作，而此時(shí)如果頁面中還有子frame，它是不能獲取到子frame里面的節(jié)點(diǎn)的，這是需要用swith_to.frame（）方法來切換frame，這時(shí)請(qǐng)求得到的代碼就從網(wǎng)頁源代碼切換到了框架源代碼，然后就可以提取我們所需的信息。

如何用python爬取ajax網(wǎng)頁的內(nèi)容？

我是直接看js源碼，分析完，然后爬的。例如看頁面是用Ajax請(qǐng)求一個(gè)JSON文件，我就先爬那個(gè)頁面，獲取Ajax所需的參數(shù)，然后直接請(qǐng)求JSON頁，然后解碼，再處理數(shù)據(jù)并入庫。如果你直接運(yùn)行頁面上所有js（就像瀏覽器做的那樣），然后獲取最終的HTML DOM樹，這樣的性能非常地糟糕，不建議使用這樣的方法。因?yàn)镻ython和js性能本身都很差，如果這樣做，會(huì)消耗大量CPU資源并且最終只能獲得極低的抓取效率。