如何用python爬取網(wǎng)頁中隱藏的div內(nèi)容？這是在JS中實現(xiàn)的。實際上，靜態(tài)爬蟲在網(wǎng)絡(luò)爬蟲后面。至于解決方案，互聯(lián)網(wǎng)上有幾種方法：一種是使用自動化測試工具，如selenium，它可以模擬點擊和其他操

如何用python爬取網(wǎng)頁中隱藏的div內(nèi)容？

這是在JS中實現(xiàn)的。實際上，靜態(tài)爬蟲在網(wǎng)絡(luò)爬蟲后面。至于解決方案，互聯(lián)網(wǎng)上有幾種方法：一種是使用自動化測試工具，如selenium，它可以模擬點擊和其他操作，但這實際上與爬蟲程序有很大不同。

第二種方法是使用特定的類庫在后端調(diào)用JS。Python有，但我不懂Java。

第三是找到相關(guān)頁面的JS代碼，分析相關(guān)請求URL，直接調(diào)整新URL，但是一般JS是加密壓縮的，但是可以試試。

java和python在爬蟲方面的優(yōu)勢和劣勢是什么？

Python

強(qiáng)大的網(wǎng)絡(luò)功能，模擬登陸，解析JavaScript，缺點是網(wǎng)頁解析Python編寫程序非常方便，著名的Python爬蟲有scratch等

Java

Java有很多解析器，對網(wǎng)頁的解析支持非常好，缺點是網(wǎng)絡(luò)上有很多Java開源爬蟲，比如nutch，中國有優(yōu)秀的webmagicjava解析器，比如Htmlparser和jsoup，可以滿足Java和python的通用需求。如果需要模擬登陸和反采集，選擇python更方便。如果需要處理復(fù)雜的網(wǎng)頁，解析網(wǎng)頁內(nèi)容生成結(jié)構(gòu)化數(shù)據(jù)或精細(xì)解析網(wǎng)頁內(nèi)容，可以選擇Java。