Java爬蟲問題，網(wǎng)頁核心文案是js動(dòng)態(tài)獲取的，如何使用java獲??？即使是JS動(dòng)態(tài)訪問，他也有一個(gè)請(qǐng)求地址，你可以通過chrome或Firefox的調(diào)試功能找到他！按F12，然后在控制臺(tái)打開時(shí)刷新頁

Java爬蟲問題，網(wǎng)頁核心文案是js動(dòng)態(tài)獲取的，如何使用java獲??？

即使是JS動(dòng)態(tài)訪問，他也有一個(gè)請(qǐng)求地址，你可以通過chrome或Firefox的調(diào)試功能找到他！按F12，然后在控制臺(tái)打開時(shí)刷新頁面！控制臺(tái)將顯示所有網(wǎng)絡(luò)呼叫地址！去找找看！然后你就可以通過他的格式得到數(shù)據(jù)或者郵寄到這個(gè)地址！（登錄時(shí)記得帶cookie）

如何用JAVA獲取html網(wǎng)頁中我所需要的數(shù)據(jù)？

一般網(wǎng)頁（至少我們公司是）的翻頁功能如下：

1。JS從服務(wù)器請(qǐng)求JSON數(shù)據(jù)，傳遞給服務(wù)器的參數(shù)包括page和count。

2. JS根據(jù)JSON將HTML輸出到元素。如果您要抓取的網(wǎng)頁是這種形式，可以打開瀏覽器的URL請(qǐng)求跟蹤功能，獲取JS與服務(wù)器交互的URL和參數(shù)。JSON頁面，并繼續(xù)解析數(shù)據(jù)。當(dāng)然，如果網(wǎng)頁采用非異步翻頁模式，而不是使用JSON通信，但是每次服務(wù)器生成新頁面時(shí)，可能需要解析HTML并獲取數(shù)據(jù)，但本質(zhì)上還是上面的粗體：獲取與服務(wù)器交互的URL并請(qǐng)求數(shù)據(jù)。我希望我已經(jīng)清楚地表明，溝通是一個(gè)技能點(diǎn)，但答案似乎從來沒有點(diǎn)燃