如何用JAVA獲取html網(wǎng)頁中我所需要的數(shù)據(jù)？一般網(wǎng)頁（至少我們公司是）的翻頁功能如下：1。JS從服務(wù)器請(qǐng)求JSON數(shù)據(jù)，傳遞給服務(wù)器的參數(shù)包括page和count。2. JS根據(jù)JSON將HTML

如何用JAVA獲取html網(wǎng)頁中我所需要的數(shù)據(jù)？

一般網(wǎng)頁（至少我們公司是）的翻頁功能如下：

1。JS從服務(wù)器請(qǐng)求JSON數(shù)據(jù)，傳遞給服務(wù)器的參數(shù)包括page和count。

2. JS根據(jù)JSON將HTML輸出到元素。如果您要抓取的網(wǎng)頁是這種形式，可以打開瀏覽器的URL請(qǐng)求跟蹤功能，獲取JS與服務(wù)器交互的URL和參數(shù)。程序不斷增加頁面，獲取JSON數(shù)據(jù)并進(jìn)行解析。當(dāng)然，如果網(wǎng)頁采用非異步翻頁模式，而不是使用JSON通信，但是每次服務(wù)器生成新頁面時(shí)，可能需要解析HTML并獲取數(shù)據(jù)，但本質(zhì)上還是上面的粗體：獲取與服務(wù)器交互的URL并請(qǐng)求數(shù)據(jù)。我希望我已經(jīng)清楚地表明，溝通是一個(gè)技能點(diǎn)，但答案似乎從來沒有點(diǎn)燃