如何用JAVA獲取html網(wǎng)頁中我所需要的數(shù)據(jù)？一般網(wǎng)頁（至少我們公司是）的翻頁功能都是如下方式：1，js向服務端請求json數(shù)據(jù)，傳遞給服務器的參數(shù)包括page和count兩個信息。2，js根據(jù)js

如何用JAVA獲取html網(wǎng)頁中我所需要的數(shù)據(jù)？

一般網(wǎng)頁（至少我們公司是）的翻頁功能都是如下方式：

1，js向服務端請求json數(shù)據(jù)，傳遞給服務器的參數(shù)包括page和count兩個信息。

2，js根據(jù)json將html輸出到某元素上。如果你要抓取的網(wǎng)頁是采用這種形式的話，你可以打開瀏覽器自帶的url請求追蹤功能，得到js與服務器交互的url以及參數(shù)。程序中不停地加大page，獲取json數(shù)據(jù)并解析。當然，如果網(wǎng)頁是采用非異步的翻頁模式，不是采用json通訊，而是每次都由服務器產(chǎn)生新頁面的話，你可能就需要解析html并獲取數(shù)據(jù)了，但是本質(zhì)上還是上面加粗的那一條：獲取與服務器交互的URL并請求數(shù)據(jù)。但愿我把這事兒說明白了；都說溝通是個技能點，答主貌似未曾點亮過.......