Java爬蟲問題，網(wǎng)頁核心文案是js動態(tài)獲取的，如何使用java獲??？即使是JS動態(tài)訪問，他也有一個請求地址，你可以通過chrome或Firefox的調(diào)試功能找到他！按F12，然后在控制臺打開時刷新頁

Java爬蟲問題，網(wǎng)頁核心文案是js動態(tài)獲取的，如何使用java獲?。?/h2>

即使是JS動態(tài)訪問，他也有一個請求地址，你可以通過chrome或Firefox的調(diào)試功能找到他！按F12，然后在控制臺打開時刷新頁面！控制臺將顯示所有網(wǎng)絡(luò)呼叫地址！去找找看！然后你就可以通過他的格式得到數(shù)據(jù)或者郵寄到這個地址?。ǖ卿洉r記得帶cookie）

如何用JAVA獲取html網(wǎng)頁中我所需要的數(shù)據(jù)？

一般網(wǎng)頁（至少我們公司是）的翻頁功能如下：

1。JS從服務(wù)器請求JSON數(shù)據(jù)，傳遞給服務(wù)器的參數(shù)包括page和count。

2. JS根據(jù)JSON將HTML輸出到元素。如果您要抓取的網(wǎng)頁是這種形式，可以打開瀏覽器的URL請求跟蹤功能，獲取JS與服務(wù)器交互的URL和參數(shù)。JSON頁面，并繼續(xù)解析數(shù)據(jù)。當(dāng)然，如果網(wǎng)頁采用非異步翻頁模式，而不是使用JSON通信，但是每次服務(wù)器生成新頁面時，可能需要解析HTML并獲取數(shù)據(jù)，但本質(zhì)上還是上面的粗體：獲取與服務(wù)器交互的URL并請求數(shù)據(jù)。我希望我已經(jīng)清楚地表明，溝通是一個技能點，但答案似乎從來沒有點燃