用Python寫爬蟲時應(yīng)該注意哪些坑？首先，最好用Python編寫crawler。豐富的生態(tài)（各種工具）和簡潔的語言是核心亮點。作為一名專業(yè)的Python爬蟲工程師，我不知道如何回答你的問題，因為這很

用Python寫爬蟲時應(yīng)該注意哪些坑？

首先，最好用Python編寫crawler。豐富的生態(tài)（各種工具）和簡潔的語言是核心亮點。作為一名專業(yè)的Python爬蟲工程師，我不知道如何回答你的問題，因為這很尷尬。我來談?wù)劸帉懪老x程序時遇到的問題：反爬蟲是攀爬大型網(wǎng)站時遇到的常見問題（字體加密、界面加密、UA驗證、cookie驗證、各種驗證碼、用戶封條IP等）。以上都是爬蟲遇到的問題，但要解決這些問題，不僅需要python，還需要其他知識。Python只是一個工具，如果你意識到你的想法。

當(dāng)然，如果你想學(xué)習(xí)crawler，你可以使用任何語言（許多公司的crawler只招募Java或Python）。如果你想學(xué)習(xí)Python crawler或Java，你可以關(guān)注我。長期寫干貨。

python學(xué)習(xí)爬蟲，不會前端和全棧可以嗎？為何？

我認(rèn)為我們需要學(xué)習(xí)。要成為一個爬蟲，我們不僅要了解Python本身的基礎(chǔ)，還要了解HTTP的基本知識。我們無法理解整個堆棧。從靜態(tài)頁面抓取到動態(tài)生成內(nèi)容抓取，還需要web前端（尤其是DOM）。另外，是否需要進一步控制瀏覽器？硒和CDP（chromedevtools協(xié)議）受到各種神的歡迎。這些都是web前端與HTTP和網(wǎng)絡(luò)的深度結(jié)合。