淘寶反爬蟲太厲害了 學習python爬蟲要著重學習MySQL嗎?
學習python爬蟲要著重學習MySQL嗎?我不認為學習Python crawler和學習mysql之間有什么關系。當我們學習crawler時,我們不能理解mysql,或者我們不能理解python對m
學習python爬蟲要著重學習MySQL嗎?
我不認為學習Python crawler和學習mysql之間有什么關系。當我們學習crawler時,我們不能理解mysql,或者我們不能理解python對mysql的操作。讓我們看看Python crawler的整個過程。
從上面的流程來看,在數據存儲方面,我們會存儲數據,也就是說在數據存儲方面,我們會涉及到mysql、文件等類型的操作。所以,即使我們不了解mysql,我們也可以讓爬蟲程序下一步運行。然后對網絡上的數據進行爬網。
java和python在爬蟲方面的優(yōu)勢和劣勢是什么?
Python
強大的網絡功能,模擬登陸,解析JavaScript,缺點是網頁解析Python編寫程序非常方便,著名的Python爬蟲有scratch等
Java
Java有很多解析器,對網頁的解析支持非常好,缺點是網絡上有很多Java開源爬蟲,比如nutch,中國有優(yōu)秀的webmagicjava解析器,比如Htmlparser和jsoup,可以滿足Java和python的通用需求。如果需要模擬登陸和反采集,選擇python更方便。如果需要處理復雜的網頁,解析網頁內容生成結構化數據或精細解析網頁內容,可以選擇Java。