如何爬蟲網(wǎng)頁數(shù)據(jù) 各位python達人，怎樣寫一個爬取網(wǎng)站目錄的？
各位python達人，怎樣寫一個爬取網(wǎng)站目錄的？如果需要少量數(shù)據(jù)，可以使用python2附帶的urllib2爬蟲程序。如果你想要大量的數(shù)據(jù)，你需要一個特殊的爬蟲框架，scratch。作為一個爬蟲程序，
各位python達人，怎樣寫一個爬取網(wǎng)站目錄的？
如果需要少量數(shù)據(jù)，可以使用python2附帶的urllib2爬蟲程序。如果你想要大量的數(shù)據(jù)，你需要一個特殊的爬蟲框架，scratch。作為一個爬蟲程序，首先需要分析要爬網(wǎng)的網(wǎng)頁的頁面結(jié)構(gòu)，也就是說，需要知道要爬網(wǎng)的元素在DOM樹中的位置，然后使用可以操作DOM的包，比如beautiful soup或者XPath，解析DOM，得到想要的值，然后保存