如果爬蟲和API都會對服務(wù)器造成很大壓力，為什么在反爬蟲的同時會鼓勵開放API？爬蟲是不可控的（被動的），API是可控的（主動的），這應(yīng)該很容易理解。主動API開放的目的是什么？不是因為有利可圖。例如

如果爬蟲和API都會對服務(wù)器造成很大壓力，為什么在反爬蟲的同時會鼓勵開放API？

爬蟲是不可控的（被動的），API是可控的（主動的），這應(yīng)該很容易理解。

主動API開放的目的是什么？不是因為有利可圖。例如，微信和twitter的開放api就是為了利用第三方應(yīng)用來增強用戶粘性。第三方應(yīng)用程序也更容易通過大型平臺獲得用戶。因為這是有利可圖的，所以解決服務(wù)器壓力問題是值得的。當然，這也是基于第三方提出的合理要求。如果大量無意義的API調(diào)用是由第三方進行的，那么也應(yīng)該被禁止。問題中提到的無限twitter API是一個偽命題。Twitter有一個get application rate limit status API，讓應(yīng)用程序知道當前可以發(fā)出多少請求。

這個問題也可以反過來問。既然有一個開放的API，為什么要努力編寫爬蟲程序呢？它只是試圖獲取一些其他人不想提供給您的信息，或者繞過API的訪問限制。面對這些情況，網(wǎng)站開發(fā)者難道不想反爬蟲嗎？