Python語言其實很慢，為什么機器學習這種快速算法步驟通常還是用呢？對于那些使用了多種開發(fā)語言（Java、C#、nodejs、Erlang）然后轉到Python進行機器學習的人，我想談談我的看法。首

Python語言其實很慢，為什么機器學習這種快速算法步驟通常還是用呢？

對于那些使用了多種開發(fā)語言（Java、C#、nodejs、Erlang）然后轉到Python進行機器學習的人，我想談談我的看法。

首先，Python真的很慢嗎？我的回答是真的。非常慢。for循環(huán)比CPP慢兩個數(shù)量級。

那么為什么要使用Python呢？如果我們遍歷超過一億個數(shù)據(jù)，兩個數(shù)量級的差異是不可接受的。但是，如果我們使用Python來執(zhí)行頂層邏輯并阻塞數(shù)以億計的數(shù)據(jù)，Python只會循環(huán)十幾次，剩下的就留給CPU和GPU了。所以兩個數(shù)量級無關緊要？一毫秒和100毫秒在整個系統(tǒng)中并不重要。

Python最大的優(yōu)點是它可以非常優(yōu)雅地將數(shù)據(jù)拋出到高效的C、CUDA中進行計算。Numpy、panda、numba這些優(yōu)秀的開源庫可以非常方便高效地處理海量數(shù)據(jù)，借助ZMQ、cell等還可以做分布式計算，gevent借助epoll系統(tǒng)IO優(yōu)化。因此，它不需要花費太多的精力就可以優(yōu)雅高效地完成海量數(shù)據(jù)處理和機器學習任務。這就是Python如此流行的原因。

好好想想。同樣的性能，代碼只有CPP或Java的三分之一或更少，不是很吸引人嗎？

Python有什么辦法可以讓程序去遍歷比電腦內存大的數(shù)據(jù)？

你好，我很高興在這里交流。

這取決于您需要什么樣的數(shù)據(jù)。如果是大量的Excel數(shù)據(jù)，python有一個自然的數(shù)據(jù)處理庫panda。

具有Excel表格的所有功能，從多表拼接、合并、搜索、替換到數(shù)據(jù)透視表，特別適合處理大量千萬級數(shù)據(jù)記錄。

一切都很順利。來吧。