linux python Hadoop支持用python開發(fā)嗎?還有哪些支持python的分布式計(jì)算系統(tǒng)框架?
Hadoop支持用python開發(fā)嗎?還有哪些支持python的分布式計(jì)算系統(tǒng)框架?Hadoop支持python。我的理解是,任務(wù)通過yarn分配到工作節(jié)點(diǎn),并通過shell調(diào)用。這種方法比原生Mr速
Hadoop支持用python開發(fā)嗎?還有哪些支持python的分布式計(jì)算系統(tǒng)框架?
Hadoop支持python。我的理解是,任務(wù)通過yarn分配到工作節(jié)點(diǎn),并通過shell調(diào)用。這種方法比原生Mr速度慢,因此沒有得到廣泛的應(yīng)用。
Spark應(yīng)該是Python的友好框架。要說缺點(diǎn),畢竟是Scala或Java風(fēng)格的API,這對(duì)于Python是不夠的。在使用了panda和numpy之后,我覺得spark的API是比較基本的。
此外,python建議您學(xué)習(xí)dask和芹菜。Dask基于numpy和panda進(jìn)行封裝,兼容大多數(shù)NP和PD接口。它還支持分布式和可視化界面。總的來說,這是個(gè)不錯(cuò)的選擇。
作為一個(gè)分布式任務(wù)調(diào)度框架,cellery并不是專門為ETL設(shè)計(jì)的,所以它的性能比dask差。但我覺得作為一個(gè)生產(chǎn)體系,芹菜比較穩(wěn)定。
java和Python兩門語言,哪個(gè)更適合接活單干?
毫無疑問,Java和python仍然非常流行,開發(fā)效率也很高。
如果字幕和讀者有一定的Java和Python代碼編程能力,結(jié)合外包需求和自身能力,可以試試看。
說到Java,我們認(rèn)為最重要的是Java web,以及許多Java API和庫(kù)。Android應(yīng)用程序之類的。但是,這些東西對(duì)程序員理解Java有一定的要求。例如,您可以獨(dú)立完成一個(gè)基本的Android應(yīng)用程序或一個(gè)Java網(wǎng)站,向其他人證明您的能力。許多私有的單平臺(tái)對(duì)程序員也有很高的要求。
事實(shí)上,從事私人工作的一個(gè)主要原因是證明自己的能力,另一個(gè)原因是使自己的錢包更充實(shí)。如果你認(rèn)為自己在語言的某些方面很出色,你可以向外界推銷自己。借助平臺(tái),讓別人找到你。
如果你在學(xué)校,你可以去導(dǎo)師或院長(zhǎng)那里做項(xiàng)目,獲得項(xiàng)目份額,并有機(jī)會(huì)獲得項(xiàng)目競(jìng)賽獎(jiǎng)金和證書。將來,你可以選擇報(bào)價(jià)。
本人是軟件工程大一的學(xué)生,目前想在暑假學(xué)習(xí)一門語言,java和python應(yīng)該選哪個(gè)?
選擇哪一種都可以,語言只是程序員的基礎(chǔ),真正強(qiáng)大的東西是隱藏在程序背后的算法。想快速入門,選擇python,想了解計(jì)算機(jī)很低級(jí)的東西,C或C都可以。java在中間。