hadoop調(diào)優(yōu) hadoop和python能搭配在一起做一個(gè)項(xiàng)目么?
hadoop和python能搭配在一起做一個(gè)項(xiàng)目么?Hadoop的HDFS用于存儲(chǔ),數(shù)據(jù)處理可以用python的Hadoop框架來完成,如mrjob、pydoop、Luigi等(還有Dumbo、Had
hadoop和python能搭配在一起做一個(gè)項(xiàng)目么?
Hadoop的HDFS用于存儲(chǔ),數(shù)據(jù)處理可以用python的Hadoop框架來完成,如mrjob、pydoop、Luigi等(還有Dumbo、Hadoop等框架,推薦兩本書:《MapReduce設(shè)計(jì)模式》和《hive編程指南》。第一本書教你如何用MapReduce處理數(shù)據(jù)。第二本書是關(guān)于蜂巢的簡(jiǎn)單應(yīng)用。在公司里,基本上可以用hive編寫SQL,但有時(shí)還需要知道如何將底層翻譯成Mr,否則可能會(huì)出現(xiàn)奇怪的問題。
多練習(xí),多閱讀,多思考,實(shí)踐出真知。