如何理解MapReduce？我可不可以簡(jiǎn)單將MapReduce解釋為：Map共同負(fù)責(zé)清點(diǎn)交接任務(wù)Reduce負(fù)責(zé)回收能完成的任務(wù)很莫大榮幸來(lái)一起討論這個(gè)問(wèn)題。MapReduce可是在當(dāng)下日漸沒(méi)落，目前

如何理解MapReduce？

我可不可以簡(jiǎn)單將MapReduce解釋為：Map共同負(fù)責(zé)清點(diǎn)交接任務(wù)Reduce負(fù)責(zé)回收能完成的任務(wù)

很莫大榮幸來(lái)一起討論這個(gè)問(wèn)題。

MapReduce可是在當(dāng)下日漸沒(méi)落，目前主要注意靠hive來(lái)發(fā)揮余熱，不過(guò)其充當(dāng)曾經(jīng)的分布式計(jì)算框架的鼻祖，其內(nèi)部的機(jī)制依舊值的我們?nèi)ピ趺磳W(xué)習(xí)和借鑒吸收。

題主的理解，map才是任務(wù)的分發(fā)、reduce回收任務(wù)，我從一定程度上是贊同的。可是任務(wù)的處理階段被忽視掉了。

我如果說(shuō)map階段是側(cè)重點(diǎn)不同于任務(wù)的分發(fā)、reduce階段側(cè)重于于數(shù)據(jù)的處理，以及數(shù)據(jù)的回收。

不過(guò)絕不可以選擇性的遺忘的也有shuffle階段，在shuffle階段成功了多次的排序、分區(qū)、流出。

連接上了map和reduce階段的處理。

下面用通俗的語(yǔ)言簡(jiǎn)單點(diǎn)描述下MapReduce的整個(gè)過(guò)程。

1.是需要明確的配置確認(rèn)的分片大小，將待全面處理的數(shù)據(jù)文件接受分片，每一個(gè)分片都分開(kāi)來(lái)分配一個(gè)mapTask（也就是map的一個(gè)線程）來(lái)一次性處理。

線程將待全面處理4行數(shù)據(jù)，都推導(dǎo)成key-value的格式，在旁邊解析，在旁邊描寫(xiě)到內(nèi)存中。

3.在內(nèi)存中進(jìn)行十分有利的shuffle過(guò)程，

將map描寫(xiě)到內(nèi)存中的數(shù)據(jù)，明確的同一的key并且主分區(qū)排序（該過(guò)程會(huì)分布特點(diǎn)接受三次），其實(shí)可以不可以自定義規(guī)則，判斷哪些key可看成是是不同的

的數(shù)量由分區(qū)數(shù)量，也可以算是key的數(shù)量來(lái)做出決定，每個(gè)task如何處理一個(gè)分區(qū)的數(shù)據(jù)。

5.最后每個(gè)reducetask將本分區(qū)處理后的結(jié)果數(shù)據(jù)寫(xiě)一段，到了此時(shí)果真MapReduce程序能夠完成。

關(guān)鍵點(diǎn)整個(gè)過(guò)程的關(guān)鍵點(diǎn)

1.該如何定義,定義文件的分片，改變maptask的數(shù)量，也就做出決定了map階段的效率，尤其是對(duì)小文件的處理

2.自定義設(shè)置分區(qū)，也就是自定義設(shè)置key不同的規(guī)則，由業(yè)務(wù)的邏輯改變

3.對(duì)完全相同key的數(shù)據(jù)的處理，也就是reduce階段的處理邏輯，更是整個(gè)程序的核心處理。

上列應(yīng)該是我對(duì)這MapReduce技術(shù)一點(diǎn)拙見(jiàn)，多謝了大家通過(guò)評(píng)論指教、了解、你點(diǎn)贊，給我以動(dòng)力支持。

學(xué)習(xí)是人充實(shí)快樂(lè)，祝大家就任CTO、迎娶白富美?。?！O(∩_∩)O

傳統(tǒng)的數(shù)據(jù)存儲(chǔ)工具有哪些？

1.Hadoop分布式存儲(chǔ)與計(jì)算

Hadoop利用了一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System)，簡(jiǎn)稱HDFS。Hadoop的框架最核心的設(shè)計(jì)是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)需要提供了存儲(chǔ)，MapReduce則為海量的數(shù)據(jù)提供給了換算，所以，是需要重點(diǎn)完全掌握，外，還必須掌握Hadoop集群、Hadoop集群管理、YARN在內(nèi)Hadoop高級(jí)管理等具體技術(shù)與操作!

Hive是基于條件Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，這個(gè)可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供給簡(jiǎn)單點(diǎn)SQL查詢功能，可以將SQL語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)并且運(yùn)行。比用Java代碼編寫(xiě)MapReduce來(lái)說(shuō)，Hive的優(yōu)勢(shì)明顯：飛快開(kāi)發(fā)，人員成本低，可擴(kuò)展性(自由存儲(chǔ)集群規(guī)模)，延展性(支持什么可以自定義函數(shù))。極其合適數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析。相對(duì)于Hive需掌握到其安裝、應(yīng)用及低級(jí)操作等。

3.ZooKeeper

ZooKeeper是一個(gè)開(kāi)源的分布式協(xié)調(diào)服務(wù)，是Hadoop和HBase的有用組件，是一個(gè)為分布式應(yīng)用方法需要提供一致的軟件，提供的功能和：配置維護(hù)、域名服務(wù)、分布式同步、組件服務(wù)等，在大數(shù)據(jù)開(kāi)發(fā)中要完全掌握Z(yǔ)ooKeeper的常用命令及功能的實(shí)現(xiàn)程序方法。

4.HBase

HBase是一個(gè)分布式的、面向列的閉源數(shù)據(jù)庫(kù)，它相比于象的關(guān)系數(shù)據(jù)庫(kù)，更適合我于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)，是一個(gè)高可靠性、集高性能、走向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，大數(shù)據(jù)開(kāi)發(fā)需掌握到HBase基礎(chǔ)知識(shí)、應(yīng)用、整體架構(gòu)和初級(jí)用法等。

Redis是一個(gè)Key-Value存儲(chǔ)系統(tǒng)，其會(huì)出現(xiàn)不大程度補(bǔ)償了Memcached這類Key/Value存儲(chǔ)的不足，在部分場(chǎng)合也可以對(duì)關(guān)系數(shù)據(jù)庫(kù)能起很好的補(bǔ)充作用，它提供了Java，C/C，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客戶端，在用很方便啊，大數(shù)據(jù)開(kāi)發(fā)需完全掌握Redis的安裝、配置及查找使用方法。

6.Kafka

Kafka是一種高吞吐量的分布式先發(fā)布訂閱消息系統(tǒng)，其在大數(shù)據(jù)開(kāi)發(fā)應(yīng)用上的目的是是從Hadoop的并行程序加載機(jī)制來(lái)統(tǒng)一線上和自動(dòng)更新的消息處理，也是就是為了集群來(lái)能提供動(dòng)態(tài)實(shí)時(shí)的消息。大數(shù)據(jù)開(kāi)發(fā)需掌握到Kafka架構(gòu)原理及各組件的作用和使用方法及去相關(guān)功能的實(shí)現(xiàn)。

Neo4j是一個(gè)集高性能的,NoSQL圖形數(shù)據(jù)庫(kù)，具有去處理百萬(wàn)和T級(jí)節(jié)點(diǎn)和邊的大尺度去處理網(wǎng)絡(luò)分析能力。它是一個(gè)嵌入式的、設(shè)計(jì)和實(shí)現(xiàn)磁盤(pán)的、必須具備已經(jīng)的事務(wù)特性的Java不持久化引擎，不過(guò)它將結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在網(wǎng)絡(luò)(從數(shù)學(xué)角度叫做什么圖)上而也不是表中。Neo4j因其嵌入式、低性能、輕量級(jí)等優(yōu)勢(shì)，越來(lái)越大是被關(guān)注。

Cassandra是一個(gè)混合型的非關(guān)系的數(shù)據(jù)庫(kù)，類似Google的BigTable，其主要功能比Dynamo(分布式的Key-Value存儲(chǔ)系統(tǒng))更豐富。這種NoSQL數(shù)據(jù)庫(kù)最初的由Facebook開(kāi)發(fā)，辦準(zhǔn)生證需要什么證件被1500多家企業(yè)組織建議使用，和蘋(píng)果、歐洲原子核研究組織(CERN)、康卡斯特、電子港灣、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netflix、Reddit等。是一種流行的分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方案。

SSM框架是由Spring、Spring MVC、MyBatis三個(gè)開(kāi)源框架整合而成，常作為數(shù)據(jù)源較很簡(jiǎn)單Web項(xiàng)目的框架。大數(shù)據(jù)開(kāi)發(fā)需四個(gè)掌握Spring、Spring MVC、MyBatis三種框架的同時(shí)，再使用SSM接受整合操作。