mapreduce適合用迭代計(jì)算嗎？Mapreduce不適合迭代計(jì)算(比如機(jī)器學(xué)習(xí)，圖計(jì)算等。)、交互處理(數(shù)據(jù)挖掘)和流處理(點(diǎn)擊日志分析)，中間結(jié)果需要保存到磁盤，必然會(huì)導(dǎo)致磁盤io操作，影響性能

mapreduce適合用迭代計(jì)算嗎？

Mapreduce不適合迭代計(jì)算(比如機(jī)器學(xué)習(xí)，圖計(jì)算等。)、交互處理(數(shù)據(jù)挖掘)和流處理(點(diǎn)擊日志分析)，中間結(jié)果需要保存到磁盤，必然會(huì)導(dǎo)致磁盤io操作，影響性能。

Spark將運(yùn)算的中間數(shù)據(jù)存儲(chǔ)在內(nèi)存中，使得迭代計(jì)算效率更高，更適合重復(fù)計(jì)算。

在mapreduce作業(yè)中，只有一對(duì)M和R，而在spark作業(yè)中，可以有多個(gè)M和

mapreduce對(duì)數(shù)據(jù)的操作分為？

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行操作。MapReduce主要對(duì)數(shù)據(jù)執(zhí)行兩種操作:Map和Reduc

大專生如何學(xué)習(xí)大數(shù)據(jù)？

目前大數(shù)據(jù)方向的工作主要分為三個(gè)主要方向:平臺(tái)搭建/優(yōu)化/運(yùn)維/監(jiān)控、大數(shù)據(jù)開發(fā)/設(shè)計(jì)/架構(gòu)、數(shù)據(jù)分析/挖掘。

開始使用大數(shù)據(jù)需要學(xué)習(xí)以下知識(shí)點(diǎn):

編程

Java編程是大數(shù)據(jù)學(xué)習(xí)的基礎(chǔ)，也是大數(shù)據(jù)工程師最喜歡的編程工具。所以想要學(xué)好大數(shù)據(jù)，掌握J(rèn)ava基礎(chǔ)是必不可少的。

命令

大數(shù)據(jù)開發(fā)通常在Linux環(huán)境下進(jìn)行。如果想從事大數(shù)據(jù)開發(fā)相關(guān)工作，需要掌握Linux的基本操作命令。

3、Hadoop

Hadoop是大數(shù)據(jù)開發(fā)的重要框架，其核心是HDFS和MapReduce。另外需要掌握Hadoop集群，Hadoop集群管理，YARN等等。

4、蜂巢

動(dòng)物園管理員

6、HBase

7、Redis

8、水槽

9、卡夫卡

10、標(biāo)量

11、火花

Spark是專門為大規(guī)模數(shù)據(jù)處理設(shè)計(jì)的快速通用計(jì)算引擎，為管理各種數(shù)據(jù)集和數(shù)據(jù)源的大數(shù)據(jù)處理需求提供了全面統(tǒng)一的框架。

等等

相關(guān):大數(shù)據(jù)學(xué)習(xí)路線指南

嘉米谷大數(shù)據(jù)0基礎(chǔ)培訓(xùn)班和大數(shù)據(jù)開發(fā)五月班已經(jīng)開課。歡迎預(yù)約免費(fèi)試聽！