Spark能代替Hadoop嗎？根據(jù)現(xiàn)有的發(fā)展，目前spark還不能完全代替Hadoop。我們知道Hadoop包含三個(gè)組件yarn，hdfs，MapReduce，分別對(duì)應(yīng)解決三個(gè)方面的問(wèn)題，資源調(diào)度(

Spark能代替Hadoop嗎？

根據(jù)現(xiàn)有的發(fā)展，目前spark還不能完全代替Hadoop。

我們知道Hadoop包含三個(gè)組件yarn，hdfs，MapReduce，分別對(duì)應(yīng)解決三個(gè)方面的問(wèn)題，資源調(diào)度(yarn)，分布式存儲(chǔ)(hdfs)，分布式計(jì)算(mapreudce)。而spark只解決了分布式計(jì)算方面的問(wèn)題，跟MapReduce需要頻繁寫磁盤不同，spark重復(fù)利用內(nèi)存，大大提高了計(jì)算效率，在分布式計(jì)算方面spark大有取代MapReduce之勢(shì)，而在資源調(diào)度，和分布式存儲(chǔ)方面spark還無(wú)法撼動(dòng)。

在hadoop和spark之間如何取舍？

一般來(lái)說(shuō)，主流業(yè)界大數(shù)據(jù)技術(shù)Hadoop和Spark都會(huì)用到，在學(xué)習(xí)的時(shí)候，兩個(gè)體系都會(huì)學(xué)習(xí)，先學(xué)習(xí)Hadoop，在學(xué)Spark。

Hadoop：

Apache開源組織的一個(gè)分布式基礎(chǔ)框架，提供了一個(gè)分布式文件系統(tǒng)(HDFS)、分布式計(jì)算（MapReduce）及統(tǒng)一資源管理框架（YARN）的軟件架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。

Spark：

專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。用來(lái)構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用程序?？捎盟鼇?lái)完成各種各樣的運(yùn)算，包括 SQL 查詢、文本處理、機(jī)器學(xué)習(xí)等。

相關(guān)：Spark能代替Hadoop嗎？

https://www.toutiao.com/i6540156962573648397/