Spark的核心組件有幾部分？實(shí)現(xiàn)了spark的基本功能，包括任務(wù)調(diào)度、內(nèi)存管理、錯(cuò)誤恢復(fù)和存儲(chǔ)系統(tǒng)交互。Spark內(nèi)核還包含了彈性分布式數(shù)據(jù)集的定義Spark是一個(gè)用來(lái)操作結(jié)構(gòu)化數(shù)據(jù)SQL的程序，我

Spark的核心組件有幾部分？

實(shí)現(xiàn)了spark的基本功能，包括任務(wù)調(diào)度、內(nèi)存管理、錯(cuò)誤恢復(fù)和存儲(chǔ)系統(tǒng)交互。Spark內(nèi)核還包含了彈性分布式數(shù)據(jù)集的定義

Spark是一個(gè)用來(lái)操作結(jié)構(gòu)化數(shù)據(jù)SQL的程序，我們可以使用SQL或hive（HQL）來(lái)查詢(xún)數(shù)據(jù)，支持多種數(shù)據(jù)源，比如hive表是JSON，除了提供SQL查詢(xún)接口外，還支持SQL與傳統(tǒng)RDD的結(jié)合，開(kāi)發(fā)人員可以使用SQL和編程（API）同時(shí)查詢(xún)和分析應(yīng)用程序中的數(shù)據(jù)。

它是spark提供的用于實(shí)時(shí)數(shù)據(jù)流計(jì)算的組件。例如，web服務(wù)器日志或消息隊(duì)列是數(shù)據(jù)流。

Spark提供了一個(gè)通用機(jī)器學(xué)習(xí)函數(shù)庫(kù)，包括許多機(jī)器學(xué)習(xí)算法，如分類(lèi)、回歸、聚類(lèi)、協(xié)作過(guò)濾等。

用于圖形計(jì)算，如社交網(wǎng)絡(luò)朋友圖。

Spark SQL和Shark在架構(gòu)上有哪些區(qū)別？

Spark shark |即hive onspark

A.它將HQL轉(zhuǎn)換為Spark上的RDD操作，然后通過(guò)hive的元數(shù)據(jù)獲取數(shù)據(jù)庫(kù)中的表信息，shark在HDFS上獲取數(shù)據(jù)和文件夾，在spark上進(jìn)行操作

B.它最大的特點(diǎn)是速度快，與hive完全兼容

C.shark在最終物理計(jì)劃執(zhí)行階段使用hive的API實(shí)現(xiàn)查詢(xún)parsing和邏輯計(jì)劃，spark代替Hadoop Mr

d.通過(guò)配置shark參數(shù)，shark可以自動(dòng)將特定的RDD緩存在內(nèi)存中，實(shí)現(xiàn)數(shù)據(jù)重用，進(jìn)而加快特定數(shù)據(jù)集的檢索速度。

e.Shark通過(guò)UDF實(shí)現(xiàn)了一個(gè)特定的數(shù)據(jù)分析學(xué)習(xí)算法，它結(jié)合了SQL數(shù)據(jù)查詢(xún)和操作分析，最大限度地重用RDD。

Spark SQL

A.是一種基于catalyst引擎的交互式大數(shù)據(jù)SQL技術(shù)。它使用schemardd來(lái)操作SQL，并支持比shark更高級(jí)的查詢(xún)表達(dá)式。

b.支持hive | HBase | Oracle