spark是怎么區(qū)分transformer和action算子的？在我看來，spark編程中的action操作符充當(dāng)觸發(fā)器來觸發(fā)上一個(gè)轉(zhuǎn)換操作符。轉(zhuǎn)換操作具有延遲加載的特性。定義操作后，不會(huì)立即加載它。

spark是怎么區(qū)分transformer和action算子的？

在我看來，spark編程中的action操作符充當(dāng)觸發(fā)器來觸發(fā)上一個(gè)轉(zhuǎn)換操作符。轉(zhuǎn)換操作具有延遲加載的特性。定義操作后，不會(huì)立即加載它。只有當(dāng)一個(gè)動(dòng)作操作符被執(zhí)行時(shí)，所有先前的轉(zhuǎn)換操作符才會(huì)被執(zhí)行。下面的代碼中列出了常見的操作操作符：（Java版本）包星火研究.core導(dǎo)入java.util.Arrays數(shù)組導(dǎo)入java.util.List導(dǎo)入java.util.Mapimport文件org.apache.spark網(wǎng)站.SparkConf導(dǎo)入org.apache.spark網(wǎng)站. api.java.javapairdd文件導(dǎo)入org.apache.spark網(wǎng)站. api.java.JavaRDD文件導(dǎo)入org.apache.spark網(wǎng)站. api.java.JavaSparkContext導(dǎo)入org.apache.spark網(wǎng)站. api.java.function函數(shù).函數(shù)導(dǎo)入org.apache.spark網(wǎng)站. api.java.function函數(shù)

spark parquet只能用于spark sql么？

1）過去整個(gè)行業(yè)大數(shù)據(jù)分析技術(shù)棧的流水線一般分為以下兩種方式：a）數(shù)據(jù)源-> HDFS-> Mr/hive/spark（相當(dāng)于ETL）-> HDFS parquet-> spark SQL/Impala-> Resultservice（可以放入dB或作為數(shù)據(jù)使用）通過JDBC/ODBC提供服務(wù)）；b）數(shù)據(jù)源->實(shí)時(shí)更新數(shù)據(jù)到HBase/DB->導(dǎo)出到parquet-> spark SQL/impala-> Resultservice（可以放在DB中，也可以通過JDBC/ODBC作為數(shù)據(jù)服務(wù)使用）；上面提到的第二種方式完全可以被Kafka spark streaming spark SQL所取代（強(qiáng)烈建議使用parquet在內(nèi)部存儲(chǔ)數(shù)據(jù)）。2） 預(yù)期方式：datasource-> Kafka-> spark streaming-> PARQ