spark怎么處理kafka中的json的數(shù)據(jù)？構(gòu)造函數(shù)是KafkaUtils.createDstream創(chuàng)建（SSC，[ZK]，[consumer group ID]，[per topic，part

spark怎么處理kafka中的json的數(shù)據(jù)？

構(gòu)造函數(shù)是KafkaUtils.createDstream創(chuàng)建（SSC，[ZK]，[consumer group ID]，[per topic，partitions]）使用Kafka高級使用者API使用接收器接收數(shù)據(jù)。對于所有接收器，接收到的數(shù)據(jù)將保存在spark executors中，然后通過spark Streaming啟動(dòng)一個(gè)作業(yè)來處理數(shù)據(jù)，默認(rèn)情況下這些數(shù)據(jù)將丟失。它可以啟用存儲在HDFS上的wal日志

基于接收器模式的實(shí)現(xiàn)將使用kakfa的高級消費(fèi)API。與所有其他接收器一樣，接收到的數(shù)據(jù)將保存到檢查者，然后sparkstreaming啟動(dòng)作業(yè)來處理數(shù)據(jù)。

在默認(rèn)配置中，如果出現(xiàn)故障，此方法將丟失數(shù)據(jù)。為了確保零數(shù)據(jù)丟失，我們需要啟用wal（writeaheadlogs）。它將接收到的數(shù)據(jù)同步保存到分布式文件系統(tǒng)，如HDFS。因此，在發(fā)生錯(cuò)誤時(shí)可以恢復(fù)數(shù)據(jù)。

使用兩個(gè)步驟：1。添加依賴項(xiàng)：Spark streaming Kafka 2.10-1.3.0

2導(dǎo)入器g.apache.spark. 卡夫卡._