從kafka讀取數(shù)據(jù)后，數(shù)據(jù)會(huì)自動(dòng)刪除嗎？基于receiver的實(shí)現(xiàn)將使用kakfa的高級(jí)消費(fèi)API。與所有其他接收器一樣，接收到的數(shù)據(jù)將保存到執(zhí)行器，然后sparkstreaming將啟動(dòng)作業(yè)來(lái)處理

從kafka讀取數(shù)據(jù)后，數(shù)據(jù)會(huì)自動(dòng)刪除嗎？

基于receiver的實(shí)現(xiàn)將使用kakfa的高級(jí)消費(fèi)API。與所有其他接收器一樣，接收到的數(shù)據(jù)將保存到執(zhí)行器，然后sparkstreaming將啟動(dòng)作業(yè)來(lái)處理數(shù)據(jù)。

在默認(rèn)配置中，如果出現(xiàn)故障，此方法將丟失數(shù)據(jù)。為了確保零數(shù)據(jù)丟失，我們需要啟用wal（writeaheadlogs）。它將接收到的數(shù)據(jù)同步保存到分布式文件系統(tǒng)，如HDFS。因此，在發(fā)生錯(cuò)誤時(shí)可以恢復(fù)數(shù)據(jù)。

使用兩個(gè)步驟：1。添加依賴項(xiàng)：Spark streaming Kafka 2.10-1.3.0

2導(dǎo)入器g.apache.spark. 卡夫卡._