日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？flume和Kafka的一些功能是相同的，但總的來(lái)說(shuō)，它們是完全不同的；它們的場(chǎng)景是不同的，但它們可以一起使用。簡(jiǎn)而言之，flume是一個(gè)分布式日志

日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？

flume和Kafka的一些功能是相同的，但總的來(lái)說(shuō)，它們是完全不同的；它們的場(chǎng)景是不同的，但它們可以一起使用。

簡(jiǎn)而言之，flume是一個(gè)分布式日志收集系統(tǒng)，它從各種服務(wù)器收集日志并將其傳輸?shù)街付ǖ奈恢?，如HDFS。

Kafka是一個(gè)分布式消息中間件，有自己的存儲(chǔ)，提供推拉數(shù)據(jù)訪問(wèn)功能。

整個(gè)過(guò)程如下：

登錄服務(wù)器<--flume-->kafka-->hdfs-->離線(xiàn)計(jì)算

登錄服務(wù)器<--flume-->kafka-->storm

希望我的回答能對(duì)您有所幫助

如何設(shè)計(jì)日志采集存儲(chǔ)分析的架構(gòu)？

Flume最初是cloudera提供的日志收集系統(tǒng)，目前是Apache下的一個(gè)孵化項(xiàng)目。Flume支持在日志系統(tǒng)中定制各種數(shù)據(jù)發(fā)送器來(lái)收集數(shù)據(jù)。同時(shí)，flume提供了簡(jiǎn)單處理數(shù)據(jù)和向各種數(shù)據(jù)接收器寫(xiě)入數(shù)據(jù)的能力（可定制）flume提供了從數(shù)據(jù)源（如console、RPC、text、tail、syslog和exec）收集數(shù)據(jù)的能力。Flume使用多主方法。為了保證配置數(shù)據(jù)的一致性，flume引入zookeeper來(lái)保存配置數(shù)據(jù)。Zookeeper本身可以保證配置數(shù)據(jù)的一致性和高可用性。此外，當(dāng)配置數(shù)據(jù)發(fā)生變化時(shí)，zookeeper可以通知flume master節(jié)點(diǎn)。Flume主機(jī)使用八卦協(xié)議來(lái)同步數(shù)據(jù)。Flume是一個(gè)分布式的、可靠的、高可用性的海量日志聚合系統(tǒng)，它支持系統(tǒng)中各種數(shù)據(jù)發(fā)送者的定制來(lái)收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供了簡(jiǎn)單處理數(shù)據(jù)和向各種數(shù)據(jù)接收者寫(xiě)入數(shù)據(jù)的能力（可定制）。設(shè)計(jì)目標(biāo)：（1）可靠性（2）可擴(kuò)展性（3）可管理性（4）功能可擴(kuò)展性

1。自學(xué)（這是第一個(gè)條件）

2。多參與技術(shù)討論，增加自己的員工，這對(duì)新手來(lái)說(shuō)非常重要，軟件行業(yè)喜歡推陳出新

3寫(xiě)自己的開(kāi)源項(xiàng)目，里面積累了互聯(lián)網(wǎng)上的專(zhuān)家

分布式，設(shè)計(jì)模式，前端技術(shù)，在線(xiàn)支付，全文搜索引擎，docker，WebService等

詳細(xì)可以去如鵬的官方網(wǎng)站學(xué)習(xí)，那里有網(wǎng)絡(luò)，你可以學(xué)習(xí)，隨時(shí)提問(wèn)，老師可以在線(xiàn)實(shí)時(shí)答疑。有技術(shù)大牛親自授課，口碑好，基本上都很佩服。有新課程更新，也可以繼續(xù)申請(qǐng)學(xué)習(xí)。