kafka一條消息對應(yīng)多個topic Kafka稀疏索引的優(yōu)缺點?
Kafka稀疏索引的優(yōu)缺點?kafka的優(yōu)點:1、允許多個生產(chǎn)者和消費者12、接受broker的橫向拓展3、副本集機制,實現(xiàn)程序數(shù)據(jù)冗余度,能保證數(shù)據(jù)不丟失4、是從topic將數(shù)據(jù)通過分類5、是從安排
Kafka稀疏索引的優(yōu)缺點?
kafka的優(yōu)點:
1、允許多個生產(chǎn)者和消費者1
2、接受broker的橫向拓展
3、副本集機制,實現(xiàn)程序數(shù)據(jù)冗余度,能保證數(shù)據(jù)不丟失
4、是從topic將數(shù)據(jù)通過分類
5、是從安排人手發(fā)送高壓縮數(shù)據(jù)的,減少數(shù)據(jù)傳輸開銷,增加吞高量
6、支持什么多種模式的消息
7、設(shè)計和實現(xiàn)磁盤實現(xiàn)方法數(shù)據(jù)的持久化
8、低性能的處理信息,在大數(shù)據(jù)的情況下,可以只要亞秒級的消息網(wǎng)絡(luò)延遲
9、一個消費者也可以支持多種topic的消息
10、對CPU和內(nèi)存的消耗比較比較小
11、對網(wǎng)絡(luò)開銷也比較比較小
12、支持什么跨數(shù)據(jù)中心的數(shù)據(jù)復制
13、接受鏡像集群
缺點:
1、導致是批量修改發(fā)送中,所以才數(shù)據(jù)達將近真正的的實時地
2、相對于mqtt協(xié)議不支持
3、不意見物聯(lián)網(wǎng)傳感數(shù)據(jù)然后接入
4、沒法意見統(tǒng)一分區(qū)內(nèi)消息有序,無法實現(xiàn)程序全局消息有序
5、監(jiān)控不完備,需要完全安裝插件
6、不需要對付zookeeper參與元數(shù)據(jù)管理
7、會丟了數(shù)據(jù),并且不支持事務(wù)
8、很可能會重復一遍消費數(shù)據(jù),消息會亂序,用下能保證三個固定設(shè)置的partition內(nèi)部的消息是穩(wěn)定有序的,可是一個topic有多個partition的話,就沒法絕對的保證有序了,必須zookeeper的支持,topic象要人工創(chuàng)建角色,防御部署和維護像是都比mq高
kafka連接器原理?
kafka將所有消息組織成多個topic的形式存儲,而每個topic又可以不全部拆分成多個partition,每個partition又由一個一個消息橫列。每個消息都被標識了三個單調(diào)遞增序列號屬於其過來的先后順序,并按順序存儲文件在partition中。
滴滴kafkamanager使用說明?
用戶不使用kafkatopic的流程變?yōu)?:
在kafkamanager上可以申請租戶(appid),聲望兌換到填寫的租戶密碼(app-password);
憑借appid再申請創(chuàng)建新的topic,或者申請已存在地的topic的生產(chǎn)和消費權(quán)限;
在用kafkaclient時設(shè)置中好隨機的appid和app-password,相應(yīng)的topic鑒權(quán),臨時限流都在kafkabroker端結(jié)束。