kafka查看topic數(shù)據(jù)量 kafka對topic有限制嗎?
kafka對topic有限制嗎?在使用卡夫卡的過程中,主題的數(shù)量沒有限制,但是主題的分區(qū)總數(shù)有一個上限。當達到上限時,用戶將無法繼續(xù)創(chuàng)建主題。如何為Kafka集群選擇合適的Partitions數(shù)量?感
kafka對topic有限制嗎?
在使用卡夫卡的過程中,主題的數(shù)量沒有限制,但是主題的分區(qū)總數(shù)有一個上限。當達到上限時,用戶將無法繼續(xù)創(chuàng)建主題。
如何為Kafka集群選擇合適的Partitions數(shù)量?
感謝您的邀請。作為卡夫卡多年的使用者,我對使用卡夫卡的感覺還是很好的。
卡夫卡的每個數(shù)據(jù)流應該對應一個主題,每個主題可以有多個部分?,F(xiàn)在每個零件只能由一個消費者消費。更多的分區(qū)意味著更多的吞吐量。需要更多的文件句柄。如果使用者較少,則更多的分區(qū)將浪費系統(tǒng)資源。從另一個角度看,越來越多的延遲將增加,這將對實時數(shù)據(jù)讀寫產(chǎn)生不利影響。
因此,適當?shù)姆謪^(qū)數(shù)量將對Kafka的性能產(chǎn)生重要影響。
怎樣查看kafka topic的分組?
classlogclient(object):定義初始化初始化(self,kafkahost,kafkaport):self.kafkahostself=卡夫卡霍斯特.kafkaport=kafkaportdeffixlen(self,s,l):s=s[0:8]工作節(jié)點s[8:]fixed=s“”*(l-len(s))返回fixedDefSendLog(self,topic,filename):嘗試:client=kafkaclient( 卡夫卡霍斯特, 卡夫卡波特)producer=simpleproducer(客戶端,主題)f=open(文件名,“rb”)fname=路徑.basename(f.name)ftext=f.read()生產(chǎn)者發(fā)送消息(自定(fname,30)ftext)f.關閉()客戶端.close()打印“kafkasent”文件名異常,例如:printex