kafka的分區(qū)可以增加或減少？Kafka在用磁盤分區(qū)將topic的消息攪碎到多個(gè)分區(qū)分布保存到在有所不同的broker上，基于了producer和consumer消息去處理的高吞吐量。Kafka的p

kafka的分區(qū)可以增加或減少？

Kafka在用磁盤分區(qū)將topic的消息攪碎到多個(gè)分區(qū)分布保存到在有所不同的broker上，基于了producer和consumer消息去處理的高吞吐量。

Kafka的producer和consumer都也可以多線程地聯(lián)成一體操作，而每個(gè)線程全面處理的是一個(gè)分區(qū)的數(shù)據(jù)。所以分區(qū)實(shí)際上是調(diào)優(yōu)Kafka并行度的大于單元。

這對(duì)producer而言，它雖然是用多個(gè)線程并發(fā)地向差別分區(qū)原先的broker發(fā)起Socket直接連接同時(shí)給這些分區(qū)發(fā)送的消息；而consumer，同一個(gè)消費(fèi)組內(nèi)的所有consumer線程都被指定你topic的某一個(gè)硬盤分區(qū)進(jìn)行消費(fèi)。

學(xué)習(xí)大數(shù)據(jù)難嗎？

在學(xué)習(xí)之前，簡單確定的并非難不是很難，只不過是肯定咋把英語學(xué)好的問題。學(xué)習(xí)大數(shù)據(jù)給幾點(diǎn)建議：

1.重要完全掌握大數(shù)據(jù)體系的架構(gòu)和原理，比如說：分布式存儲(chǔ)和算出的思想

2.大數(shù)據(jù)框架的體系，例如：hadoop，spark等等

3.多嘗試著做實(shí)驗(yàn)，也多問問看有經(jīng)驗(yàn)的人。

只需有信心，而且一定要堅(jiān)持，當(dāng)然是可以想學(xué)好。

kafka為什么適合日志處理？

Kafka天生為吞吐量而設(shè)計(jì)什么的，kafka集群中topic在是有數(shù)量的情況下哪怕會(huì)有洗技能寫，但磁盤的利用率高于500rocketmq；消息發(fā)送端按結(jié)構(gòu)雙端隊(duì)列，消息發(fā)送中完全天然支持批處理；在我們公司投入到6臺(tái)256G，32C，8T的SSDkafka集群的吞吐量3百多萬TPS，而rocketmq只有幾十萬TPS

kafka的分片數(shù)怎么確定？

分區(qū)數(shù)Tt/max(Tp,Tc)

Tp來表示producer的吞吐量。測試producer常見是非常容易的，只不過它的邏輯更加很簡單，那就是就接受消息到Kafka就再說。Tc可以表示consumer的吞吐量。測試Tc通常與應(yīng)用的關(guān)系更大，是因?yàn)門c的值取決于它你搞到消息之后不能執(zhí)行什么操作，因此Tc的測試大多數(shù)也要麻煩一些?？偟哪繕?biāo)吞吐量是Tt

Kafka，Mq和Redis作為消息隊(duì)列使用時(shí)的差異有哪些？

Kafka充當(dāng)?shù)?代的消息系統(tǒng)，mq是都很能成熟消息系統(tǒng)，而redis也也可以查找訂閱，這樣的話這三者試述？

RabbitMQ是使用Erlang匯編語言的一個(gè)開源的消息隊(duì)列，本身支持什么很多的協(xié)議：AMQP，XMPP,SMTP,STOMP，也正是如此，使的它變的非常超級(jí)重量級(jí)，更比較適合于企業(yè)級(jí)的開發(fā)。同時(shí)利用了一個(gè)經(jīng)紀(jì)人(Broker)構(gòu)架，這意味著消息在發(fā)送給客戶端時(shí)先在中門口排隊(duì)。對(duì)路由(Routing)，負(fù)載均衡(Loadbalance)或是數(shù)據(jù)自然持久化都是很好的支持。

Redis是一個(gè)Key-Value的NoSQL數(shù)據(jù)庫，開發(fā)程序維護(hù)很異常活躍，可是它是一個(gè)Key-Value數(shù)據(jù)庫存儲(chǔ)系統(tǒng)，但它本身接受MQ功能，因?yàn)橥耆强梢灾徊贿^是一個(gè)輕量級(jí)的隊(duì)列服務(wù)來不使用。是對(duì)RabbitMQ和Redis的入隊(duì)和出隊(duì)操作，各不能執(zhí)行100萬次，每10萬次記錄兩次負(fù)責(zé)執(zhí)行時(shí)間。測試數(shù)據(jù)統(tǒng)稱128Bytes、512Bytes、1K和10K四個(gè)差別大小的數(shù)據(jù)。實(shí)驗(yàn)表明：入隊(duì)時(shí)，當(dāng)數(shù)據(jù)比較好小時(shí)Redis的性能要低于RabbitMQ，而如果數(shù)據(jù)大小將近了10K，Redis則慢的不能不能忍受；出隊(duì)時(shí)，無論數(shù)據(jù)大小，Redis都表現(xiàn)出出非常好的性能，而RabbitMQ的出隊(duì)性能則遠(yuǎn)低于Redis。

KafkaKafka是Apache下的一個(gè)子項(xiàng)目，是一個(gè)集高性能跨語言分布式Publish/Subscribe消息隊(duì)列系統(tǒng)，而Jafka是在Kafka之上孵化而來的，即Kafka的一個(gè)升級(jí)版。本身以下特性：飛快自然持久化，可以不在O(1)的系統(tǒng)開銷下參與消息不易脫妝化；高吞吐，在一臺(tái)普通的服務(wù)器上既可以至少10W/s的吞吐速率；已經(jīng)的分布式系統(tǒng)，Broker、Producer、Consumer都原生自動(dòng)啟動(dòng)接受分布式，不自動(dòng)實(shí)現(xiàn)方法急切均衡；意見Hadoop數(shù)據(jù)分頭并進(jìn)加載，是對(duì)像Hadoop的一樣的日志數(shù)據(jù)和離線分析系統(tǒng)，但又具體的要求動(dòng)態(tài)實(shí)時(shí)一次性處理的限制，這是一個(gè)看似可行的解決方案。Kafka通過Hadoop的并行加載機(jī)制來統(tǒng)一了在線和離線模式的消息處理，這一點(diǎn)也本課題所研究系統(tǒng)所看重的。ApacheKafka對(duì)于ActiveMQ是一個(gè)太古爾科夫的消息系統(tǒng)，以外性能更加好之外，那就一個(gè)工作良好的道德的分布式系統(tǒng)。

差別不大MQ與Kafka1)在架構(gòu)模型方面

RabbitMQ按照AMQP協(xié)議，RabbitMQ的broker由Exchange,Binding,queue排成，其中exchange和binding橫列了消息的路由鍵；客戶端Producer實(shí)際連接channel和server通過通信，Consumer從queue聲望兌換消息并且消費(fèi)（長連接上，queue有消息會(huì)推送回consumer端，consumer非循環(huán)從再輸入流讀取數(shù)據(jù)）。rabbitMQ以broker為中心；有消息的確認(rèn)機(jī)制。

kafka恪遵象的MQ結(jié)構(gòu)，producer，broker，consumer，以consumer為中心，消息的消費(fèi)信息需要保存的客戶端consumer上，consumer據(jù)銷費(fèi)的點(diǎn)，從broker上批量pull數(shù)據(jù)；無消息去確認(rèn)機(jī)制。

2)在吞吐量

kafka本身高的吞吐量，內(nèi)部按結(jié)構(gòu)消息的批量處理，zero-全部復(fù)制機(jī)制，數(shù)據(jù)的存儲(chǔ)和某些是本地磁盤順序批量操作，具備O(1)的緊張度，消息如何處理的效率很高。

rabbitMQ在吞吐量方面稍遜于kafka，他們的出發(fā)點(diǎn)都一樣，rabbitMQ接受對(duì)消息的可信的傳遞，意見事務(wù)，不允許批量的操作；基于組件存儲(chǔ)的可靠性的要求存儲(chǔ)可以不常規(guī)內(nèi)存的或硬盤。

3)在可用性方面，

rabbitMQ支持miror的queue，主queue終止，mirorqueue接管。