如何獲取kafka某一topic中最新的offset？如果您使用的是0.9或更高版本，則可以使用最新的客戶機消費者.seekToEnd() / 消費者地位（）可用于獲取最新偏移量：${日志.dirs

如何獲取kafka某一topic中最新的offset？

如果您使用的是0.9或更高版本，則可以使用最新的客戶機消費者.seekToEnd() / 消費者地位（）可用于獲取最新偏移量：${日志.dirs}/復(fù)制偏移檢查點

以下是我的回復(fù)，拒絕復(fù)制粘貼。

首先，Kafka是一個分布式消息中間件，主要用于消費者和生產(chǎn)者的場景。這是一種發(fā)布-訂閱關(guān)系。

關(guān)系數(shù)據(jù)庫是一個數(shù)據(jù)存儲系統(tǒng)，主要用于存儲關(guān)系數(shù)據(jù)。

基于Kafka，無法實現(xiàn)全功能關(guān)系數(shù)據(jù)庫?？ǚ蚩ū旧砼c數(shù)據(jù)庫沒有對應(yīng)關(guān)系，它們存儲的數(shù)據(jù)庫也沒有對應(yīng)關(guān)系。

如果我們要把這兩件事聯(lián)系起來，我們通常會把數(shù)據(jù)庫的信息讀出來放在卡夫卡中，也就是消息生產(chǎn)者；而從卡夫卡獲取數(shù)據(jù)的客戶端或終端就是消費消息，也就是消費者。當然，您可以讀取來自卡夫卡的消息，并在處理后將其存儲在數(shù)據(jù)庫中。您應(yīng)該知道Kafka是一個中間件，它的主要功能不是像數(shù)據(jù)庫那樣存儲數(shù)據(jù)。

建議您首先明確需求，并確定您的問題是否滿足需求。

如何基于kafka來實現(xiàn)一個全功能的關(guān)系型數(shù)據(jù)庫？

flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場景是不同的，但它們可以一起使用。

簡而言之，flume是一個分布式日志收集系統(tǒng)，它從各種服務(wù)器收集日志并將其傳輸?shù)街付ǖ奈恢?，如HDFS。

Kafka是一個分布式消息中間件，有自己的存儲，提供推拉數(shù)據(jù)訪問功能。

整個過程如下：

登錄服務(wù)器<--flume-->kafka-->hdfs-->離線計算

登錄服務(wù)器<--flume-->kafka-->storm

希望我的回答能對您有所幫助！