海量數(shù)據(jù)算法:如何從超過10G的記錄IP地址的日志中，較快的找出登錄次數(shù)最多的一個IP？答案太復雜了。如果仔細計算，IP地址是4字節(jié)，最多是4G。打開16GB陣列。每個IP的32位索引由4個字節(jié)組成，

海量數(shù)據(jù)算法:如何從超過10G的記錄IP地址的日志中，較快的找出登錄次數(shù)最多的一個IP？

答案太復雜了。如果仔細計算，IP地址是4字節(jié)，最多是4G。打開16GB陣列。每個IP的32位索引由4個字節(jié)組成，是數(shù)組的索引。數(shù)組中的每個元素都是32位整數(shù)，它記錄并自動增加與索引對應的IP出現(xiàn)次數(shù)。通過這種方式，您可以讀取10GB日志并找出誰是最大的。你不用教我怎么找到最大的，是嗎？

這樣，如果磁盤足夠快，數(shù)據(jù)應該在30秒內(nèi)發(fā)送出去。

運維日志太多，不方便查看怎么辦？

一個非常好的問題。日志是軟件系統(tǒng)中不可缺少的一部分，尤其是在生產(chǎn)環(huán)境中。一旦出現(xiàn)問題，日志中的錯誤信息會觸發(fā)預警系統(tǒng)，然后通過電子郵件、短信甚至電話通知等方式向系統(tǒng)負責人發(fā)出報警。

在故障排除和修復階段，開發(fā)人員和測試人員通常檢查系統(tǒng)日志以分析故障原因。

Elk是一個常見的日志管理系統(tǒng)，包括elasticsearch、logstash和kibana服務。架構(gòu)圖如下：

以Java spring boot開發(fā)為例，spring boot集成logback，通過logback將日志發(fā)送到logstash，收集操作信息。

在麋鹿系統(tǒng)中，kibana是一個圖形顯示工具。操作、維護和開發(fā)可以根據(jù)配置的查詢條件搜索指定的日志信息。

我作為web應用程序架構(gòu)師工作了很多年。請關(guān)注我，了解更多。