大數(shù)據(jù)采集平臺(tái)有哪些？謝謝。據(jù)我所知，有幾個(gè)大數(shù)據(jù)收集平臺(tái)根據(jù)數(shù)據(jù)來源：1。系統(tǒng)日志收集平臺(tái)。大多數(shù)企業(yè)都有系統(tǒng)日志采集平臺(tái)，在企業(yè)業(yè)務(wù)平臺(tái)上，每天都會(huì)產(chǎn)生大量的日志數(shù)據(jù)。通過對這些日志數(shù)據(jù)的收集和清

大數(shù)據(jù)采集平臺(tái)有哪些？

謝謝。據(jù)我所知，有幾個(gè)大數(shù)據(jù)收集平臺(tái)根據(jù)數(shù)據(jù)來源：

1。系統(tǒng)日志收集平臺(tái)。大多數(shù)企業(yè)都有系統(tǒng)日志采集平臺(tái)，在企業(yè)業(yè)務(wù)平臺(tái)上，每天都會(huì)產(chǎn)生大量的日志數(shù)據(jù)。通過對這些日志數(shù)據(jù)的收集和清理后的分析，企業(yè)可以發(fā)現(xiàn)這些日志數(shù)據(jù)的潛在價(jià)值。

2. 網(wǎng)絡(luò)數(shù)據(jù)采集平臺(tái)。這種數(shù)據(jù)采集平臺(tái)一般都是通過爬蟲來采集的。在服務(wù)器上構(gòu)建爬蟲對目標(biāo)網(wǎng)站集進(jìn)行爬網(wǎng)，然后對每天爬網(wǎng)的數(shù)據(jù)進(jìn)行清理，最終得到企業(yè)所需的數(shù)據(jù)。

3. 數(shù)據(jù)庫收集平臺(tái)。這主要是基于企業(yè)的產(chǎn)品。產(chǎn)品與數(shù)據(jù)庫交互產(chǎn)生的數(shù)據(jù)也是有價(jià)值的數(shù)據(jù)源，從中可以獲得一些新的用戶需求。

最后，阿里云和騰訊云也是大型大數(shù)據(jù)采集平臺(tái)。

運(yùn)維日志太多，不方便查看怎么辦？

一個(gè)非常好的問題。日志是軟件系統(tǒng)中不可缺少的一部分，尤其是在生產(chǎn)環(huán)境中。一旦出現(xiàn)問題，日志中的錯(cuò)誤信息會(huì)觸發(fā)預(yù)警系統(tǒng)，然后通過電子郵件、短信甚至電話通知等方式向系統(tǒng)負(fù)責(zé)人發(fā)出報(bào)警。

在故障排除和修復(fù)階段，開發(fā)人員和測試人員通常檢查系統(tǒng)日志以分析故障原因。

Elk是一個(gè)常見的日志管理系統(tǒng)，包括elasticsearch、logstash和kibana服務(wù)。架構(gòu)圖如下：

以Java spring boot開發(fā)為例，spring boot集成logback，通過logback將日志發(fā)送到logstash，收集操作信息。

在麋鹿系統(tǒng)中，kibana是一個(gè)圖形顯示工具。操作、維護(hù)和開發(fā)可以根據(jù)配置的查詢條件搜索指定的日志信息。

我作為web應(yīng)用程序架構(gòu)師工作了很多年。請關(guān)注我，了解更多。

學(xué)了java能做什么實(shí)際的東西？

學(xué)java可以做很多實(shí)用的事情，主要看你的興趣所在。如果你喜歡手機(jī)開發(fā)，你可以做一個(gè)手機(jī)操作系統(tǒng)，因?yàn)锳ndroid是用Java開發(fā)的。如果你想涉足金融行業(yè)，你可以為銀行或投資機(jī)構(gòu)建立他們的交易系統(tǒng)，因?yàn)楦呤?、華旗集團(tuán)等使用的交易系統(tǒng)都是用Java開發(fā)的。如果你喜歡游戲，可以參考桌面版的minecraft開發(fā)一套游戲；也可以再造一個(gè)阿里巴巴。我聽說它們主要是Java棧。

所以，不要糾結(jié)于這個(gè)問題，只要努力學(xué)習(xí)。會(huì)有個(gè)地方給你的！