實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)如何做？謝謝邀請(qǐng)我。要想知道實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)怎么做，首先要知道為什么要用實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)，也就是說(shuō)要明白要求我們做實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的價(jià)值，不管是公司還是企業(yè)。目前大部分?jǐn)?shù)據(jù)倉(cāng)庫(kù)都是T 1離線分析數(shù)據(jù)，

實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)如何做？

謝謝邀請(qǐng)我。

要想知道實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)怎么做，首先要知道為什么要用實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)，也就是說(shuō)要明白要求我們做實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的價(jià)值，不管是公司還是企業(yè)。

目前大部分?jǐn)?shù)據(jù)倉(cāng)庫(kù)都是T 1離線分析數(shù)據(jù)，也就是運(yùn)營(yíng)商看昨天 s數(shù)據(jù)今天報(bào)告，客戶(hù)為店鋪或商品做活動(dòng)，想看當(dāng)前活動(dòng)效果，只能等到明天查數(shù)據(jù)。阿里每年雙11都是在幾分鐘內(nèi)完成上億筆交易。他們更想了解的是雙11這個(gè)活動(dòng)帶來(lái)的實(shí)際收益，最新的訂單和銷(xiāo)量。

實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)該做什么？

1.隨著人們對(duì)數(shù)據(jù)時(shí)效性要求的不斷提高，實(shí)時(shí)計(jì)算應(yīng)運(yùn)而生。常見(jiàn)的開(kāi)源實(shí)時(shí)計(jì)算框架有storm、s4、spark等。所有使用過(guò)storm開(kāi)發(fā)實(shí)時(shí)需求的朋友都知道，storm無(wú)論是從開(kāi)發(fā)難度還是執(zhí)行效率來(lái)說(shuō)，都是相當(dāng)擅長(zhǎng)處理單個(gè)數(shù)據(jù)流的，即使有很多類(lèi)似的任務(wù)要運(yùn)行。

2.實(shí)時(shí)通用寬表常用于實(shí)時(shí)需求，大量的實(shí)時(shí)需求會(huì)在通用層進(jìn)行計(jì)算和實(shí)現(xiàn)。一般的做法是ODS -詳情表-總寬表-匯總表-應(yīng)用層。

3.另外，實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)比線下倉(cāng)庫(kù)盤(pán)點(diǎn)對(duì)實(shí)時(shí)性要求更高，做實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)要注意縮短數(shù)據(jù)流，簡(jiǎn)化數(shù)據(jù)層次，合并ods和sch

hadoop是一種什么技術(shù)？

Hadoop是一個(gè)軟件框架，可以分布式處理大量數(shù)據(jù)。用戶(hù)可以在Hadoop上輕松開(kāi)發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用，充分利用集群的力量進(jìn)行高速計(jì)算和存儲(chǔ)。

如何使用Hadoop:

Hadoop集群的構(gòu)建

簡(jiǎn)單來(lái)說(shuō)，就是把Hadoop安裝包放在每臺(tái)服務(wù)器上，更改配置后再啟動(dòng)，就完成了Hadoop集群的構(gòu)建。

將文件上傳到Hadoop集群

Hadoop集群搭建完成后，可以通過(guò)網(wǎng)頁(yè)查看集群的情況，也可以訪問(wèn)。通過(guò)Hadoop命令上傳文件到hdfs集群，通過(guò)Hadoop命令在hdfs集群上建立目錄，通過(guò)Hadoop命令刪除集群上的文件等等。

編寫(xiě)map/reduce程序

通過(guò)集成開(kāi)發(fā)工具(如eclipse)導(dǎo)入Hadoop相關(guān)的jar包，編寫(xiě)map/reduce程序，將程序做成jar包扔在集群上執(zhí)行，運(yùn)行后輸出計(jì)算結(jié)果。

hadoop生態(tài)系統(tǒng)中各組件的功能描述:

① hdfs:一個(gè)文件系統(tǒng)，可以存儲(chǔ)海量數(shù)據(jù)。

② mapreduce:通過(guò)一定的算法從海量數(shù)據(jù)中計(jì)算出有用的信息。

③ hive:是sql語(yǔ)句解釋器，接收用戶(hù)輸入的sql語(yǔ)句，然后將sql語(yǔ)句翻譯成復(fù)雜的mapreduce程序，發(fā)布到mr集群進(jìn)行運(yùn)算，計(jì)算出有用的信息。

④ hbase:是基于hdfs文件系統(tǒng)的數(shù)據(jù)庫(kù)。

⑤ flume:就是從一個(gè)文件中提取數(shù)據(jù)到另一個(gè)文件中。

⑥ sqoop:將hdfs文件系統(tǒng)的文件導(dǎo)出到linux文件系統(tǒng)的文件。

⑦ ooize/azkaban:該組件負(fù)責(zé)協(xié)調(diào)各個(gè)任務(wù)的執(zhí)行順序。