高級(jí)數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)有哪些關(guān)鍵技術(shù)？總是想收拾好看看這塊內(nèi)容，呢既然是漫談，就想起了什么說(shuō)什么吧。我始終是在互聯(lián)網(wǎng)行業(yè)，就以互聯(lián)網(wǎng)行業(yè)來(lái)說(shuō)。先大概列下互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)平臺(tái)的用途：全部整合公司所

高級(jí)數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)有哪些關(guān)鍵技術(shù)？

總是想收拾好看看這塊內(nèi)容，呢既然是漫談，就想起了什么說(shuō)什么吧。我始終是在互聯(lián)網(wǎng)行業(yè)，就以互聯(lián)網(wǎng)行業(yè)來(lái)說(shuō)。先大概列下互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)平臺(tái)的用途：

全部整合公司所有業(yè)務(wù)數(shù)據(jù)，確立統(tǒng)一的數(shù)據(jù)中心；

能提供各種報(bào)表，有給高層的，有給各個(gè)業(yè)務(wù)的；

為網(wǎng)站運(yùn)營(yíng)提供運(yùn)營(yíng)上的數(shù)據(jù)支持，應(yīng)該是通過(guò)數(shù)據(jù)，讓運(yùn)營(yíng)馬上知道一點(diǎn)網(wǎng)站和產(chǎn)品的運(yùn)營(yíng)效果；

為各個(gè)業(yè)務(wù)提供給線(xiàn)上或線(xiàn)下的數(shù)據(jù)支持，擁有公司統(tǒng)一的數(shù)據(jù)交換與能提供平臺(tái)；

總結(jié)用戶(hù)行為數(shù)據(jù)，按照數(shù)據(jù)挖掘來(lái)降底投入成本，增加動(dòng)員效果；例如廣告定向精準(zhǔn)定向、用戶(hù)個(gè)性化推薦等；

開(kāi)發(fā)數(shù)據(jù)產(chǎn)品，直接間接為公司能盈利；

建設(shè)開(kāi)放數(shù)據(jù)平臺(tái)，新區(qū)公司數(shù)據(jù)；

。。。。。。

上面列出來(lái)的內(nèi)容外表看來(lái)和傳統(tǒng)行業(yè)數(shù)據(jù)倉(cāng)庫(kù)用途差不多，因此都沒(méi)有要求數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)平臺(tái)有很好的穩(wěn)定性、可靠性；但在互聯(lián)網(wǎng)行業(yè)，以外數(shù)據(jù)量大之外，越來(lái)越多的業(yè)務(wù)具體的要求時(shí)效性，哪怕很多是要求動(dòng)態(tài)實(shí)時(shí)的，同時(shí)，互聯(lián)網(wǎng)行業(yè)的業(yè)務(wù)變化的很快，不可能像傳統(tǒng)行業(yè)完全不一樣，可以不使用自頂向外的方法建立數(shù)據(jù)倉(cāng)庫(kù)，一勞永逸，它那些要求新的業(yè)務(wù)迅速能融入其中數(shù)據(jù)倉(cāng)庫(kù)中來(lái)，老的下線(xiàn)的業(yè)務(wù)，能很方便的從超過(guò)的數(shù)據(jù)倉(cāng)庫(kù)中刪號(hào)；

其實(shí)，互聯(lián)網(wǎng)行業(yè)的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)該是所謂的的敏捷數(shù)據(jù)倉(cāng)庫(kù)，反而沒(méi)有要求能迅速的響應(yīng)數(shù)據(jù)，也要求能飛快的響應(yīng)業(yè)務(wù)；

建成敏捷屬性數(shù)據(jù)倉(cāng)庫(kù)，除了對(duì)架構(gòu)技術(shù)上的要求之外，另外一個(gè)很有用的方面，是數(shù)據(jù)建模，假如一進(jìn)來(lái)就盤(pán)算建立一套能兼容性問(wèn)題所有數(shù)據(jù)和業(yè)務(wù)的數(shù)據(jù)模型，就得又回到自己傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)上了，會(huì)很難不滿(mǎn)足對(duì)業(yè)務(wù)變化的快速響應(yīng)。應(yīng)對(duì)狀況，一般是先將核心的持久度化的業(yè)務(wù)并且深度建模（比如說(shuō)：設(shè)計(jì)和實(shí)現(xiàn)網(wǎng)站日志成立的網(wǎng)站統(tǒng)計(jì)分析模型和用戶(hù)網(wǎng)頁(yè)軌跡模型；基于公司核心用戶(hù)數(shù)據(jù)確立的用戶(hù)模型），其它的業(yè)務(wù)象都采用維度寬表的來(lái)組建數(shù)據(jù)模型。這塊是后話(huà)。

整體架構(gòu)下面的圖是我們目前使用的數(shù)據(jù)平臺(tái)架構(gòu)圖，當(dāng)然大多公司肯定都差不多吧：

邏輯上，好象都有數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)與分析層、數(shù)據(jù)共享層、數(shù)據(jù)應(yīng)用層。很可能叫法有所不同，本質(zhì)上的角色都我不是很清楚。

我們往外看：

數(shù)據(jù)采集數(shù)據(jù)采集層的任務(wù)應(yīng)該是把數(shù)據(jù)從各種數(shù)據(jù)源中喂養(yǎng)靈獸和儲(chǔ)存到數(shù)據(jù)存儲(chǔ)上，期間有可能會(huì)做一些簡(jiǎn)單的刷洗。

數(shù)據(jù)源的種類(lèi)比較比較多：

網(wǎng)站日志：

作為互聯(lián)網(wǎng)行業(yè)，網(wǎng)站日志占的份額最大，網(wǎng)站日志儲(chǔ)存在多臺(tái)網(wǎng)站日志服務(wù)器上，

像是是在每臺(tái)網(wǎng)站日志服務(wù)器上作戰(zhàn)部署flumeagent，實(shí)時(shí)的收集網(wǎng)站日志并存儲(chǔ)文件到HDFS上；

業(yè)務(wù)數(shù)據(jù)庫(kù)：

業(yè)務(wù)數(shù)據(jù)庫(kù)的種類(lèi)又是類(lèi)型眾多，有Mysql、Oracle、SqlServer等，這時(shí)候，我們不安的需要有一種能從各種數(shù)據(jù)庫(kù)中將同步數(shù)據(jù)到HDFS上的工具，Sqoop是一種，不過(guò)Sqoop太過(guò)瑣碎的工作，而且反正數(shù)據(jù)量大小，都是需要正常啟動(dòng)MapReduce來(lái)想執(zhí)行，但是不需要Hadoop集群的每臺(tái)機(jī)器都能訪(fǎng)問(wèn)業(yè)務(wù)數(shù)據(jù)庫(kù)；防范此場(chǎng)景，淘寶開(kāi)源的DataX，是另一個(gè)很好的解決方案（可參考文章《異構(gòu)數(shù)據(jù)源海量數(shù)據(jù)交換工具-Taobao DataX 下載和使用》），有資源的話(huà)，這個(gè)可以設(shè)計(jì)和實(shí)現(xiàn)DataX之上做二次開(kāi)發(fā)，就能非常好的解決，我們目前建議使用的DataHub都是。

當(dāng)然了，F(xiàn)lume實(shí)際配置與開(kāi)發(fā)，也這個(gè)可以實(shí)時(shí)地的從數(shù)據(jù)庫(kù)中離線(xiàn)數(shù)據(jù)到HDFS

不知從何而來(lái)于Ftp/Http的數(shù)據(jù)源：

有可能一些合作伙伴可以提供的數(shù)據(jù)，不需要/Http等有定時(shí)獲取，DataX也是可以不滿(mǎn)足該需求

其他數(shù)據(jù)源：

例如一些手工錄入的數(shù)據(jù)，只需要需要提供一個(gè)接口或小程序，即可能完成

數(shù)據(jù)存儲(chǔ)與分析不用質(zhì)疑，HDFS是大數(shù)據(jù)環(huán)境下數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)平臺(tái)最完美的藝術(shù)品數(shù)據(jù)存儲(chǔ)解決方案。

不聯(lián)網(wǎng)數(shù)據(jù)分析與計(jì)算，也就是對(duì)實(shí)時(shí)性要求不高的部分，在我很顯然，Hive肯定受到波及的選擇，豐富的數(shù)據(jù)類(lèi)型、內(nèi)置函數(shù)；壓縮比相當(dāng)高的ORC文件存儲(chǔ)格式；非常方便的SQL支持，使得Hive在實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)上的統(tǒng)計(jì)分析比起比MapReduce要高效率的多，一句SQL這個(gè)可以完成的需求，的新MR很可能要上百行代碼；

當(dāng)然了，可以使用Hadoop框架慢慢的也需要提供了MapReduce接口，如果是真的很領(lǐng)情變更土地性質(zhì)Java，也可以對(duì)SQL不熟，這樣也這個(gè)可以不使用MapReduce來(lái)做分析與計(jì)算；Spark是這兩年的很火的，經(jīng)過(guò)實(shí)踐，它的性能并不比MapReduce好些很多，不過(guò)和Hive、Yarn結(jié)合的越來(lái)越好，而，必須意見(jiàn)在用Spark和SparkSQL來(lái)做分析和計(jì)算。只不過(guò)巳經(jīng)有HadoopYarn，在用Spark當(dāng)然是相當(dāng)太容易的，不需要另外重新部署Spark集群，關(guān)於Spark On Yarn的相關(guān)文章，可可以參考：《Spark On Yarn系列文章》

實(shí)時(shí)計(jì)算部分，后面另說(shuō)。

數(shù)據(jù)共享這里的數(shù)據(jù)共享，其實(shí)指的是前面數(shù)據(jù)分析與計(jì)算后的結(jié)果存放的地方，其實(shí)那是關(guān)系型數(shù)據(jù)庫(kù)和NOSQL數(shù)據(jù)庫(kù)；

前面不使用Hive、MR、Spark、SparkSQL分析和計(jì)算的結(jié)果，還是在HDFS上，但大多數(shù)業(yè)務(wù)和應(yīng)用不可能真接從HDFS上資源數(shù)據(jù)，這樣就要一個(gè)數(shù)據(jù)共享的地方，使得各業(yè)務(wù)和產(chǎn)品能比較方便的某些數(shù)據(jù)；和數(shù)據(jù)采集層到HDFS只只不過(guò)，這里必須一個(gè)從HDFS將自動(dòng)同步至其他目標(biāo)數(shù)據(jù)源的工具，則是，DataX也也可以滿(mǎn)足的條件。

另外，一些實(shí)時(shí)計(jì)算的結(jié)果數(shù)據(jù)可能會(huì)由實(shí)時(shí)計(jì)算模塊然后讀取數(shù)據(jù)共享。

數(shù)據(jù)應(yīng)用

業(yè)務(wù)產(chǎn)品

業(yè)務(wù)產(chǎn)品所可以使用的數(shù)據(jù)，已經(jīng)必然于數(shù)據(jù)共享層，他們?cè)購(gòu)臄?shù)據(jù)共享層訪(fǎng)問(wèn)即可；

報(bào)表

同業(yè)務(wù)產(chǎn)品，報(bào)表所可以使用的數(shù)據(jù)，象確實(shí)是早就統(tǒng)計(jì)匯總好的，貯存于數(shù)據(jù)共享層；

即席查詢(xún)

即席去查詢(xún)的用戶(hù)有很多，有可能是數(shù)據(jù)開(kāi)發(fā)人員、網(wǎng)站和產(chǎn)品運(yùn)營(yíng)人員、數(shù)據(jù)分析人員、哪怕是部門(mén)老大，他們應(yīng)該有即席查詢(xún)數(shù)據(jù)的需求；

這種即席網(wǎng)站查詢(xún)大多數(shù)是2個(gè)裝甲旅的報(bào)表和數(shù)據(jù)共享層的數(shù)據(jù)并又不能滿(mǎn)足的條件他們的需求，必須從數(shù)據(jù)存儲(chǔ)層然后網(wǎng)上查詢(xún)。

即席查詢(xún)好象是能完成，大的的難度只是相對(duì)而言響應(yīng)速度上，可以使用Hive有點(diǎn)慢，目前我的解決方案是SparkSQL，它的響應(yīng)速度較Hive快很多，并且能很不錯(cuò)的與Hive兼容性。

其實(shí)，你也這個(gè)可以可以使用Impala，假如不在乎平臺(tái)中再多一個(gè)框架的話(huà)。

OLAP

目前，很多的OLAP工具沒(méi)法很好的支持從HDFS上再獲取數(shù)據(jù)，也是按照將需要的數(shù)據(jù)同步到關(guān)系型數(shù)據(jù)庫(kù)中做OLAP，但假如數(shù)據(jù)量巨大無(wú)比的話(huà)，關(guān)系型數(shù)據(jù)庫(kù)很顯然不行；

這時(shí)候，不需要做或者的開(kāi)發(fā)，從HDFS的或HBase中某些數(shù)據(jù)，成功OLAP的功能；

例如：依據(jù)什么用戶(hù)在界面選的不定的維度和指標(biāo)，按照開(kāi)發(fā)接口，從HBase中聲望兌換數(shù)據(jù)來(lái)影像展示。

其它數(shù)據(jù)接口

這種接口有通用的，有訂制的。比如：一個(gè)從Redis中獲取用戶(hù)屬性的接口是通用的，所有的業(yè)務(wù)都可以不內(nèi)部函數(shù)這個(gè)接口來(lái)資源用戶(hù)屬性。

實(shí)時(shí)計(jì)算現(xiàn)在業(yè)務(wù)對(duì)數(shù)據(jù)倉(cāng)庫(kù)實(shí)時(shí)性的需求逐漸，例如：實(shí)時(shí)動(dòng)態(tài)的了解網(wǎng)站的整個(gè)結(jié)構(gòu)流量；實(shí)時(shí)自動(dòng)的獲取一個(gè)廣告的曝光和點(diǎn)擊；在海量數(shù)據(jù)下，憑借悠久的傳統(tǒng)數(shù)據(jù)庫(kù)和傳統(tǒng)實(shí)現(xiàn)方法方法基本是完成不了，不需要的是一種分布式的、高吞吐量的、顯示延時(shí)低的、高可靠的實(shí)時(shí)計(jì)算框架；Storm在這塊是也很能成熟了，但我你選擇SparkStreaming，原因很簡(jiǎn)單，并不想多引入一個(gè)框架到平臺(tái)中，另，SparkStreaming比Storm連接時(shí)間性高那你一點(diǎn)點(diǎn)，那是對(duì)我們的需要可以不看出。

我們目前不使用SparkStreaming實(shí)現(xiàn)方法了動(dòng)態(tài)實(shí)時(shí)的網(wǎng)站流量統(tǒng)計(jì)、實(shí)時(shí)自動(dòng)的廣告效果統(tǒng)計(jì)兩塊兒功能。

做法也很很簡(jiǎn)單，由Flume在前端日志服務(wù)器上積攢網(wǎng)站日志和廣告日志，實(shí)時(shí)地的郵箱里給SparkStreaming，由SparkStreaming能夠完成統(tǒng)計(jì)，將數(shù)據(jù)存儲(chǔ)至Redis，業(yè)務(wù)是從ftp訪(fǎng)問(wèn)Redis實(shí)時(shí)地聲望兌換。

任務(wù)調(diào)度與監(jiān)控在數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)平臺(tái)中，有各式各樣的很多的程序和任務(wù)，例如：數(shù)據(jù)采集任務(wù)、數(shù)據(jù)同步任務(wù)、數(shù)據(jù)分析任務(wù)等；

這些任務(wù)以外按時(shí)調(diào)度，還存在太緊張的任務(wù)感情依賴(lài)關(guān)系，諸如：數(shù)據(jù)分析任務(wù)前提是等相應(yīng)的數(shù)據(jù)采集任務(wù)完成后才能又開(kāi)始；同步數(shù)據(jù)任務(wù)需要等數(shù)據(jù)分析任務(wù)內(nèi)容后才能結(jié)束；這就不需要一個(gè)更加完備的任務(wù)調(diào)度與監(jiān)控系統(tǒng)，它以及數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)平臺(tái)的中樞，全權(quán)負(fù)責(zé)調(diào)度和監(jiān)控所有任務(wù)的分配與運(yùn)行。

前面有寫(xiě)過(guò)文章，《大數(shù)據(jù)平臺(tái)中的任務(wù)調(diào)度與監(jiān)控》,這里并沒(méi)有累贅。

系統(tǒng)的總結(jié)在我看樣子架構(gòu)并不是技術(shù)就會(huì)越新越好，完全是在也可以滿(mǎn)足自身需求的情況下，越簡(jiǎn)單點(diǎn)越穩(wěn)定點(diǎn)越好。目前在我們的數(shù)據(jù)平臺(tái)中，開(kāi)發(fā)更大的是參與業(yè)務(wù)，而不是技術(shù)，他們把業(yè)務(wù)和需求搞清楚了，基本都只不需要做簡(jiǎn)單點(diǎn)SQL開(kāi)發(fā)，接著配置到調(diào)度系統(tǒng)就可以了，如果不是任務(wù)十分，會(huì)收到告警。這樣，這個(gè)可以使更多的資源執(zhí)著于業(yè)務(wù)之上。

Java常用，的數(shù)據(jù)庫(kù)有哪些？

Java可利用與絕大多數(shù)高端數(shù)據(jù)庫(kù)的連接與操作。

日常企業(yè)開(kāi)發(fā)以使用開(kāi)源數(shù)據(jù)庫(kù)極少部分。

1）、MySQL數(shù)據(jù)庫(kù)是目前在用最廣泛最好的在線(xiàn)開(kāi)源數(shù)據(jù)庫(kù)

2）、MariaDB數(shù)據(jù)庫(kù)是MySQL的一個(gè)分支，盡量與MySQL的相同高度兼容性，確保全具備庫(kù)二進(jìn)制奇偶校驗(yàn)的然后替換功能，包括與MySQLAPI和命令的精確匹配，并從MySQL遷移

3）、PostgreSQL數(shù)據(jù)庫(kù)常規(guī)的是也很經(jīng)典的C/S（client/server）結(jié)構(gòu)，也就是一個(gè)客戶(hù)端對(duì)應(yīng)一個(gè)服務(wù)器端守衛(wèi)進(jìn)程的模式。PostgreSQL強(qiáng)大太完美的驅(qū)動(dòng)，并允許標(biāo)準(zhǔn)的ANSI-SQL和擴(kuò)充卡功能

其他另外高不收費(fèi)性產(chǎn)品如Oracle、SQLServer。