hadoop輸出到mysql hadoop和mangoDb用作大數(shù)據(jù)分析哪個(gè)更好?
hadoop和mangoDb用作大數(shù)據(jù)分析哪個(gè)更好?1. Hadoop是一個(gè)完整的大數(shù)據(jù)分析生態(tài)系統(tǒng)。從數(shù)據(jù)采集、存儲(chǔ)、分析、轉(zhuǎn)運(yùn)到頁面顯示,構(gòu)成了整個(gè)過程。收集可以使用flume,存儲(chǔ)可以使用HBa
hadoop和mangoDb用作大數(shù)據(jù)分析哪個(gè)更好?
1. Hadoop是一個(gè)完整的大數(shù)據(jù)分析生態(tài)系統(tǒng)。從數(shù)據(jù)采集、存儲(chǔ)、分析、轉(zhuǎn)運(yùn)到頁面顯示,構(gòu)成了整個(gè)過程。收集可以使用flume,存儲(chǔ)可以使用HBase,HDFS,mangodb相當(dāng)于HBase,分析可以使用MapReduce編寫自己的算法,而hive做數(shù)據(jù)倉庫,pig做數(shù)據(jù)流處理,dump可以使用HDFS中的數(shù)據(jù)根據(jù)轉(zhuǎn)換存儲(chǔ)到MySQL、Oracle等傳統(tǒng)數(shù)據(jù)庫,這就構(gòu)成了一個(gè)整體一套大數(shù)據(jù)分析程序
2。Mangodb僅作為存儲(chǔ)功能。它是一個(gè)NoSQL數(shù)據(jù)庫,支持JSON格式的存儲(chǔ)
3。因此,在功能上,Hadoop和mangodb是不同的。在Hadoop中,可以用mangodb代替HBase,但mangodb不能代替Hadoop它是一個(gè)完整的生態(tài)系統(tǒng),一個(gè)是數(shù)據(jù)庫,兩個(gè)不同的概念
4。至于是使用mangodb還是HBase,各有利弊,但HBase的使用還是較多的。mangodb的社區(qū)在HBase中不活躍,所以它仍然是HBase
首先,您想將源數(shù)據(jù)存儲(chǔ)在MySQL還是Hadoop中。
有一些解決方案可以將原始數(shù)據(jù)存儲(chǔ)到Hadoop中。定期清理分析,將處理后的數(shù)據(jù)放入MySQL數(shù)據(jù)庫,供web應(yīng)用程序讀取并顯示在頁面上。
hadoop和mysql的結(jié)合作用方案?
用什么代替什么,主要取決于您的系統(tǒng)應(yīng)用場景,而不是您必須使用Hadoop。
例如,當(dāng)你在網(wǎng)站上遇到一瓶強(qiáng)心劑時(shí),你通常會(huì)得到更多的訪問。如果系統(tǒng)不能支持您,您需要升級(jí)和優(yōu)化系統(tǒng)。
但此時(shí),如果您切換到Hadoop,當(dāng)您不熟悉Hadoop等大數(shù)據(jù)應(yīng)用程序時(shí),可能會(huì)導(dǎo)致更多問題和錯(cuò)誤。
因此,您必須確保團(tuán)隊(duì)有足夠的技術(shù)實(shí)力來解決這些問題。
如果您只是想優(yōu)化PHP-MySQL系統(tǒng)以承受更多的流量,那么不妨采用以下方案:
1。從一臺(tái)Apache(或nginx)服務(wù)器擴(kuò)展到多臺(tái)服務(wù)器進(jìn)行負(fù)載均衡,然后注意將會(huì)話保存到公共Memcache服務(wù)器進(jìn)行共享。
2. 對(duì)于一些大數(shù)據(jù),可以緩存在Memcache中,這比讀取數(shù)據(jù)庫快得多。
3. 對(duì)于后端mysql,可以使用多個(gè)mysql集群,特別是使用360的一些讀寫分離控件?;蛘呖梢允褂胻idb(一種與MySQL兼容的分布式數(shù)據(jù)庫)來響應(yīng)更大的并發(fā)性。
希望以上想法能對(duì)您有所幫助
!----------------------------------------------我從事信息系統(tǒng)、互聯(lián)網(wǎng)和各種應(yīng)用架構(gòu)的設(shè)計(jì)和開發(fā)已有20年。目前,我主要研究股票期貨的程序化交易和人工智能機(jī)器學(xué)習(xí)。歡迎交流。
php mysql開發(fā)的網(wǎng)站,如何使用hadoop hbase hive,能代替mysql么?
Hadoop通常應(yīng)用于冷數(shù)據(jù)處理。對(duì)于實(shí)時(shí)數(shù)據(jù),如果您必須使用它,您可以以不同的方式使用它。方法1:在Hadoop上使用HBase數(shù)據(jù)庫,認(rèn)為HBase不遵循map/reduce,所以操作以毫秒為單位。方法二:業(yè)務(wù)數(shù)據(jù)按程序分為實(shí)時(shí)數(shù)據(jù)和冷數(shù)據(jù),實(shí)時(shí)數(shù)據(jù)存儲(chǔ)在關(guān)系數(shù)據(jù)庫中,冷數(shù)據(jù)存儲(chǔ)在Hadoop中。例如:將上月數(shù)據(jù)保存到關(guān)系數(shù)據(jù)庫中,進(jìn)行實(shí)時(shí)響應(yīng)業(yè)務(wù)處理。一個(gè)月前的數(shù)據(jù)存儲(chǔ)在Hadoop中,用于歷史數(shù)據(jù)查詢、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘等。