大數(shù)據(jù)數(shù)據(jù)庫選型 女兒要去華為工作,數(shù)據(jù)庫、大數(shù)據(jù)、分布式存儲三個部門選一,哪一個發(fā)展前景比較好?
女兒要去華為工作,數(shù)據(jù)庫、大數(shù)據(jù)、分布式存儲三個部門選一,哪一個發(fā)展前景比較好?看來你家里只有很多博客,所以你不必問這么優(yōu)秀的孩子他們想去哪里數(shù)據(jù)庫開發(fā)工程和大數(shù)據(jù)開發(fā)并不是嚴(yán)格意義上的轉(zhuǎn)行。從技術(shù)層
女兒要去華為工作,數(shù)據(jù)庫、大數(shù)據(jù)、分布式存儲三個部門選一,哪一個發(fā)展前景比較好?
看來你家里只有很多博客,所以你不必問這么優(yōu)秀的孩子他們想去哪里
數(shù)據(jù)庫開發(fā)工程和大數(shù)據(jù)開發(fā)并不是嚴(yán)格意義上的轉(zhuǎn)行。從技術(shù)層面看,大數(shù)據(jù)的發(fā)展需要更深層次的技術(shù)基礎(chǔ)和更廣闊的架構(gòu)理念,這比職業(yè)生涯的改變更能為自己的職業(yè)生涯騰飛。
1. 從技術(shù)上學(xué)習(xí)非關(guān)系型數(shù)據(jù)庫的使用,了解非關(guān)系型數(shù)據(jù)庫的存儲、查詢和應(yīng)用場景
2。掌握與主流大數(shù)據(jù)相關(guān)的技術(shù)架構(gòu)和主流數(shù)據(jù)庫技術(shù),如Hadoop、spark、hive、HDFS、HBase等。關(guān)鍵是需要一個機(jī)會和平臺,而大數(shù)據(jù)量并不是一個普通的MIS系統(tǒng)或軟件所能做到的,如果你想升級到大數(shù)據(jù)開發(fā),你需要找到一個匹配的平臺,那就是就業(yè)機(jī)會。只有經(jīng)過大量實踐,才能說自己進(jìn)行了大數(shù)據(jù)開發(fā)。
數(shù)據(jù)庫開發(fā)工程師轉(zhuǎn)行大數(shù)據(jù)開發(fā)可以嗎?
主要有四個缺點:1。無法存儲數(shù)據(jù)結(jié)構(gòu)
2。按行存儲,即使只操作一列,也需要將整行讀入內(nèi)存
3。表結(jié)構(gòu)擴(kuò)展不方便,模式固定
4。對全文搜索功能的支持較弱
針對以上四個缺點,提供了不同的數(shù)據(jù)庫來解決。
1. K-V存儲不能存儲數(shù)據(jù)結(jié)構(gòu)
以redis為例,值可以是數(shù)據(jù)結(jié)構(gòu),如字符串、哈希、列表、集合、sortedset、位圖等。列存儲可以解決在操作HBase
3表示的列
時,將整行讀入內(nèi)存導(dǎo)致的高IO問題。文檔存儲可以解決mongodb
4表示的表結(jié)構(gòu)擴(kuò)展不方便的問題。全文搜索引擎解決了全文搜索功能的問題
以elasticsearch為例
以上解決方案雖然解決了關(guān)系數(shù)據(jù)庫的不足,但不能很好的支持acid功能。在某些場景下,關(guān)系數(shù)據(jù)庫是一個很好的選擇,因此這些數(shù)據(jù)庫只是關(guān)系數(shù)據(jù)庫的一個很好的補充,不能替代關(guān)系數(shù)據(jù)庫。
現(xiàn)在newsql也是大數(shù)據(jù)時代的一個發(fā)展趨勢,即可以支持事務(wù),具有良好的可擴(kuò)展性來支持大數(shù)據(jù)。以oceanbase、tidb和扳手/F1為例。
國慶節(jié)當(dāng)天,中國螞蟻金融自主研發(fā)的金融級分布式關(guān)系數(shù)據(jù)庫oceanbase在被稱為“數(shù)據(jù)庫世界杯”的TPC-C基準(zhǔn)測試中,打破了美國甲骨文公司9年來的世界紀(jì)錄,成為第一個登上榜首的中文數(shù)據(jù)庫產(chǎn)品。