四大國產(chǎn)數(shù)據(jù)庫 支撐日活百萬用戶的高并發(fā)系統(tǒng),應(yīng)該如何設(shè)計其數(shù)據(jù)庫架構(gòu)? ?
支撐日活百萬用戶的高并發(fā)系統(tǒng),應(yīng)該如何設(shè)計其數(shù)據(jù)庫架構(gòu)? ?以MySQL為列:1:要支持高并發(fā)系統(tǒng),必須涉及事務(wù),所以數(shù)據(jù)庫引擎必須選擇InnoDB。InnoDB支持事務(wù),事務(wù)級別取決于業(yè)務(wù)。如果業(yè)務(wù)
支撐日活百萬用戶的高并發(fā)系統(tǒng),應(yīng)該如何設(shè)計其數(shù)據(jù)庫架構(gòu)? ?
以MySQL為列:
1:要支持高并發(fā)系統(tǒng),必須涉及事務(wù),所以數(shù)據(jù)庫引擎必須選擇InnoDB。InnoDB支持事務(wù),事務(wù)級別取決于業(yè)務(wù)。如果業(yè)務(wù)數(shù)據(jù)一致性要求非常高,事務(wù)將開啟序列化級別,這將完全隔離事務(wù),但會導(dǎo)致對鎖資源的競爭加劇。MySQL的性能在一定程度上降低了。
2:數(shù)據(jù)庫分為主數(shù)據(jù)庫和從數(shù)據(jù)庫。主數(shù)據(jù)庫負(fù)責(zé)寫入數(shù)據(jù),集群數(shù)據(jù)庫負(fù)責(zé)讀取數(shù)據(jù)。注意主從數(shù)據(jù)庫的數(shù)據(jù)一致性。
3:冷熱數(shù)據(jù)分離,美團(tuán)、饑餓部分設(shè)計采用冷熱數(shù)據(jù)分離。以訂單為例,出庫單的主要業(yè)務(wù)場景是查詢。數(shù)據(jù)查詢越向前,概率越低。這是冷數(shù)據(jù)。正在交易的訂單是熱點數(shù)據(jù),需要隨時查詢和更新。冷數(shù)據(jù)可以放入redis緩存。這將提高查詢效率。
4:數(shù)據(jù)表設(shè)計,充分利用索引查詢。businesssql避免返回?zé)o用的行和列,禁止使用select*query,在查詢時增加限制,并盡可能返回滿足要求的行。對于復(fù)雜的SQL,請考慮拆分SQL。拆分SQL有一個優(yōu)點。對于重復(fù)查詢SQL,將第二次查詢放入MySQL緩沖區(qū),避免重復(fù)磁盤操作,提高訪問性能。
5:子數(shù)據(jù)庫和子表。例如,業(yè)務(wù)數(shù)據(jù)按月份分類。在一定程度上,增加、刪除、修改和檢查的壓力將得到緩解。
希望對您有所幫助。謝謝您。
大數(shù)據(jù)時代需要哪些數(shù)據(jù)庫技術(shù)?
Tidb是一款面向在線事務(wù)處理(HTAP)的融合數(shù)據(jù)庫產(chǎn)品:混合事務(wù)/分析處理。實現(xiàn)了一鍵水平擴(kuò)展、多拷貝數(shù)據(jù)安全性強(qiáng)、分布式事務(wù)、實時OLAP等重要特性。同時,它與MySQL協(xié)議和ecolog兼容,易于移植,運(yùn)行維護(hù)成本低。更重要的是,它是一個開源的分布式數(shù)據(jù)庫,在大數(shù)據(jù)時代不可或缺。
大數(shù)據(jù)時代其實就是數(shù)據(jù)集成和分析的時代,傳統(tǒng)的數(shù)據(jù)庫是分不開的,比如MySQL和Hadoop。不過,目前各大廠商都在自己研究,比如阿里就有單獨(dú)的研發(fā)。騰訊也是如此。當(dāng)然,標(biāo)題的分析速度也要提高,否則就無法實現(xiàn)準(zhǔn)確的推薦。
大數(shù)據(jù)時代,每個大工廠都有自己的核心計算分析模型。當(dāng)然,一定是在海量數(shù)據(jù)之后。不需要小公司,只需要幾個mysql。Tidb也不錯。
由螞蟻金服自主研發(fā)的數(shù)據(jù)庫超越Oracle登頂全球第一,你怎么看?
讓我們看看TPC是什么樣的組織。寫科普太懶了。讓我們看一波人高潮。
2019年,談?wù)摿昵暗臄?shù)據(jù)是否感到自豪?
當(dāng)數(shù)據(jù)庫扼住系統(tǒng)性能咽喉,直接分庫分表能解決嗎?
子數(shù)據(jù)庫和子表是一種相對落后的優(yōu)化方法,因為成本相對較高。
遇到數(shù)據(jù)庫瓶頸:
-首先考慮SQL優(yōu)化,這是最簡單的方法。對現(xiàn)有系統(tǒng)沒有影響。
-第二個是考慮數(shù)據(jù)庫讀寫分離,這也是一個相對簡單的方法。在數(shù)據(jù)庫級配置中,系統(tǒng)級只需要調(diào)整獲取數(shù)據(jù)庫連接的邏輯即可。讀取數(shù)據(jù)時,可以同時獲得主庫和從庫連接。寫入數(shù)據(jù)時,僅獲取主庫連接。
-考慮添加緩存層。數(shù)據(jù)緩存在緩存中,再次訪問時不再從數(shù)據(jù)庫檢索。通常,緩存層對系統(tǒng)是透明的,對系統(tǒng)本身沒有影響。但是,cache的引入也引入了相應(yīng)的需要考慮的問題,如雪崩、命中率、分布式cache等]-還有一種非技術(shù)手段,就是改變需求。性能問題的原因是否不合理?還是要求太復(fù)雜?需求可以簡化嗎?這種方法對系統(tǒng)的影響相對較小。
-最后,考慮子數(shù)據(jù)庫和子表。優(yōu)先考慮子數(shù)據(jù)庫,因為它比子表簡單。將相應(yīng)的表移動到新的數(shù)據(jù)庫中,并調(diào)整系統(tǒng)的邏輯以獲得數(shù)據(jù)庫連接。在這里,我們需要考慮移動哪些表。在提高性能的前提下,我們首先嘗試避免分布式事務(wù)。
-最后,考慮子表。子表的主要原因是單個表中的數(shù)據(jù)量很大。子表分為縱斷面和橫斷面。垂直剪切是按列剪切的,例如用戶表。常用信息為基本信息表,其他信息為明細(xì)表。橫切是按行切割。例如,一個有1億數(shù)據(jù)的表被分成10個有1000萬數(shù)據(jù)的表。這涉及到數(shù)據(jù)應(yīng)該存儲在哪個表中或從哪個表中獲取。在表被劃分之后,可以對數(shù)據(jù)庫進(jìn)行進(jìn)一步的優(yōu)化。
-如果涉及分布式事務(wù),應(yīng)考慮如何保證分布式事務(wù)。理論上,2個,3個,帕克斯,帽子,底座。相應(yīng)中間件的使用。
系統(tǒng)的設(shè)計和優(yōu)化不是模仿的問題,而是需要根據(jù)實際場景進(jìn)行處理。