數(shù)據(jù)庫系統(tǒng)是怎樣降低冗余度的？數(shù)據(jù)庫是一組數(shù)據(jù)，按照一定的數(shù)據(jù)模型組織并存儲(chǔ)在輔助存儲(chǔ)器中。此類數(shù)據(jù)集具有以下特點(diǎn)：盡可能不重復(fù)，以最佳方式服務(wù)于特定組織的各種應(yīng)用程序。它的數(shù)據(jù)結(jié)構(gòu)獨(dú)立于使用它的應(yīng)用

數(shù)據(jù)庫系統(tǒng)是怎樣降低冗余度的？

數(shù)據(jù)庫是一組數(shù)據(jù)，按照一定的數(shù)據(jù)模型組織并存儲(chǔ)在輔助存儲(chǔ)器中。

此類數(shù)據(jù)集具有以下特點(diǎn)：盡可能不重復(fù)，以最佳方式服務(wù)于特定組織的各種應(yīng)用程序。它的數(shù)據(jù)結(jié)構(gòu)獨(dú)立于使用它的應(yīng)用程序。數(shù)據(jù)的添加、刪除、修改和檢索由統(tǒng)一的軟件進(jìn)行管理和控制。從發(fā)展歷史來看，數(shù)據(jù)庫是數(shù)據(jù)管理的高級(jí)階段，它是由文件管理系統(tǒng)開發(fā)的。數(shù)據(jù)庫的基本結(jié)構(gòu)分為三個(gè)層次，反映了觀察數(shù)據(jù)庫的三種不同視角。（1） 物理數(shù)據(jù)層。它是數(shù)據(jù)庫的最內(nèi)層，是實(shí)際存儲(chǔ)在物理存儲(chǔ)設(shè)備上的數(shù)據(jù)的集合。這些數(shù)據(jù)是由用戶處理的原始數(shù)據(jù)，由內(nèi)部模式描述的指令操作處理的位串、字符和字組成。（2） 概念數(shù)據(jù)層。它是數(shù)據(jù)庫的中間層，是數(shù)據(jù)庫的整體邏輯表示。指出每個(gè)數(shù)據(jù)的邏輯定義和數(shù)據(jù)之間的邏輯聯(lián)系是存儲(chǔ)記錄的集合。它指的是數(shù)據(jù)庫中所有對象的邏輯關(guān)系，而不是它們的物理?xiàng)l件。它是數(shù)據(jù)庫管理員概念下的數(shù)據(jù)庫。（3） 邏輯數(shù)據(jù)層。它是用戶看到和使用的數(shù)據(jù)庫，表示一個(gè)或一些特定用戶使用的數(shù)據(jù)集，即邏輯記錄集。通過映射實(shí)現(xiàn)了不同層次數(shù)據(jù)庫之間的關(guān)系轉(zhuǎn)換。該數(shù)據(jù)庫具有以下主要特點(diǎn)：（1）實(shí)現(xiàn)數(shù)據(jù)共享。數(shù)據(jù)共享包括所有用戶可以同時(shí)訪問數(shù)據(jù)庫中的數(shù)據(jù)，用戶可以通過接口以各種方式使用數(shù)據(jù)庫，并提供數(shù)據(jù)共享。（2） 減少數(shù)據(jù)冗余。與文件系統(tǒng)相比，由于數(shù)據(jù)庫實(shí)現(xiàn)了數(shù)據(jù)共享，避免了用戶建立自己的應(yīng)用文件。它減少了大量重復(fù)數(shù)據(jù)，減少了數(shù)據(jù)冗余，保持了數(shù)據(jù)的一致性。（3） 數(shù)據(jù)的獨(dú)立性。數(shù)據(jù)的獨(dú)立性包括數(shù)據(jù)庫和應(yīng)用程序邏輯結(jié)構(gòu)的獨(dú)立性，數(shù)據(jù)物理結(jié)構(gòu)的變化不影響數(shù)據(jù)的邏輯結(jié)構(gòu)。（4） 數(shù)據(jù)集中控制。在文件管理模式下，數(shù)據(jù)處于分散狀態(tài)，不同用戶或同一用戶不同處理的文件之間沒有關(guān)系。利用數(shù)據(jù)庫對數(shù)據(jù)進(jìn)行集中控制和管理，用數(shù)據(jù)模型表示各種數(shù)據(jù)的組織和關(guān)系。（5） 數(shù)據(jù)一致性和可維護(hù)性，確保數(shù)據(jù)的安全性和可靠性。主要包括：①安全控制：防止數(shù)據(jù)丟失、錯(cuò)誤更新和未經(jīng)授權(quán)的使用；②完整性控制：確保數(shù)據(jù)的正確性、有效性和兼容性；③并發(fā)控制：允許在同一時(shí)間段內(nèi)對數(shù)據(jù)進(jìn)行多次訪問，防止用戶之間的異常交互；④ 故障發(fā)現(xiàn)與恢復(fù)：通過數(shù)據(jù)庫管理系統(tǒng)，系統(tǒng)提供了一套及時(shí)發(fā)現(xiàn)和修復(fù)故障的方法，防止數(shù)據(jù)被破壞

主要有四個(gè)缺點(diǎn)：1。無法存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)

2。按行存儲(chǔ)，即使只操作一列，也需要將整行讀入內(nèi)存

3。表結(jié)構(gòu)擴(kuò)展不方便，模式固定

4。對全文搜索功能的支持較弱

針對以上四個(gè)缺點(diǎn)，提供了不同的數(shù)據(jù)庫解決方法。

1. K-V存儲(chǔ)不能存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)

以redis為例，值可以是數(shù)據(jù)結(jié)構(gòu)，如字符串、哈希、列表、集合、sortedset、位圖等。列存儲(chǔ)可以解決在操作HBase

3表示的列

時(shí)，將整行讀入內(nèi)存導(dǎo)致的高IO問題。文檔存儲(chǔ)可以解決mongodb

4表示的表結(jié)構(gòu)擴(kuò)展不方便的問題。全文搜索引擎解決了全文搜索功能的問題

以elasticsearch為例

以上解決方案雖然解決了關(guān)系數(shù)據(jù)庫的不足，但不能很好的支持acid功能。在某些場景下，關(guān)系數(shù)據(jù)庫是一個(gè)很好的選擇，因此這些數(shù)據(jù)庫只是關(guān)系數(shù)據(jù)庫的一個(gè)很好的補(bǔ)充，不能替代關(guān)系數(shù)據(jù)庫。

現(xiàn)在newsql也是大數(shù)據(jù)時(shí)代的一個(gè)發(fā)展趨勢，即可以支持事務(wù)，具有良好的可擴(kuò)展性來支持大數(shù)據(jù)。以oceanbase、tidb和扳手/F1為例。

國慶節(jié)當(dāng)天，中國螞蟻金融自主研發(fā)的金融級(jí)分布式關(guān)系數(shù)據(jù)庫oceanbase在被稱為“數(shù)據(jù)庫世界杯”的TPC-C基準(zhǔn)測試中，打破了美國甲骨文公司9年來的世界紀(jì)錄，成為第一個(gè)登上榜首的中文數(shù)據(jù)庫產(chǎn)品。

在大數(shù)據(jù)時(shí)代，關(guān)系型數(shù)據(jù)庫有哪些缺點(diǎn)？

在正常配置下，MySQL只能承載2000萬數(shù)據(jù)（同時(shí)讀寫，表中有大文本字段，單服務(wù)器）。現(xiàn)在已經(jīng)超過1億，而且還在增加，建議按以下方式處理：

1子表。它可以按時(shí)間或一定的規(guī)則進(jìn)行拆分，以便盡可能地查詢子表中的數(shù)據(jù)庫。這是最有效的方法。特別是寫，放入一個(gè)新表，并定期同步。如果記錄不斷更新，最好將寫入的數(shù)據(jù)放在redis中，并定期同步表3的大文本字段，將它們分隔成一個(gè)新的獨(dú)立表。對于較大的文本字段，可以使用NoSQL數(shù)據(jù)庫

4優(yōu)化體系結(jié)構(gòu)，或者優(yōu)化SQL查詢，避免聯(lián)合表查詢，盡量不要使用count（*）、in、recursion等性能消耗語句

5使用內(nèi)存緩存，或者在前端讀取時(shí)增加緩存數(shù)據(jù)庫。重復(fù)讀取時(shí)，直接從緩存中讀取。

以上是一種低成本的管理方法，基本上幾個(gè)服務(wù)器就可以做到，但是管理起來有點(diǎn)麻煩。

當(dāng)然，如果總體數(shù)據(jù)量特別大，并且您不關(guān)心投資成本，請使用集群或tidb