mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？在正常配置下，MySQL只能承載2000萬(wàn)數(shù)據(jù)（同時(shí)讀寫(xiě)，表中有大文本字段，單服務(wù)器）?，F(xiàn)在已經(jīng)超過(guò)1億，而且還在

mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？

在正常配置下，MySQL只能承載2000萬(wàn)數(shù)據(jù)（同時(shí)讀寫(xiě)，表中有大文本字段，單服務(wù)器）?，F(xiàn)在已經(jīng)超過(guò)1億，而且還在增加，建議按以下方式處理：

1子表。它可以按時(shí)間或一定的規(guī)則進(jìn)行拆分，以便盡可能地查詢(xún)子表中的數(shù)據(jù)庫(kù)。這是最有效的方法。特別是寫(xiě)，放入一個(gè)新表，并定期同步。如果記錄不斷更新，最好將寫(xiě)入的數(shù)據(jù)放在redis中，并定期同步表3的大文本字段，將它們分隔成一個(gè)新的獨(dú)立表。對(duì)于較大的文本字段，可以使用NoSQL數(shù)據(jù)庫(kù)

4優(yōu)化體系結(jié)構(gòu)，或者優(yōu)化SQL查詢(xún)，避免聯(lián)合表查詢(xún)，盡量不要使用count（*）、in、recursion等性能消耗語(yǔ)句

5使用內(nèi)存緩存，或者在前端讀取時(shí)增加緩存數(shù)據(jù)庫(kù)。重復(fù)讀取時(shí)，直接從緩存中讀取。

以上是一種低成本的管理方法，基本上幾個(gè)服務(wù)器就可以做到，但是管理起來(lái)有點(diǎn)麻煩。

當(dāng)然，如果總體數(shù)據(jù)量特別大，并且您不關(guān)心投資成本，您可以使用cluster或tidb將數(shù)據(jù)寫(xiě)入MQ，然后從MQ緩慢地將數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)。主流MQ，如Kafka、rocketmq，橫向擴(kuò)展非常方便

以MySQL為列：

1:支持高并發(fā)系統(tǒng)，一定會(huì)涉及事務(wù)，所以數(shù)據(jù)庫(kù)引擎必須選擇InnoDB，InnoDB支持事務(wù)，事務(wù)級(jí)別視業(yè)務(wù)而定。如果業(yè)務(wù)數(shù)據(jù)的一致性非常高，則將啟用序列化級(jí)別。這樣，交易將完全孤立，但鎖資源的競(jìng)爭(zhēng)將加劇。MySQL的性能在一定程度上降低了。

2:數(shù)據(jù)庫(kù)分為主數(shù)據(jù)庫(kù)和從數(shù)據(jù)庫(kù)。主數(shù)據(jù)庫(kù)負(fù)責(zé)寫(xiě)入數(shù)據(jù)，集群數(shù)據(jù)庫(kù)負(fù)責(zé)讀取數(shù)據(jù)。注意主從數(shù)據(jù)庫(kù)的數(shù)據(jù)一致性。

3:冷熱數(shù)據(jù)分離，美團(tuán)、饑餓部分設(shè)計(jì)采用冷熱數(shù)據(jù)分離。以訂單為例，出庫(kù)單的主要業(yè)務(wù)場(chǎng)景是查詢(xún)。數(shù)據(jù)查詢(xún)?cè)较蚯?，概率越低。這是冷數(shù)據(jù)。正在交易的訂單是熱點(diǎn)數(shù)據(jù)，需要隨時(shí)查詢(xún)和更新。冷數(shù)據(jù)可以放入redis緩存。這將提高查詢(xún)效率。

4：數(shù)據(jù)表設(shè)計(jì)，充分利用索引查詢(xún)。businesssql避免返回?zé)o用的行和列，禁止使用select*query，在查詢(xún)時(shí)增加限制，并盡可能返回滿(mǎn)足要求的行。對(duì)于復(fù)雜的SQL，請(qǐng)考慮拆分SQL。拆分SQL有一個(gè)優(yōu)點(diǎn)。對(duì)于重復(fù)查詢(xún)SQL，將第二次查詢(xún)放入MySQL緩沖區(qū)，避免重復(fù)磁盤(pán)操作，提高訪(fǎng)問(wèn)性能。

5：子數(shù)據(jù)庫(kù)和子表。例如，業(yè)務(wù)數(shù)據(jù)按月份分類(lèi)。在一定程度上，增加、刪除、修改和檢查的壓力將得到緩解。

希望對(duì)您有所幫助。謝謝您。

數(shù)據(jù)庫(kù)高并發(fā)寫(xiě)入，怎么降低數(shù)據(jù)庫(kù)的壓力？

MySQL高并發(fā)的解決方案有：優(yōu)化SQL語(yǔ)句、優(yōu)化數(shù)據(jù)庫(kù)字段、添加緩存、分區(qū)表、讀寫(xiě)分離和垂直拆分、解耦模塊、水平分段等

高并發(fā)的瓶頸大多在后臺(tái)。存儲(chǔ)MySQL的常用優(yōu)化方案有：（1）代碼中SQL語(yǔ)句優(yōu)化；（2）數(shù)據(jù)庫(kù)字段優(yōu)化、索引優(yōu)化；（3）緩存、redis/Memcache等；（4）主從、讀寫(xiě)分離；（5）分區(qū)表；（6）垂直拆分，解耦模塊

（7）水平分割

方案分析：

1。方法1。方法2最簡(jiǎn)單最快捷的提高效率的方法。因?yàn)槊織l語(yǔ)句都會(huì)命中索引，所以它是最有效的。但是，如果建立索引是為了優(yōu)化SQL，那么索引將溢出。對(duì)于級(jí)別超過(guò)1000萬(wàn)級(jí)的表，維護(hù)索引的成本會(huì)大大增加，但會(huì)增加數(shù)據(jù)庫(kù)的內(nèi)存成本。

2. 數(shù)據(jù)庫(kù)領(lǐng)域的優(yōu)化。有人發(fā)現(xiàn)，一位高級(jí)程序員在設(shè)計(jì)表字段時(shí)，將日期類(lèi)型設(shè)計(jì)為varchar類(lèi)型，這是不標(biāo)準(zhǔn)的。同時(shí)，它無(wú)法對(duì)寫(xiě)入的數(shù)據(jù)進(jìn)行檢查，索引效率也不同

3。Cache適用于讀多寫(xiě)少、更新頻率相對(duì)較低的業(yè)務(wù)場(chǎng)景，否則Cache幾乎沒(méi)有異議，命中率不高。一般來(lái)說(shuō)，緩存主要是為了提高接口的處理速度，減少并發(fā)所帶來(lái)的數(shù)據(jù)庫(kù)壓力等問(wèn)題。

4. 分區(qū)不是一個(gè)表，結(jié)果仍然是一個(gè)表，但存儲(chǔ)的數(shù)據(jù)文件被分成幾個(gè)小塊。在表數(shù)據(jù)非常大的情況下，可以解決無(wú)法一次加載內(nèi)存、表數(shù)據(jù)維護(hù)量大等問(wèn)題。

5. 垂直拆分按列將表拆分為多個(gè)表。通常將主表的擴(kuò)展數(shù)據(jù)和文本數(shù)據(jù)分開(kāi)，以降低磁盤(pán)IO壓力。

6. 水平拆分的主要目的是提高單個(gè)表的并發(fā)讀寫(xiě)能力（壓力分布到每個(gè)子表）和磁盤(pán)IO性能（非常大的開(kāi)銷(xiāo)）。MyD文件已分配給。每個(gè)小表的MyD文件）。如果沒(méi)有超過(guò)1000萬(wàn)級(jí)的數(shù)據(jù)，為什么要反匯編？只優(yōu)化一個(gè)表是可以的。如果沒(méi)有太多并發(fā)，分區(qū)表通常可以滿(mǎn)足要求。因此，一般來(lái)說(shuō)，水平拆分是最后的選擇，仍然需要逐步設(shè)計(jì)。