mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？在正常配置下，MySQL只能承載2000萬(wàn)數(shù)據(jù)（同時(shí)讀寫，表中有大文本字段，單服務(wù)器）?，F(xiàn)在已經(jīng)超過(guò)1億，而且還在

mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？

在正常配置下，MySQL只能承載2000萬(wàn)數(shù)據(jù)（同時(shí)讀寫，表中有大文本字段，單服務(wù)器）?，F(xiàn)在已經(jīng)超過(guò)1億，而且還在增加，建議按以下方式處理：

1子表。它可以按時(shí)間或一定的規(guī)則進(jìn)行拆分，以便盡可能地查詢子表中的數(shù)據(jù)庫(kù)。這是最有效的方法。特別是寫，放入一個(gè)新表，并定期同步。如果記錄不斷更新，最好將寫入的數(shù)據(jù)放在redis中，并定期同步表3的大文本字段，將它們分隔成一個(gè)新的獨(dú)立表。對(duì)于較大的文本字段，可以使用NoSQL數(shù)據(jù)庫(kù)

4優(yōu)化體系結(jié)構(gòu)，或者優(yōu)化SQL查詢，避免聯(lián)合表查詢，盡量不要使用count（*）、in、recursion等性能消耗語(yǔ)句

5使用內(nèi)存緩存，或者在前端讀取時(shí)增加緩存數(shù)據(jù)庫(kù)。重復(fù)讀取時(shí)，直接從緩存中讀取。

以上是一種低成本的管理方法，基本上幾個(gè)服務(wù)器就可以做到，但是管理起來(lái)有點(diǎn)麻煩。

當(dāng)然，如果整體數(shù)據(jù)量特別大，而且你不在乎投資成本，可以使用cluster，使用tidb

大數(shù)據(jù)可以分為數(shù)據(jù)采集、數(shù)據(jù)分析和數(shù)據(jù)呈現(xiàn)。由于大數(shù)據(jù)使用的是非結(jié)構(gòu)化數(shù)據(jù)，與傳統(tǒng)的數(shù)據(jù)分析相比，它具有價(jià)值密度高、數(shù)據(jù)量大的特點(diǎn)，這就是傳統(tǒng)的數(shù)據(jù)分析相當(dāng)于走葡萄藤，而大數(shù)據(jù)分析相當(dāng)于把這個(gè)領(lǐng)域描繪成一座監(jiān)獄。

我們可以采取幾種大數(shù)據(jù)的實(shí)際應(yīng)用場(chǎng)景，比如商業(yè)營(yíng)銷。商家通過(guò)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，在平臺(tái)上收集客戶信息，分析客戶偏好，制定有針對(duì)性的營(yíng)銷策略。這種模式在人工智能、物聯(lián)網(wǎng)等各個(gè)行業(yè)的營(yíng)銷領(lǐng)域都非常普遍。這兩方面的數(shù)據(jù)都是非結(jié)構(gòu)化的，傳統(tǒng)的數(shù)據(jù)分析方法無(wú)法有效地處理，只能借助大數(shù)據(jù)進(jìn)行分析。

簡(jiǎn)而言之，大數(shù)據(jù)解決的問(wèn)題不在任何領(lǐng)域，而是在每個(gè)領(lǐng)域。它在任何時(shí)刻都不會(huì)影響我們的生活，而是每時(shí)每刻。大數(shù)據(jù)仍然需要統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)來(lái)支撐。有待解決的具體問(wèn)題和著陸方案仍在改進(jìn)中。隨著技術(shù)和時(shí)間的推移，大數(shù)據(jù)的應(yīng)用越來(lái)越廣泛，需要解決的問(wèn)題也越來(lái)越多?？赡艿暮罄m(xù)問(wèn)題是哪些問(wèn)題是大數(shù)據(jù)無(wú)法解決的。