Mongodb存儲(chǔ)用戶歷史數(shù)據(jù)，時(shí)間軸展示，怎么查詢效率高？您可以考慮使用mongodb的固定集存儲(chǔ)，但是不允許修改或刪除固定集，并且只能存儲(chǔ)您設(shè)置大小的數(shù)據(jù)。有一定的限制，但查詢非?？焖儆行?。也可以

Mongodb存儲(chǔ)用戶歷史數(shù)據(jù)，時(shí)間軸展示，怎么查詢效率高？

您可以考慮使用mongodb的固定集存儲(chǔ)，但是不允許修改或刪除固定集，并且只能存儲(chǔ)您設(shè)置大小的數(shù)據(jù)。有一定的限制，但查詢非?？焖儆行?。也可以使用公共集存儲(chǔ)，根據(jù)時(shí)間和用戶ID建立復(fù)合索引，提高查詢效率。對(duì)于這樣的累積數(shù)據(jù)，最好有一個(gè)分割線存儲(chǔ)機(jī)制。不常用的數(shù)據(jù)應(yīng)該存儲(chǔ)在其他表中，經(jīng)常需要檢索的數(shù)據(jù)應(yīng)該分開(kāi)存儲(chǔ)，因?yàn)椴皇撬杏脩裘看味夹枰樵兯袛?shù)據(jù)。歡迎添加更好的方法。

mongodb數(shù)據(jù)庫(kù)批量插入海量數(shù)據(jù)時(shí)為什么有少部分?jǐn)?shù)據(jù)丟失？

在了解mongodb之后，我覺(jué)得它非常好。適用于海量數(shù)據(jù)的實(shí)時(shí)插入、更新和查詢。支持多條件查詢和多維索引。與HBase相比，HBase沒(méi)有實(shí)時(shí)插入、更新、查詢海量數(shù)據(jù)的壓力，操作效率與數(shù)據(jù)量無(wú)關(guān)，即數(shù)據(jù)量不會(huì)影響操作效率，但HBase的實(shí)時(shí)查詢是基于rowkey的查詢，由于HBase只能對(duì)rowkey進(jìn)行索引，只能根據(jù)rowkey進(jìn)行查詢，無(wú)法實(shí)現(xiàn)與mongodb相同的多條件查詢。小數(shù)據(jù)的需求對(duì)mongodb和HBase沒(méi)有影響，因?yàn)閙ongodb和HBase都是數(shù)據(jù)庫(kù)，主要用來(lái)存儲(chǔ)零碎的小數(shù)據(jù)。所以我覺(jué)得mongodb如果只用于海量實(shí)時(shí)的小數(shù)據(jù)可能會(huì)更好，但是如果還需要對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析的話，最好考慮統(tǒng)計(jì)分析的因素。如果使用MapReduce進(jìn)行數(shù)據(jù)分析，HBase可能會(huì)更好，雖然mongodb也支持Mr.

mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？

在正常配置下，MySQL只能承載2000萬(wàn)數(shù)據(jù)（同時(shí)讀寫(xiě)，表中有大的文本字段，單服務(wù)器）。現(xiàn)在已經(jīng)超過(guò)1億，而且還在增加，建議按以下方式處理：

1子表。它可以按時(shí)間或一定的規(guī)則進(jìn)行拆分，以便盡可能地查詢子表中的數(shù)據(jù)庫(kù)。這是最有效的方法。特別是寫(xiě)，放入一個(gè)新表，并定期同步。如果記錄不斷更新，最好將寫(xiě)入的數(shù)據(jù)放在redis中，并定期同步表3的大文本字段，將它們分隔成一個(gè)新的獨(dú)立表。對(duì)于較大的文本字段，可以使用NoSQL數(shù)據(jù)庫(kù)

4優(yōu)化體系結(jié)構(gòu)，或者優(yōu)化SQL查詢，避免聯(lián)合表查詢，盡量不要使用count（*）、in、recursion等性能消耗語(yǔ)句

5使用內(nèi)存緩存，或者在前端讀取時(shí)增加緩存數(shù)據(jù)庫(kù)。重復(fù)讀取時(shí)，直接從緩存中讀取。

以上是一種低成本的管理方法，基本上幾個(gè)服務(wù)器就可以做到，但是管理起來(lái)有點(diǎn)麻煩。

當(dāng)然，如果總體數(shù)據(jù)量特別大，并且您不關(guān)心投資成本，請(qǐng)使用集群或tidb