es 索引規(guī)范？您必須手動(dòng)指定切片數(shù)量。碎片的數(shù)量會(huì)影響查詢效率。有兩種情況:數(shù)據(jù)量大，碎片數(shù)少。會(huì)影響單個(gè)片段的查詢效率。導(dǎo)致最終查詢時(shí)間緩慢。數(shù)據(jù)量不大，但切片太多。碎片太多會(huì)影響聚合效率，也會(huì)導(dǎo)

es 索引規(guī)范？

您必須手動(dòng)指定切片數(shù)量。

碎片的數(shù)量會(huì)影響查詢效率。

有兩種情況:

數(shù)據(jù)量大，碎片數(shù)少。會(huì)影響單個(gè)片段的查詢效率。導(dǎo)致最終查詢時(shí)間緩慢。

數(shù)據(jù)量不大，但切片太多。碎片太多會(huì)影響聚合效率，也會(huì)導(dǎo)致最終查詢變慢。

不建議使用

redis集群如何解決key不均勻？

對(duì)于分布式存儲(chǔ)系統(tǒng)的架構(gòu)和運(yùn)行管理來(lái)說(shuō)，保證每個(gè)節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)容量和請(qǐng)求數(shù)量盡可能均衡是非常重要的。本文介紹了導(dǎo)致 "傾斜 "Redis大型集群運(yùn)行維護(hù)中的數(shù)據(jù)請(qǐng)求及規(guī)避措施。嚴(yán)重的影響 "傾斜 "Redis的數(shù)據(jù)容量或請(qǐng)求量是從運(yùn)維的角度來(lái)解釋的。當(dāng)數(shù)據(jù)容量和請(qǐng)求量?jī)A斜時(shí)，Redis中幾十個(gè)節(jié)點(diǎn)的集群存在一些痛點(diǎn):

來(lái)自幾個(gè)或單個(gè)節(jié)點(diǎn)的請(qǐng)求數(shù)量是 "過(guò)熱 "，導(dǎo)致Redis分布式系統(tǒng)失去了可擴(kuò)展性和集群的意義，類似于MongoDB_id字段作為切片鍵；導(dǎo)致運(yùn)維能力規(guī)劃，擴(kuò)容困難；增加了自動(dòng)配置管理的難度；單個(gè)集群節(jié)點(diǎn)應(yīng)盡可能統(tǒng)一參數(shù)配置；監(jiān)控報(bào)警很復(fù)雜(容量、QPS、連接數(shù)閾值等。).那么讓我們 讓我們看看那些經(jīng)常導(dǎo)致嚴(yán)重后果的場(chǎng)景傾斜 "生產(chǎn)環(huán)境中的Redis集群。

普通的 "傾斜 "Redis集群場(chǎng)景一般是由于DBA規(guī)劃不當(dāng)和業(yè)務(wù)密鑰空間設(shè)計(jì)不合理造成的。

DBA規(guī)劃集群時(shí)或者擴(kuò)展后，數(shù)據(jù)槽(hash bucket)的位分布不均勻，造成內(nèi)存容量、鍵數(shù)和請(qǐng)求QPS傾斜；服務(wù)的關(guān)鍵空間設(shè)計(jì)不合理，所謂 "熱鍵 "導(dǎo)致少量鍵的大QPS操作；這種節(jié)點(diǎn)的QPS過(guò)載；程序中使用了大量的Keys hash標(biāo)簽，可能導(dǎo)致一些數(shù)據(jù)槽中有大量的key；程序有一個(gè)很大的簇鍵(hash，set，l。Ist等。)，導(dǎo)致大密鑰所在節(jié)點(diǎn)的容量和QPS很高；工人和教師執(zhí)行Monitor等命令，導(dǎo)致當(dāng)前節(jié)點(diǎn)客戶端的輸出緩沖區(qū)增加，used_memory_rss擴(kuò)大，導(dǎo)致節(jié)點(diǎn)內(nèi)存容量增加。接下來(lái)，當(dāng)集群內(nèi)存容量、鍵數(shù)或QPS請(qǐng)求數(shù)嚴(yán)重傾斜時(shí)，就要調(diào)查定位問(wèn)題了。

Redis集群的故障排除傾斜 "檢查集群每個(gè)段的數(shù)據(jù)槽是否均勻分布。

讓 s以Redis Cluster集群為例，確定集群中每個(gè)節(jié)點(diǎn)負(fù)責(zé)的數(shù)據(jù)槽和鍵的數(shù)量。以下演示的一些例子并不輕微傾斜 "，但不嚴(yán)重，可以考慮再平衡。

檢查節(jié)點(diǎn)熱點(diǎn)鍵并確定頂部命令。

使用redis-faina，最好有一個(gè)實(shí)時(shí)分析平臺(tái)。從下面的例子可以看出，兩個(gè)前綴鍵的QPS比基本都是各50%，明顯是熱點(diǎn)鍵；您還可以看到auth命令的頂部命令。

程序是否大量使用了密鑰散列標(biāo)簽？

這可能導(dǎo)致數(shù)據(jù)存儲(chǔ)量和QPS不一致的問(wèn)題。scan可以用來(lái)掃描keyspace中是否有hash標(biāo)簽，或者monitor，可以用vc-redis-sniffer。

該程序是否使用大型設(shè)置密鑰？

例如，一個(gè)1kw字段的哈希鍵占用幾GB的內(nèi)存。這種set key一次操作幾個(gè)字段，所以很難從proxy或者sdk找到key的大小。可通過(guò)redis-cli -bigk:和業(yè)務(wù)確認(rèn)音)。在實(shí)際生產(chǎn)業(yè)務(wù)場(chǎng)景中，大規(guī)模集群很難做到集群的完全平衡，只要盡量保證不出現(xiàn)嚴(yán)重的傾斜問(wèn)題即可。

那個(gè) 這是我的看法。你怎么看待這個(gè)問(wèn)題？歡迎在下方評(píng)論區(qū)交流~我是科技領(lǐng)域的創(chuàng)作者，有十年互聯(lián)網(wǎng)行業(yè)經(jīng)驗(yàn)。歡迎關(guān)注我了解更多科技知識(shí)！