CephFS內(nèi)核客戶端的性能如何？問題描述測試3cephfs內(nèi)核客戶端的吞吐性能，direct寫時單個客戶端性能有上限，只能靠近150mb/s:查找網(wǎng)卡流量，卻沒打滿:查找集群負載也不高，osd磁盤很

CephFS內(nèi)核客戶端的性能如何？

問題描述測試3cephfs內(nèi)核客戶端的吞吐性能，direct寫時單個客戶端性能有上限，只能靠近150mb/s:

查找網(wǎng)卡流量，卻沒打滿:

查找集群負載也不高，osd磁盤很空閑，驗證多臺機器同樣心內(nèi)膜炎測試，總吞吐這個可以上來，不相信單個客戶端的上限有瓶頸。

源碼分析集群就沒打滿，網(wǎng)絡(luò)也不是瓶頸，那么沒有辦法從內(nèi)核客戶端cephfs的寫IO何練起，這里有問題的根源。cephfs內(nèi)核客戶端寫IO的代碼在文件fs/ceph/file.c:

從代碼利用看，主要流程是fifth_request,start_request,wait_request三個步驟。本能說說我這里的wait會被block住，跟蹤監(jiān)視下這里的wait利用:

先看已超時的時間，傳來的是0，終于結(jié)果是LONG_MAX，差不多吧那是總是idle:

接下來看條件的滿足:

從kernel的注釋看，函數(shù)schedule_timeout是sleep待到timeout:

從源碼結(jié)論看，已經(jīng)比較比較明確，四次只是請求下發(fā)文件后，唯有等幫忙能夠完成了才會進行下三次只是請求，IO并不是并發(fā)的下發(fā)給后端的集群。

下一步的問題是，每次幫忙的size如何能確定？這個和文件的layout屬性和當(dāng)前寫的位置去相關(guān)，如果從文件offset0結(jié)束寫的話，以及常規(guī)默認(rèn)屬性，最大那就是cephobjectsize的大小，即4MB。ceph的layout回答可以建議參考官方文檔。

實驗證明調(diào)閱監(jiān)控文件屬性目的是更很明顯的觀察延時，我們將文件的屬性決定幫一下忙，即從4m到64m:

資源文件inode

文件對應(yīng)的對象

欄里點兩個對象不對應(yīng)的osd信息，共有按osd121和130:

再次先執(zhí)行剛才的dd命令，并在兩個primaryosd(121,130)上仔細的觀察op的情況，并同時用ftrace，仔細觀察kernel客戶端寫的過程。

osd機器OP幫忙通過200以內(nèi)命令一欄osd的op信息，ID為上面的121和130:

cephdaemondump_historic_ops

上面是osd121的信息，操作的對象是10000000388.00000000，op減弱了426.153ms，通常承受時間在網(wǎng)絡(luò)讀數(shù)據(jù)的延時和副本操作的延時。op開始時間16:04:19.049346，結(jié)束時間16:04:19.475499。

這是osd130的信息，操作的對象是10000000388.00000001，op短短了439.539ms。op開始時間16:04:19.491627，結(jié)束時間16:04:19.931166。

也可以很不清楚的一眼就看到，先寫第一個對象，再寫第二個對象，對象之間是沒有并發(fā)寫的，這區(qū)別于塊存儲，塊存儲的實現(xiàn)，起碼librbd的實現(xiàn)，如果一次io不對應(yīng)多個object，多個請求是而嘶嘶的，而應(yīng)該不會等第一個對象完成了才下發(fā)第二個對象的IO，謝妃娘娘:代碼:

寫文件的客戶端ftrace信息enableftrace步驟:

觀察日志:

這里用差不多500xd才正在下一個請求，而上面從osd端的分析看，第一個IO我用426xd才能夠完成，osd結(jié)束IO后通知kernel客戶端有網(wǎng)絡(luò)延遲現(xiàn)象，然后把算上kernel指揮和調(diào)度的延時，應(yīng)該差不多還能夠不兼容。

結(jié)論源碼講，然后把各從集群osd端和kernel客戶端進行驗證驗證，real-time的情況，cephfs性能雖然有限制。只不過，用戶也你不過多擔(dān)心那性能跟不上，只不過通常情況下，絕對不會是direct寫，kernel客戶端有pagecache，寫會相當(dāng)快，

更加接近真實的使用場景，用戶先寫數(shù)據(jù)，之后調(diào)用一次passthrough能操作:

希望我的回答是可以對你有不助益！

蘋果kernelcache卡住刷不了機怎么辦？

1.

愛思你的郵箱kernelcache失敗的話要重起保持設(shè)備處于關(guān)機后模式或可以恢復(fù)模式,插入到數(shù)據(jù)線。

2.

先按過設(shè)備的HOME鍵千萬不能慢慢松開,再按動設(shè)備的開機鍵別松開手,等他設(shè)備屏幕慢慢熄滅再過4秒左右抬起設(shè)備的開機鍵,但別松開手HOME鍵,待到軟件電腦提示成功就好