kvm-clock に時間を尋ねるのは間違っているだろうか
43
kvm-clock に時間を尋ねるのは 間違っているだろうか @deep_tkkn 2015/06/06 Kernel/VM 探検隊 #11
-
Upload
deeptokikane -
Category
Technology
-
view
317 -
download
5
Transcript of kvm-clock に時間を尋ねるのは間違っているだろうか
kvm-clock に時間を尋ねるのは間違っているだろうか
@deep_tkkn
2015/06/06
Kernel/VM 探検隊 #11
自己紹介
• Twitter: @deep_tkkn
•本名: 深井貴明
• BitVisor でライブマイグレーションするおじさん
これからお話するのは
kvm-clockに翻弄された
一人の男の愚痴お話…(まぁ僕のことなんですが)
ある日のこと…
•男は論文執筆のためにSysbenchを走らせていた
•評価対象は物理マシン、BitVisor、KVM
• KVM よりもBitVisor が速い、という結果を期待して
小さいブロックサイズではKVMが遅くなる
,.へ___ ﾑ i「 ﾋ_i〉 ゝ 〈ﾄ ノ iニ(()i { ＿＿＿_ | ヽi i ／__, , ‐-＼ i }| i ／（●) ( ● )＼ {､ λト－┤. ／ （__人__） ＼ ,ノ ￣ ,!i ゝ､_ | ´￣` | ,. '´ﾊ ,!
. ヽ、 ｀` ､,__＼ ／" ＼ ヽ／＼ノ ﾉ ﾊ￣r/:::r―--―/::７ ﾉ ／ヽ. ヽ::〈； . '::. :' |::/ / ,. "
`ｰ ､ ＼ヽ::. ;::：|/ ｒ'"
,.へ___ ﾑ i「 ﾋ_i〉 ゝ 〈ﾄ ノ iニ(()i { ＿＿＿_ | ヽi i ／__, , ‐-＼ i }| i ／（●) ( ● )＼ {､ λト－┤. ／ （__人__） ＼ ,ノ ￣ ,!i ゝ､_ | ´￣` | ,. '´ﾊ ,!
. ヽ、 ｀` ､,__＼ ／" ＼ ヽ／＼ノ ﾉ ﾊ￣r/:::r―--―/::７ ﾉ ／ヽ. ヽ::〈； . '::. :' |::/ / ,. "
`ｰ ､ ＼ヽ::. ;::：|/ ｒ'"
男役: やる夫
数日後…＿＿＿_
／ ＼／ ─ ─＼
／ （●） （●）＼| （__人__） |/ ∩ノ⊃ ／( ＼ ／＿ノ | | .＼ “ ／＿＿| | ＼／＿＿＿／
KVMが遅くなる理由を考察せねばならん
考える男＿＿＿_
／ ＼／ ─ ─＼
／ （●） （●）＼| （__人__） |/ ∩ノ⊃ ／( ＼ ／＿ノ | | .＼ “ ／＿＿| | ＼／＿＿＿／
EPT?BitVisorでも使ってるお
考える男＿＿＿_
／ ＼／ ─ ─＼
／ （●） （●）＼| （__人__） |/ ∩ノ⊃ ／( ＼ ／＿ノ | | .＼ “ ／＿＿| | ＼／＿＿＿／
キャッシュミス?なんか違う気がするお
考える男＿＿＿_
／ ＼／ ─ ─＼
／ （●） （●）＼| （__人__） |/ ∩ノ⊃ ／( ＼ ／＿ノ | | .＼ “ ／＿＿| | ＼／＿＿＿／
わからんからperfやstrace使うお
考える男＿＿＿_
／ ＼／ ─ ─＼
／ （●） （●）＼| （__人__） |/ ∩ノ⊃ ／( ＼ ／＿ノ | | .＼ “ ／＿＿| | ＼／＿＿＿／
きっとブロックサイズに依存するイベントが
あるお
perfやstraceで調べた結果
• VMExit回数… ブロックサイズによらずほぼ同じ
＿＿＿_／ ＼
／ ─ ─＼／ （●） （●）＼| （__人__） |/ ∩ノ⊃ ／( ＼ ／＿ノ | | .＼ “ ／＿＿| | ＼／＿＿＿／
?????
perfやstraceで調べた結果
• VMExit回数… ブロックサイズによらずほぼ同じ
• ブロックサイズを小さくするとclock_gettime()システムコールの呼び出し回数が増える
なぜclock_gettime()が多くなる?
• Sysbenchは1イベント毎の時間を測定している
• メモリテストの1イベント== 1block のread or write
• —memory-block-size を小さくするイベントの数が増える時間を測定する回数が増えるclock_gettime()を呼ぶ回数が増える
＿＿＿_／ ＼
／ ─ ─＼／ （●） （●）＼| （__人__） |/ ∩ノ⊃ ／( ＼ ／＿ノ | | .＼ “ ／＿＿| | ＼／＿＿＿／
時間取得の処理が遅いわけないお
＿＿＿_／ ＼
／ ─ ─＼／ （●） （●）＼| （__人__） |/ ∩ノ⊃ ／( ＼ ／＿ノ | | .＼ “ ／＿＿| | ＼／＿＿＿／
システムコールが遅いんじゃなイカ?
Syscallの実行時間を調べたら…
getpid()
物理マシン、KVMの間に大きな差なし
clock_gettime()
KVM だけ遅い
#include <unistd.h>#include <time.h>#include <stdio.h>#define NUM 400000000
int main(){int i;struct timespec dummy;for ( i = 0; i < NUM; i++){
clock_gettime(CLOCK_MONOTONIC, &dummy);}return 0;
}
root@mgrt-trgt:~# time ./a.out
real 0m31.867suser 0m6.384ssys 0m25.482sroot@mgrt-trgt:~# echo tsc > /sys/devices/system/clocksource/clocksource0/current_clocksource[ 1570.562530] Switching to clocksource tscroot@mgrt-trgt:~# time ./a.out
real 0m5.852suser 0m5.848ssys 0m0.000sroot@mgrt-trgt:~#
＿＿＿_／ ＼
／ ─ ─＼／ （●） （●）＼| （__人__） |/ ∩ノ⊃ ／( ＼ ／＿ノ | | .＼ “ ／＿＿| | ＼／＿＿＿／
…..
KVMだけ時間取得の処理が遅いおwww
＿＿＿_ ／_ノ ヽ､_＼
ﾐ ﾐ ﾐ oﾟ(（●）) (（●）)ﾟo ﾐ ﾐ ﾐ/⌒)⌒)⌒. ::::::⌒（__人__）⌒:::＼ /⌒)⌒)⌒)| / / / |r┬-| | (⌒)/ / / /／| :::::::::::(⌒) | | | ／ ゝ :::::::::::/ | ノ | | | ＼ / ） /ヽ / `ー'´ ヽ / ／
| | l||l 从人 l||l l||l 从人 l||lヽ -一''''''"~~｀`'ー--､ -一'''''''ー-､ヽ＿＿＿＿(⌒)(⌒)⌒) ) (⌒＿(⌒)⌒)⌒))
＿＿＿_／ ＼
／ ─ ─＼／ （●） （●）＼| （__人__） |/ ∩ノ⊃ ／( ＼ ／＿ノ | | .＼ “ ／＿＿| | ＼／＿＿＿／
なんでKVMだけclock_gettime()が遅いんだお?
＿＿＿_／ ＼
／ ─ ─＼／ （●） （●）＼| （__人__） |/ ∩ノ⊃ ／( ＼ ／＿ノ | | .＼ “ ／＿＿| | ＼／＿＿＿／
ググってみるお
http://blog.siphos.be/2013/04/comparing-performance-with-sysbench-part-3/
＿＿＿_ ／_ノ ヽ､_＼
ﾐ ﾐ ﾐ oﾟ(（●）) (（●）)ﾟo ﾐ ﾐ ﾐ/⌒)⌒)⌒. ::::::⌒（__人__）⌒:::＼ /⌒)⌒)⌒)| / / / |r┬-| | (⌒)/ / / /／| :::::::::::(⌒) | | | ／ ゝ :::::::::::/ | ノ | | | ＼ / ） /ヽ / `ー'´ ヽ / ／
| | l||l 从人 l||l l||l 从人 l||lヽ -一''''''"~~｀`'ー--､ -一'''''''ー-､ヽ＿＿＿＿(⌒)(⌒)⌒) ) (⌒＿(⌒)⌒)⌒))
今までおれが調べたこと全部書いてあるお
＿＿＿_／ ＼
／ ─ ─＼／ （●） （●）＼| （__人__） |/ ∩ノ⊃ ／( ＼ ／＿ノ | | .＼ “ ／＿＿| | ＼／＿＿＿／
ふむ、current_clockをtscに変えるとまともな結果がでるらしいぞ
ぺったんこ…
＿＿＿_ ／_ノ ヽ､_＼
ﾐ ﾐ ﾐ oﾟ(（●）) (（●）)ﾟo ﾐ ﾐ ﾐ/⌒)⌒)⌒. ::::::⌒（__人__）⌒:::＼ /⌒)⌒)⌒)| / / / |r┬-| | (⌒)/ / / /／| :::::::::::(⌒) | | | ／ ゝ :::::::::::/ | ノ | | | ＼ / ） /ヽ / `ー'´ ヽ / ／
| | l||l 从人 l||l l||l 从人 l||lヽ -一''''''"~~｀`'ー--､ -一'''''''ー-､ヽ＿＿＿＿(⌒)(⌒)⌒) ) (⌒＿(⌒)⌒)⌒))
メモリ処理なんか全然関係なかったおwww
＿＿＿_ ／_ノ ヽ､_＼
ﾐ ﾐ ﾐ oﾟ(（●）) (（●）)ﾟo ﾐ ﾐ ﾐ/⌒)⌒)⌒. ::::::⌒（__人__）⌒:::＼ /⌒)⌒)⌒)| / / / |r┬-| | (⌒)/ / / /／| :::::::::::(⌒) | | | ／ ゝ :::::::::::/ | ノ | | | ＼ / ） /ヽ / `ー'´ ヽ / ／
| | l||l 从人 l||l l||l 从人 l||lヽ -一''''''"~~｀`'ー--､ -一'''''''ー-､ヽ＿＿＿＿(⌒)(⌒)⌒) ) (⌒＿(⌒)⌒)⌒))
別にBitVisor がとりわけ速いわけでもなかったおww
＿＿＿_ ／_ノ ヽ､_＼
ﾐ ﾐ ﾐ oﾟ(（●）) (（●）)ﾟo ﾐ ﾐ ﾐ/⌒)⌒)⌒. ::::::⌒（__人__）⌒:::＼ /⌒)⌒)⌒)| / / / |r┬-| | (⌒)/ / / /／| :::::::::::(⌒) | | | ／ ゝ :::::::::::/ | ノ | | | ＼ / ） /ヽ / `ー'´ ヽ / ／
| | l||l 从人 l||l l||l 从人 l||lヽ -一''''''"~~｀`'ー--､ -一'''''''ー-､ヽ＿＿＿＿(⌒)(⌒)⌒) ) (⌒＿(⌒)⌒)⌒))
じゃあこの結果を論文に載せても意味ないお
＿＿＿_ ／:::::::::: u＼
／:::::::::⌒三. ⌒＼／:::::::::: （○）三（○）＼|::::::::::::::::⌒（__人__）⌒ | ＿＿＿＿＿＿＿_ ＼:::::::::: ｀⌒´ ,／ .| | ...| ノ::::::::::u ＼ | | .|
／::::::::::::::::: u | | | |::::::::::::: ｌ u | | | ヽ:::::::::::: -一ー_~､⌒)^),-､ | |_＿＿＿＿＿＿__.| ヽ::::::::＿＿＿,ノγ⌒ヽ)ニニ-￣ | | |
…1節まるまる消えるお…
なぜkvm-clockは遅いのか?
そもそもkvm-clockの仕組みは?
Current Time共有メモリ
Host OS
Guest OS
Write
Read
共有メモリでやりとりVMExitとかしない
ではなぜ遅いのか?
Current Time共有メモリ
Host OS
Guest OS
Write
Host がWrite 時にメモリをロックする
Read
ではなぜ遅いのか?
Current Time共有メモリ
Host OS
Guest OS
Write
Host がWrite 時にメモリをロックする
GeustからのRead がブロックされる
http://lxr.free-electrons.com/source/arch/x86/kvm/x86.c#L1558
と思ったんですが…
•全力でclock_gettime()を回してそれぞれにかかった時間のばらつきを見てみる
• kvm-clock とtscのばらつき方が似ている• ロックが原因ならkvm-clock のほうだけ極端に遅い読み出しがあるはず
• うーん…
まとめ
• Kvm-clock に時間を尋ねるのは間違っているだろうか?頻繁に尋ねるのは間違っている
•頻繁にclocksourceを読むときはtscに変えよう
•遅い原因は共有メモリのロック…だけじゃない?
