bpftraceを使ってバイナリの謎の性能劣化を突き止めろ - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズ社内ではC++で開発している製品があります。 未知のバッファオーバーランなどの脆弱性への対策として、重要なコンポーネントについてはプロダクション環境で利用しているバイナリでも AddressSanitizer を有効にしてビルドしています。 その製品で利用しているコンパイラをgcc5.3.0からgcc7.5.0に更新したところ性能劣化が発生しました。 製品コードとは別の部分が原因のため、根本原因の追跡が難しそうです。perf,bpftraceを使って性能劣化を追いかけてみましょう。 本記事で利用しているAddressSanitizer, bpftrace, perfコマンドはネット上に良質な記事がありますので、使い方などの解説は今回は省略させていただきます。 gcc7.5.0において、性能劣化が発生する再現コードとして次のようなものを用意しました。 #include <strin
perfを用いたシステムのボトルネック解析方法
背景システムの処理速度を改善するために、ボトルネック解析を行う必要があった。 ボトルネック解析の方法と、プロファイリングに使用したperfの使用方法に関して調査を行った。 記事の目的perfを使用し、ボトルネック解析を行う ここでは、perfの導入方法及び使用方法について記載する。 perfとはperf(Performance analysis tools for Linux)とはLinuxカーネル2.6.31以降で使用可能なLinuxの性能解析ツールである。 実行されているプロセス毎のCPU使用率やプロセス内で呼ばれている関数の割合などを調査できる。 利点gprofのように、プログラム作成時に専用のライブラリを入れたり、コンパイル時にオプションをつける必要がない フレームグラフにして、ビジュアライズできる 導入方法(Ubuntu編)Ubuntu16.04へperfを導入する手順について記
bpftraceで2048作ってみた - バニキPの気ままに
はじめに 去年のアドベントカレンダーでeBPFについていろいろ調べた． その時に，ネコの人に「SystemTapで昔ゲームを作ったことがあるから，BPFでも作れるはずだから作ってみたら」と． ちょうどLT会のネタに困っていたこともあり，作るかとなったので，bpftraceで動作する2048を作りました．(SystenTapで動作する2048もあります) 動作環境 bpftraceの環境構築は公式に書いてあるinstallの手順に従って導入してください． Linux5.3以上である事が必須となっています． Linux5.2以前では，命令数制限でverifierでカーネルにロードされずエラーとなってしまいます． また，プログラム内でwhileを使用しており，whileもLinux5.3以上でないとサポートされてないため(確かこのバージョンで入ったはず...)動作しません． このあたりの環境構築
perf, ftraceのしくみ - 睡分不足
Linuxのトレーサーであるperfやftraceのツールの使い方に関する情報は結構ありますが，構造に関してはあまり見つけられなかったため，ここに簡単に調べたことをまとめようかと思います．（ツールの使い方の説明はあんまりしないです．） この文章はLinux 4.15のソースに基づいています． 全体像 ftrace function trace tracepoint (static event) kprobe (dynamic event) その他のtracer trace-cmd perf PERF_TYPE_HARDWARE, HW_CACHE, RAW PERF_TYPE_SOFTWARE PERF_TYPE_TRACEPOINT PERF_TYPE_BREAKPOINT USDT (SDT Event) perf-tools perf ftrace straceとの比較 その他 pe
Linuxのperfプロファイラ向けGUI「hotspot 1.0」が公開 | OSDN Magazine
ドイツKDABは7月6日、Linuxのperfプロファイラ向けGUI「hotspot 1.0」のリリースを発表した。GUIによる操作でパフォーマンス分析を行えるツールで、現時点では一部のperf reportのドロップインリプレースとして利用できるとしている。 hotspotはパフォーマンスデータ向けにQtベースでスタンダロンのGUIを構築するオープンソースプロジェクト。Qt、C++などを得意とするソフトウェア開発会社KDABの研究開発プロジェクトとして進んでいる。将来的にはさまざまなパフォーマンス関連データフォーマットをサポートする予定で、容易に使えるプロファイラデータの分析機能の提供を目指す。 hotspotはperf.dataファイルを取り出してパーシングし、中身を評価して結果をグラフィカルに表示する。「perf report」コマンドを置き換るものとして利用でき、メリットとしてイン
perf + Flame Graphs で Linux カーネル内のボトルネックを特定する - ablog
Linuxでddで1GBのファイルを作成し perf でプロファイリングし、Flame Graph (炎のグラフ？)にして可視化したものです。 Flame Graphs は perf(Linux)、SystemTap(Linux)、DTrace(Solaris、Oracle Linux(UEK)、Mac OS X、FreeBSD)、XPerf.exe(Windows) などでのプロファイリング結果を可視化して最も使われているコードパスを早く正確に特定することができます。実体はプロファイリング結果をグラフ(SVG)に変換する Perl スクリプトです。 下から上に行くほどコールスタックが深く、左から関数名のアルファベット順でソートされています。一番上で横幅が広い関数がCPUを長く使っています。今回は "_aesni_enc1" つまり暗号化がボトルネックになっていることがわかります。 システ
計算機での性能測定実験と集計の手法について、あるいはただの愚痴 - は
計算機を使った性能測定実験プログラムを実行して、集計するという処理をどこまでパターン化出来るかというのを、この数年、たまに考えている。が、なかなかこれだ、という答えにたどり着けるわけでもなく悶々としている。 このエントリは、その悶々とした気持ちをただ吐き出すためのものである。 この春でいまの研究室にきてから丸々6年になるので、この6数年ずっとデータベース研究をしていて、実験の作業として結局やっているのは、色んなプログラムの実行性能を測っては分析するということの繰り返しになる。 基本的には特定のプログラムを色々条件を変えながら何度も実行して、その結果をまとめることになる。大抵1回の実行時間は短くても数分、長い時には数時間で、それを何度もパラメタを変えて繰り返すので、結構長時間の実験になる。 当然パラメタを変えながらプログラムを繰り返し実行する部分は自動化することになる。 そのときに、自動化を
Linux Profiling at Netflix
This talk discusses Linux profiling using perf_events (also called "perf") based on Netflix's use of it. It covers how to use perf to get CPU profiling working and overcome common issues. The speaker will give a tour of perf_events features and show how Netflix uses it to analyze performance across their massive Amazon EC2 Linux cloud. They rely on tools like perf for customer satisfaction, cost o
Linux perf Examples
Recent posts: 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » TensorFlow Library Performance 19 Mar 2022 » Why Don't You Use ... 26 Sep 2021 » The Speed of Time 06 Sep 2021 »
iosnoop For Linux
Recent posts: 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » TensorFlow Library Performance 19 Mar 2022 » Why Don't You Use ... 26 Sep 2021 » The Speed of Time 06 Sep 2021 »
sysのCPU使用率が高い場合にその内訳を調べる方法 - ablog
OSレベルで sys のCPU使用率が高い場合に perf*1 を使って、何の処理の割合が高いか調べる方法です。 perf は 特定のプロセスだけでなくOS全体の統計を見れる カーネル（sys）とユーザー（user）の両方を見れる ところが非常に便利だと思う*2。 準備 ひたすら write システムコールを発行し続けるプログラムを作成する $ cat write_loop.c #include <unistd.h> int main(void) { while(1) { write(1, "foo\n", 4); } } コンパイルする $ gcc write_loop.c -o write_loop 実行権限を付与する $ chmod u+x write_loop 検証 ひたすらwriteシステムコールを発行するプログラムを実行する $ ./write_loop > /dev/null
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
perf でアプリケーションのプロファイリング : sonots:blog
brendangregg/perf-tools · GitHub - Performance analysis tools based on Linux perf_events (aka perf) and ftrace