SlideShare a Scribd company logo
Ruby/Rails
Benchmarking and Profiling
with TDD
2019/09/14 Osaka Ruby Kaigi02
Yasutomo Uemori (wakaba260)
me.inspect
=> {
“HN”: "wakaba260",
“name”: "Yasutomo Uemori",
“company”: "株式会社Aiming",
“twitter”: "https://twitter.com/wakaba260yen",
“github”: "https://github.com/yuemori",
“skills”: ["rails api", "docker", "kubernetes", "GCP"]
}
突然ですが
Ruby/Railsの
プロファイルや
ベンチマーク
とったことある人?
今日の話はこんな人向けの話
- Ruby/Railsのベンチマークやプロファイリングに興味がある
- パフォーマンス改善にどう手を付けていいかわからない
 ⇛ 主に初心者向けの話
Agenda
話すこと
- Benchmark and Performance Testing
- チューニングを行ったときの取り組み
話さないこと
- Rackサーバのチューニング
- 改善をしたときの実装内容
Benchmark and
Performance Testing
はじめに大事なこと
推測するな
計測せよ
プログラミングで時間がかかっている場所を
推測してはいけない。
どうやって
計測しよう🤔
Testing
そうだ、テストを書こう
なぜTestを書くのか
我々は普段からアプリケーションに対しテストを書いている
- エラーがないこと
- バグが修正されたこと
- 仕様どおりに動くこと
こういったことを再現性高く保証するためにテストがある
 ⇛ パフォーマンスについてもテストを書きたい
Red
GreenRefactor
Standard TDD
Benchmark
ProfileRefactor
Performance TDD
Benchmark
ProfileRefactor
実行速度を計測
Benchmark
ProfileRefactor
原因箇所を特定
Benchmark
ProfileRefactor
コードを改善
Benchmark
ProfileRefactor
改善されたことを確認
Benchmark
ProfileRefactor
Measure Measure
Improve
Benchmark
ProfileRefactor
Measure Measure
Improve
計測、計測、そして改善
💎今回テストを書くのに使ったgemたち
・Testing:RSpec
・Benchmark:module Benchmark
・Profile:https://github.com/tmm1/stackprof
Benchmark
プロファイリングとあわせてベンチマークは必ずとっておこう
- 実際にどのぐらい時間がかかるか?を把握する
- プロファイリングを有効にすると、実行速度自体が下がる
- 一回だけの実行ではばらつきが出やすいのでウォームアップや実
行回数もポイント
Benchmark module
・公式のベンチマークライブラリ
・簡単な計測ならこれだけで十分
Profiling
速度計測後はプロファイリングを行い、ボトルネックを特定する
- 速度を計測したあと、どこが遅いかを推測で直さない
- 利用しているミドルウェアや外部サービスが遅いなどもある程度わ
かる
Stackprof
a sampling call-stack profiler for ruby 2.1+
・mode, interval, outを指定してサンプリング対象のコードを
 ブロックで呼び出すだけ
・CPU Clock Time: CPUの利用時間。
 Wall Clock Time: 開始から終了までの時間。Railsの場合はこれ
 参考:https://scoutapm.com/blog/profiling-rails-with-stackprof
Stackprof
Stackprof
総サンプリング回数
Stackprof
そのメソッドが呼び出しているメソッドの時間も含めた、
TOTALのサンプリング回数
Stackprof
純粋にそのメソッドの
サンプリング回数
Stackprof
処理に時間がかかっている箇所
Stackprof
呼び出している処理のため、
時間がかかっている箇所
Stackprof-webnav
Stackprof-webnav
行単位で時間がかかっている箇所を表示できる
Stackprof-webnav
一番時間がかかっている場所を特定!
Stackprof --flamegraph
・上記のようなflamegraphのhtmlを生成してくれる
・呼び出しのスタックトレースや時間などが可視化されるので便利
実践
https://github.com/yuemori/performance_test_app
demo1
demo2
最低限のテストは
出来るようになった
Problem
?
Problem
めんどくさい
Problem
めんどくさい
・手動実行に頼っている
・目視確認に頼っている
 ⇛ 一度直った問題が再発してないかを確認しにくい
 ⇛ もっと複雑なケースだとテストケースの再現性も問題
Performance Spec
Performance Spec
Performance Spec
詳細
https://github.com/yuemori/performance_test_app
余談
既にそういったgemがあることに後から気づいた
- https://github.com/piotrmurach/rspec-benchmark
- https://github.com/rails/rails-perftest
また必要になったときにはこれらを使うかどうかも検討したい
ここまでのまとめ
手早くパフォーマンス改善を行うためにはどうしたらいいか
- パフォーマンスチューニングにおいては計測が重要
- いろんなgemを使って計測を楽にする
- 計測とチューニングのサイクルを確立する
パフォーマンス
改善時のとりくみ
パフォーマンス改善時の取り組み
- 改善箇所の調査
- パフォーマンステスト
- パフォーマンス改善方法論の共有
社内テスト内容から遅いAPIの調査
- 改善箇所を検討するために遅いAPIはどこかを調査
- アクセスログからレポートを作成
- 指標
- 総リクエスト数
- 平均レスポンス速度
- 最大レスポンス速度
- 50%、90%、99%、99%...のレスポンス速度
社内テスト内容から遅いAPIの調査
・・・どこから手を付けていこう?🤔
社内テスト内容から遅いAPIの調査
社内テスト内容から遅いAPIの調査:チューニングの検討
- サービスとして遅い箇所が問題になるもの
- 例)毎回ログインに時間がかかる
- 共通処理で遅いもの
- 例)毎回呼び出される認証が遅い
- 遅い原因が他の問題を引き起こすもの
- 例)N+1問題が原因なためDBへの負荷が懸念される
呼び出し頻度は少ないが取得系なので、
かなり酷いN+1なことが予想されるので直したい
社内テスト内容から遅いAPIの調査
同じくN+1っぽいが、ほとんど呼ばれないため
優先度を下げる
社内テスト内容から遅いAPIの調査
平均速度は上位に比べると早いが、
速度劣化の仕方が激しいので原因を見ておきたい
社内テスト内容から遅いAPIの調査
気になるほど遅いわけではないが、
呼び出し回数が飛び抜けて高いのでもう少し早くしたい
社内テスト内容から遅いAPIの調査
社内テスト内容から遅いAPIの調査:計測方法
- ログから計測
- 今回はStackdriver + BigQuery + DataPortal
- 構造化ログを出しておくことで集計が容易になる
- サービスの利用
- NewRelicやDatadogなど
- productionではおすすめ
- CIやローカルで実行するのに難がある
パフォーマンステスト
- 紹介した実装をベースにテスト環境を整備
- DBのボトルネック調査にクエリレポートを追加実装
- ActiveSupport::Notificationsを使ってクエリをトレース
パフォーマンステスト:クエリレポート
- railsの提供するイベントから計測、集計
- テスト時に実行されるSQLのレポートを作成して可視化
パフォーマンス改善方法論の共有
チューニングを個人に依存しないようにしたいと考えていた
- 実際にチューニングを行ったときのことをチーム内勉強会で共有
- ドキュメントの作成
 ⇛ 方法論を共有することでチューニングをチームのものにする 💪
パフォーマンス改善方法論の共有:ドキュメントの作成
パフォーマンス改善方法論の共有:ドキュメントの作成
パフォーマンス改善方法論の共有:レビュー
- パフォーマンス改善のPRを出した時はdescriptionに結果を記載
- 改善時にチェックしたポイントをわかりやすくする
- before/afterを掲載して改善されていることを伝える
パフォーマンス改善方法論の共有:レビュー
パフォーマンス改善方法論の共有:レビュー
まとめ
- パフォーマンス改善の心得:推測するな、計測せよ
- パフォーマンスのテストコードを書いて改善を楽にしよう
- パフォーマンス改善は楽しいので是非Tryしてみてください
ご静聴
ありがとうございました

More Related Content

PDF
Redmineの情報を自分好みに見える化した話
PDF
異次元のグラフデータベースNeo4j
PDF
Project Loom - 限定継続と軽量スレッド -
PPTX
Databricksを初めて使う人に向けて.pptx
PPTX
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
PDF
Redmineをちょっと便利に! プログラミング無しで使ってみるREST API
PDF
2025年現在のNewSQL (最強DB講義 #36 発表資料)
Redmineの情報を自分好みに見える化した話
異次元のグラフデータベースNeo4j
Project Loom - 限定継続と軽量スレッド -
Databricksを初めて使う人に向けて.pptx
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
Redmineをちょっと便利に! プログラミング無しで使ってみるREST API
2025年現在のNewSQL (最強DB講義 #36 発表資料)

What's hot (20)

PDF
RDF Semantic Graph「RDF 超入門」
PPTX
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference2020 Online/Fukuoka...
PPTX
僕なりのAtlassianの管理メソッド
PDF
REST API のコツ
PPTX
【DL輪読会】Toolformer: Language Models Can Teach Themselves to Use Tools
PDF
ロボット管理プラットフォーム「 RoboticBase 」の紹介
PDF
新人研修資料 向き合うエンジニア
PDF
Scalaの新規事業でScalaの未経験者をオンボーディング
PDF
ビッグデータ処理データベースの全体像と使い分け
PDF
内製ツールを使ったチート診断・脆弱性診断
PDF
Oracle Database Enterprise Edition で解決する データベースシステムの課題 (12c対応版)
PPTX
コミュニケーション戦略を前提にしたOutlookやTeams活用
PDF
Matlantis™のニューラルネットワークポテンシャルPFPの適用範囲拡張
PPTX
モンスターストライクにおける負荷対策
PDF
webエンジニアのためのはじめてのredis
PPTX
Laravel×DevOps -インフラ構築の自動化から運用ログの監視まで-
PDF
Kubernete Meetup Tokyo #18 - Kubebuilder/controller-runtime 入門
PPTX
私はこうやってSlackを社内で流行らせました
PDF
Apache Arrow - データ処理ツールの次世代プラットフォーム
RDF Semantic Graph「RDF 超入門」
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference2020 Online/Fukuoka...
僕なりのAtlassianの管理メソッド
REST API のコツ
【DL輪読会】Toolformer: Language Models Can Teach Themselves to Use Tools
ロボット管理プラットフォーム「 RoboticBase 」の紹介
新人研修資料 向き合うエンジニア
Scalaの新規事業でScalaの未経験者をオンボーディング
ビッグデータ処理データベースの全体像と使い分け
内製ツールを使ったチート診断・脆弱性診断
Oracle Database Enterprise Edition で解決する データベースシステムの課題 (12c対応版)
コミュニケーション戦略を前提にしたOutlookやTeams活用
Matlantis™のニューラルネットワークポテンシャルPFPの適用範囲拡張
モンスターストライクにおける負荷対策
webエンジニアのためのはじめてのredis
Laravel×DevOps -インフラ構築の自動化から運用ログの監視まで-
Kubernete Meetup Tokyo #18 - Kubebuilder/controller-runtime 入門
私はこうやってSlackを社内で流行らせました
Apache Arrow - データ処理ツールの次世代プラットフォーム
Ad

Similar to Ruby/Rails Benchmarking and Profiling with TDD (20)

PDF
Active job meets kubernetes
KEY
capybara で快適なテスト生活を
PDF
PHP Application E2E with Capybara
PPTX
Ruby on Rails を用いたWEBアプリケーションの開発
PPTX
ScalaでASICやFPGA用の回路を設計するChisel
PDF
Sinatra軽量Web開発 - LOUPE Study #1
ODP
高トラフィックサイトをRailsで構築するためのTips基礎編
PPTX
Railsのフロントエンド開発を考える
PDF
逆引きクイックセミナー
PPT
20091119_sinatraを使ってみた
PDF
RESTとRailsスタイル
PDF
Rails templateで開発の初速を上げよう
PPTX
Benchmarkspec
PPTX
Benchmarkspec
PDF
Skinny Framework で始めた Scala
KEY
オブラブ冬合宿以降にやったことのふりかえり
PDF
ビッグじゃなくても使えるSpark Streaming
PPTX
アウトプットはスキルアップもするしトクもする
PDF
Next GAE Heroku を使って 3分でRailsアプリをリリース
PDF
SparkTokyo2019NovIshizaki
Active job meets kubernetes
capybara で快適なテスト生活を
PHP Application E2E with Capybara
Ruby on Rails を用いたWEBアプリケーションの開発
ScalaでASICやFPGA用の回路を設計するChisel
Sinatra軽量Web開発 - LOUPE Study #1
高トラフィックサイトをRailsで構築するためのTips基礎編
Railsのフロントエンド開発を考える
逆引きクイックセミナー
20091119_sinatraを使ってみた
RESTとRailsスタイル
Rails templateで開発の初速を上げよう
Benchmarkspec
Benchmarkspec
Skinny Framework で始めた Scala
オブラブ冬合宿以降にやったことのふりかえり
ビッグじゃなくても使えるSpark Streaming
アウトプットはスキルアップもするしトクもする
Next GAE Heroku を使って 3分でRailsアプリをリリース
SparkTokyo2019NovIshizaki
Ad

More from Yasutomo Uemori (7)

PDF
GCP・GKEで作るスケーラブルなゲーム開発環境
PDF
サービスクラス、その前に
PDF
Rails on Dockerとの戦い
PDF
Rubocopとの付き合い方
PDF
オンラインゲームのRails複数db戦略
PDF
Rails api way in aiming
PDF
ゲーム会社でのRuby : rails活用事例
GCP・GKEで作るスケーラブルなゲーム開発環境
サービスクラス、その前に
Rails on Dockerとの戦い
Rubocopとの付き合い方
オンラインゲームのRails複数db戦略
Rails api way in aiming
ゲーム会社でのRuby : rails活用事例

Ruby/Rails Benchmarking and Profiling with TDD