![10
2-1.log_statement_sample_rate
● もっと試行回数を増やしたい
大量のクエリ実行の SQL ファイルを生成するバッチを作成
rm -rf sample.sql
for i in {1..1000}; do
echo "SELECT ${i}, pg_sleep(1) AS test;" >> sample.sql
done
log_statement_sample_rate = 0.5 の場合
「 test 」を含む行数をカウントする。
→509 行 (= 約半分 ) 取得されている。
$ grep -ic "test" postgresql-2019-12-06_200041.log
509
[sample.sal]
SELECT 1, pg_sleep(1) AS test;
SELECT 2, pg_sleep(1) AS test;
…
SELECT 1000, pg_sleep(1) AS test;](https://image.slidesharecdn.com/postgresqlunconference201912-191206134921/85/PostgreSQL13-10-320.jpg)
PostgreSQL13を検証してみた
- 2. 2 自己紹介 ● 竹内 尚也 DB(Oracle, PostgreSQL) に特化したお仕事を最近までし ていました。今は主に PHP と MySQL で会計関連の Web システムを作るバイトをしています。 python と PHP 要員 として来ました。 前職で DB の経験あるよね？ はい。 Oracle と PostgreSQL なら じゃあ MySQL やって え？
- 3. 3 アジェンダ 1.はじめに 2.ポスグレ 13 の新機能を検証 1.log_statement_sample_rate 2.pgbench でパーティション 3.SQL をコピペしやすくなった 3.終わりに
- 4. 4 1. はじめに ● 今は MySQL をやってるので PostgreSQL の最新情報 をしらない !! ・今の自分の知識だともう古いかもしれない…。 ・ MySQL との比較的なので発表できないかネタ探し。 ・気がついたら MySQL オンリー資料になってた。 ・今更新しい検証をする時間がない。 13 のお手軽な新機能検証なら すぐにできて、ネタ的にもよくね !?
- 5. 5 2. ポスグレ 13 の新機能を検証 ● とりあえず気になったのを触れてみた。 まだ β 版もないので、 Git からソースをビルドしました。 今回検証したのは次の 3 つです。 ● log_statement_sample_rate ● pgbench でパーティション ● SQL をコピペしやすくなった
- 6. 6 2-1.log_statement_sample_rate ● スロークエリのログ出力を抑制 今までは… スロークエリが多すぎると、ログ肥大化 & 可読性の低下に繋がる。 13 からは… このパラメータでスロークエリの出力量を抑制できる！ ※ 実は 12beta 版でも実装され、正式版で廃止されたのが 13 で蘇った。
- 7. 7 2-1.log_statement_sample_rate ● 関連するパラメータ log_min_duration_statement 昔からあるパラメータ。指定した時間以上かかった SQL を記録する。 log_min_duration_sample 追加されたパラメータ。指定した時間以上かかった SQL を記録する。 出力量は「 log_statement_sample_rate 」によって抑制される。 「 log_min_duration_statement 」より優先度は低い。 log_statement_sample_rate 追加されたパラメータ。 「 log_statement_sample_rate 」の出力ログ量を割合で抑制する。 1.0 は全てを記録、 0 の場合何も記録しない。 log_min_duration_statement より 高い値にした場合、無視される。
- 8. 8 2-1.log_statement_sample_rate ● 検証 ～意図的にスロークエリを実行～ パラメータの設定 ・ log_min_duration_statement = -1 ( 無効化 ) ・ log_min_duration_sample = 500ms ・ log_statement_sample_rate = < 色々変えて試す > 実行する SQL SELECT pg_sleep(1) AS label01; SELECT pg_sleep(1) AS label02; SELECT pg_sleep(1) AS label03; SELECT pg_sleep(1) AS label04; SELECT pg_sleep(1) AS label05; SELECT pg_sleep(1) AS label06; SELECT pg_sleep(1) AS label07; SELECT pg_sleep(1) AS label08; SELECT pg_sleep(1) AS label09; SELECT pg_sleep(1) AS label10; ラベルを付けて 10 個のうち どの SQL が記録されたか確認する。
- 9. 9 2-1.log_statement_sample_rate ● 検証 ～意図的にスロークエリを実行～ log_statement_sample_rate = 1.0 の場合 全てのクエリが記録される。 LOG: duration: 1001.968 ms statement: SELECT pg_sleep(1) AS label01; LOG: duration: 1001.845 ms statement: SELECT pg_sleep(1) AS label02; … LOG: duration: 1001.822 ms statement: SELECT pg_sleep(1) AS label09; LOG: duration: 1002.205 ms statement: SELECT pg_sleep(1) AS label10; log_statement_sample_rate = 0.5 の場合 試行回数が少ないせいか、 7 割ほどログが記録される。順番も不規則。 LOG: duration: 1001.541 ms statement: SELECT pg_sleep(1) AS label02; LOG: duration: 1002.212 ms statement: SELECT pg_sleep(1) AS label03; LOG: duration: 1001.598 ms statement: SELECT pg_sleep(1) AS label04; LOG: duration: 1001.119 ms statement: SELECT pg_sleep(1) AS label05; LOG: duration: 1001.363 ms statement: SELECT pg_sleep(1) AS label06; LOG: duration: 1002.117 ms statement: SELECT pg_sleep(1) AS label08; LOG: duration: 1001.350 ms statement: SELECT pg_sleep(1) AS label10;
- 10. 10 2-1.log_statement_sample_rate ● もっと試行回数を増やしたい 大量のクエリ実行の SQL ファイルを生成するバッチを作成 rm -rf sample.sql for i in {1..1000}; do echo "SELECT ${i}, pg_sleep(1) AS test;" >> sample.sql done log_statement_sample_rate = 0.5 の場合 「 test 」を含む行数をカウントする。 →509 行 (= 約半分 ) 取得されている。 $ grep -ic "test" postgresql-2019-12-06_200041.log 509 [sample.sal] SELECT 1, pg_sleep(1) AS test; SELECT 2, pg_sleep(1) AS test; … SELECT 1000, pg_sleep(1) AS test;
- 11. 11 2-1.log_statement_sample_rate ● 別接続の場合どうなるか 大量の psql 接続 + スロークエリを実行するバッチを作成 for i in {1..1000}; do psql -c "SELECT ${i}, pg_sleep(1) AS test2;" done log_statement_sample_rate = 0.5 の場合 「 test 」を含む行数をカウントする。 →512 行 (= 約半分 ) 取得されている。 $ grep -ic "test" postgresql-2019-12-06_202546.log 512 ＝全接続の SQL から指定された割合のログになるよう抑制している。 1 クエリ毎に psql 接続している。
- 12. 12 2-2.pg_bench でパーティション ● pg_bench でパーティションテーブルが作れる --partitions=<NUM> pgbench_accounts テーブルに生成するパーティション数を指定する。 デフォルトは 0 で、パーティションは生成されない。 --partition-method=<NAME> 使用するパーティションの手法を指定する。 現在は「 range 」と「 hash 」が選べる。
- 13. 13 2-2.pg_bench でパーティション ● さっそく作ってみた 100 万行の pgbench_accounts を 10 パーティションで区切る $ pgbench -i -s 10 --partitions=10 --partition-method=range スケールは「 -s 10 」なので 10 * 10 万行の 100 万行になるよ
- 14. 14 2-2.pg_bench でパーティション ● 結果を見てみると =# d+ pgbench_accounts Partitioned table "public.pgbench_accounts" Column | Type | Collation | Nullable | Default | Storage | Stats target | Description ----------+---------------+-----------+----------+---------+----------+--------------+------------- aid | integer | | not null | | plain | | bid | integer | | | | plain | | abalance | integer | | | | plain | | filler | character(84) | | | | extended | | Partition key: RANGE (aid) Indexes: "pgbench_accounts_pkey" PRIMARY KEY, btree (aid) Partitions: pgbench_accounts_1 FOR VALUES FROM (MINVALUE) TO (100001), pgbench_accounts_10 FOR VALUES FROM (900001) TO (MAXVALUE), pgbench_accounts_2 FOR VALUES FROM (100001) TO (200001), pgbench_accounts_3 FOR VALUES FROM (200001) TO (300001), pgbench_accounts_4 FOR VALUES FROM (300001) TO (400001), pgbench_accounts_5 FOR VALUES FROM (400001) TO (500001), pgbench_accounts_6 FOR VALUES FROM (500001) TO (600001), pgbench_accounts_7 FOR VALUES FROM (600001) TO (700001), pgbench_accounts_8 FOR VALUES FROM (700001) TO (800001), pgbench_accounts_9 FOR VALUES FROM (800001) TO (900001) レンジパーティションとして 10 個に分割されている。
- 15. 15 2-3.SQL をコピペしやすくなった ● 複数行の SQL はコピペしてもそのまま使いにくい postgres=# SELECT postgres-# '2019-12-01'::date + g postgres-# FROM postgres-# generate_series(0, 3) AS g; ?column? ------------ 2019-12-01 2019-12-02 2019-12-03 2019-12-04 (4 rows) 2019/12/1 から 3 日後までの 4 日間を表示する SQL そのままコピペして使えない。この辺りを削除しなければいけない。
- 16. 16 2-3.SQL をコピペしやすくなった ● 13 の新機能「 SET PROMPT2 」を使うと postgres=# set PROMPT2 '' postgres=# SELECT '2019-12-01'::date + g FROM generate_series(0, 3) AS g; 2 行目以降を空白など好きな文字列にできる。 ※ コピペしやすくなった 空白以外も指定可能 postgres=# set PROMPT2 '> ' postgres=# SELECT > '2019-12-01'::date + g > FROM > generate_series(0, 3) AS g;
- 17. 17 3. 終わりに ● 12 もいいけど 13 も面白そうな情報が色々出てるよ。 ● ログ出力の抑制は、使い所に注意が必要そう。 log_min_duration_statement と組み合わせるといい 感じにいけるか？ ● pgbench で簡単にパーティションテーブルが生成でき るので、パーティションの検証がしやすくなりそう。 ● コピペがしやすくなったのはブログとかで記事を投稿し ている身としては大変ありがたい。