オンライン物理バックアップの排他モードと非排他モードについて～PostgreSQLバージョン15対応版～（第34回PostgreSQLアンカンファレンス@オンライン発表資料）

© 2022 NTT DATA Corporation 1
第34回 PostgreSQLアンカンファレンス@オンライン
オンライン物理バックアップの排他モードと非排他モードについて
～PostgreSQLバージョン15対応版～
2022年7月29日
株式会社NTTデータ藤井雅雄

自己紹介
藤井雅雄
Database Technical Lead @ NTTデータ
データベース研究開発
PostgreSQL 技術支援
PostgreSQLコミッタ
レプリケーション
WAL圧縮
バックアップ進捗確認
pg_bigm(全文検索モジュール) コミッタ
fujii_masao
MasaoFujii

本講演について
講演資料は、後日、NTTデータのSlideShareアカウント上で公開予定です。
https://www.slideshare.net/nttdata-tech
今日紹介するPostgreSQL15に関する内容は、
正式リリースまでの間に変更となる可能性があることにご注意ください！！

オンライン物理バックアップの
排他モードと非排他モードについて

PostgreSQLで利用できるバックアップ手法
バックアップ
論理バックアップ
(SQLダンプ)
pg_dump /
pg_dumpall
物理バックアップ
オフラインバックアップ
(コールドバックアップ)
独自スクリプト(pg_ctl
stop + rsyncなど)
オンラインバックアップ
(ホットバックアップ)
pg_basebackup
外部ツール(pg_rman、
Barmanなど)
独自スクリプト
(pg_start_backup +
pg_stop_backup)
排他モード
非排他モード

PostgreSQLで利用できるバックアップ手法
バックアップ
論理バックアップ
(SQLダンプ)
pg_dump /
pg_dumpall
物理バックアップ
オフラインバックアップ
(コールドバックアップ)
独自スクリプト(pg_ctl
stop + rsyncなど)
オンラインバックアップ
(ホットバックアップ)
pg_basebackup
外部ツール(pg_rman、
Barmanなど)
独自スクリプト
(pg_start_backup +
pg_stop_backup)
排他モード
非排他モード
今日取り上げるバックアップ手法

ご存じでしょうか？
PostgreSQL14以前のドキュメント
非排他的な手法が推奨され、
排他的な手法は推奨されず、将来的に削除されます。
https://www.postgresql.jp/document/13/html/continuous-archiving.html#BACKUP-LOWLEVEL-BASE-BACKUP

ご存じでしょうか？
PostgreSQL15リリースノート
Remove long-deprecated exclusive backup mode
Functions pg_start_backup()/pg_stop_backup() have been
renamed to pg_backup_start()/pg_backup_stop()
https://www.postgresql.org/docs/release/15.0/

排他モード (v14以前)
① バックアップモードの開始
$ psql -c "SELECT pg_start_backup('mybackup')"
② DBクラスタのバックアップ
OSコマンドやスナップショットなどを使って、DBクラスタと全テーブルスペースを物理的にバックアップ
$ cp -a $PGDATA /tblspc1 /tblspc2 /backup
③ バックアップモードの終了
$ psql -c "SELECT pg_stop_backup()"

非排他モード (v14以前)
① バックアップモードの開始
$ psql
=# SELECT pg_start_backup('mybackup', false, false);
② DBクラスタのバックアップ
OSコマンドやスナップショットなどを使って、DBクラスタと全テーブルスペースを物理的にバックアップ
$ cp -a $PGDATA /tblspc1 /tblspc2 /backup
③ バックアップモードの終了
=# SELECT pg_stop_backup(false);
④ backup_labelとtablespace_mapのバックアップ
pg_stop_backup()の戻り値の内容から
backup_labelとtablespace_mapの2つのファイルを作成して、バックアップに含める
・第3引数にfalseを指定
・pg_start_backupを実行したセッションを
pg_stop_backupまで維持
・第1引数にfalseを指定
・pg_start_backupを実行したセッションで
pg_stop_backupを実行

非排他モード (v14以前)
=# SELECT * FROM pg_stop_backup(false);
lsn | labelfile | spcmapfile
-----------+---------------------------------------------------------------+-------------------------------
0/3000138 | START WAL LOCATION: 0/3000028 (file 000000010000000000000003)+| 16386 /dav/head-pgsql/tblspc2+
| CHECKPOINT LOCATION: 0/3000060 +| 16385 /dav/head-pgsql/tblspc1+
| BACKUP METHOD: streamed +|
| BACKUP FROM: master +|
| START TIME: 2022-07-06 23:55:11 JST +|
| LABEL: mybackup +|
| START TIMELINE: 1 +|
| |
(1 row)
④-2 backup_labelとtablespace_mapをバックアップに格納
$ mv backup_label tablespace_map /backup
④-1 pg_stop_backup()の戻り値からbackup_labelとtablespace_mapのファイルを作成
backup_label tablespace_map

排他モードと非排他モードの比較
排他モード非排他モード
利用可能なバージョン v8.0以降 (v15でPostgreSQL本体から削除) v9.6以降
バックアップの
同時実行可能数
1 複数
スタンバイからの
バックアップ
不可可能
pg_start_backupと
pg_stop_backupを
実行するセッション
同じまたは異なるセッション
 バックアップ中のセッション断による影響はない
 pg_stop_backupを忘れるとバックアップ
モードは終了しない(次回のバックアップ取得が
失敗する)
同じセッション
 セッション断によりバックアップが失敗する
(pg_start_backupからやり直し)
 セッションが切れればバックアップモードは終了
する
backup_labelと
tablespace_mapの
作成
pg_start_backupがDBクラスタ内に作成
 DBクラスタをバックアップすれば、各ファイルは
自動的にバックアップに含まれる
 バックアップ中にPostgreSQLがクラッシュする
と、クラッシュリカバリが失敗する可能性がある
(backup_labelがDBクラスタ内にある状態
でクラッシュリカバリが始まるため)
pg_stop_backupからユーザが作成
 ユーザが各ファイルをバックアップに含める必
要がある
 左記のリカバリ失敗の可能性はない(DBクラ
スタ内にbackup_labelは存在しないため)

排他モードでバックアップ中にクラッシュした場合のリカバリ失敗について
pg_start_backup
CHECKPOINT
1
2
3
4
5
? WALファイル
凡例
クラッシュ
CHECKPOINT
pg_stop_backup
各操作とWAL生成の流れ
クラッシュリカバリでは
最新CHECKPOINT
以降のWALを適用
backup_labelがある状態で
クラッシュリカバリが始まると、
pg_start_backup以降の
WALを適用
• backup_labelが
pg_start_backup以降
のWAL適用を指示
 ②～④のWALが削除済だと
リカバリ失敗
 未削除の場合もリカバリ時間
が長くなる

PostgreSQL15での変更点
排他モードは削除、排他モード用の関数も削除
非排他モードも関数名や引数指定が変更
モード操作 v14以前 v15以降
排他
モード
バックアップの開始 pg_start_backup()
利用不可
バックアップの終了 pg_stop_backup()
バックアップを実行中かの確認 pg_is_in_backup()
バックアップ開始時刻の取得 pg_backup_start_time()
非排他
モード
バックアップの開始
pg_start_backup()
で第3引数をfalseに指定
pg_backup_start()
バックアップの終了
pg_stop_backup()
で第1引数をfalseに指定
pg_backup_stop()
https://www.postgresql.org/docs/release/15.0/

排他モード利用者のPostgreSQL15以降での選択肢
1. pg_basebackupまたは外部ツールに移行できるのであれば移行する
2. 独自スクリプトを改修して、非排他モードに移行する
3. PostgreSQL15以降でも排他モードをサポートするエクステンションを利用する

排他モードから非排他モード(v15以降)への移行例
$ psql -c "SELECT pg_start_backup('test')"
$ cp -a /pgdata/data /backup
$ psql -c "SELECT pg_stop_backup()"
$ psql -f backup.sql
SELECT * FROM pg_backup_start('test', false);
! cp -a /pgdata/data /backup
SELECT * FROM pg_backup_stop() gset
pset tuples_only on
pset format unaligned
o /backup/data/backup_label
SELECT :'labelfile';
o /backup/data/tablespace_map
SELECT :'spcmapfile';
排
他
モ
ー
ド
非
排
他
モ
ー
ド
(
以
降
)
v15
• 同一セッション内でpg_backup_start()と
pg_backup_stop()を簡単に実行できるよ
うに、バックアップのすべての操作をpsql内で
実行する
• OSコマンドはpsqlメタコマンドの!を介して実
行
• pg_backup_stop()の結果をpsqlメタコ
マンドのgsetで保存して、その内容をo経
由で書き出すことでbackup_labelと
tablespace_mapのファイルを作成する。余
計な内容まで書き出さないようにpsetで設
定する。

PostgreSQL15以降でも排他モードをサポートするエクステンション
pg_exclusive_backup
https://github.com/MasaoFujii/pg_exclusive_backup
モード操作 v14以前、 v15以降+pg_exclusive_backup
排他
モード
バックアップの開始 pg_start_backup()
バックアップの終了 pg_stop_backup()
バックアップを実行中かの確認 pg_is_in_backup()
バックアップ開始時刻の取得 pg_backup_start_time()
PostgreSQL15以降で排他モードでバックアップするための関数を提供

まとめ
オンライン物理バックアップには排他モードと非排他モードがある。
PostgreSQL15で排他モードは削除され、
非排他モードも関数名などが変更される。
排他モードの利用者は、
PostgreSQL15以降で物理バックアップの方式を見直す必要がある。

オンライン物理バックアップの排他モードと非排他モードについて～PostgreSQLバージョン15対応版～（第34回PostgreSQLアンカンファレンス@オンライン発表資料）

Recommended

More Related Content

What's hot (20)

Similar to オンライン物理バックアップの排他モードと非排他モードについて～PostgreSQLバージョン15対応版～（第34回PostgreSQLアンカンファレンス@オンライン発表資料） (20)

More from NTT DATA Technology & Innovation (20)