My talk on administering PostgreSQL
7 likes2,165 views
Документ представляет собой лекцию Александра Чистякова о практическом опыте эксплуатации PostgreSQL, включая важные темы такие как репликация, резервное копирование и мониторинг. Обсуждаются аспекты настройки, обновления и проблемы, с которыми сталкиваются инженеры в процессе работы с базами данных. Также в лекции используется метафора о слонах, что добавляет легкий элемент юмора к серьезной теме.
My talk on administering PostgreSQL
- 1. PostgreSQL глазами инженера по эксплуатации Смерть эксплуататорам и программистам! Александр Чистяков, главный инженер Git in Sky, 2015
- 2. Мы § A small consulting company § Web operations engineers § Performance engineers § Elephant lovers § Знаем английский :) Как пасти слонов. 2015
- 3. Вы § Инженеры по эксплуатации? § Веб(?)-разработчики? § Любите слонов § Может быть, пони вы тоже любите? Как пасти слонов. 2015
- 4. Повестка дня § Что такое “хорошо” и что такое “плохо” § Случаи из жизни § Раздача слонов и материализация views § Границы применимости, законы физики и другое занудство § PostgreSQL vs. MySQL, PostgreSQL vs. MongoDB, ... Как пасти слонов. 2015
- 5. Что мы эксплуатируем § В основном — PostgreSQL 9.3.X § В недавнем прошлом — 9.1.X и 9.2.X § Уже начали использовать 9.4 Как пасти слонов. 2015
- 6. Составляющие процесса эксплуатации § Sizing & capacity planning § Установка и настройка § Репликация § Бэкап § Мониторинг § Соблюдение законов физики § Обновление схемы БД и версий Как пасти слонов. 2015
- 7. Sizing & capacity planning § PostgreSQL — современная база данных § Очень производительная! § Поэтому sizing и capacity planning мы делать не будем § И обсуждать тоже не будем § Зачем время тратить? Как пасти слонов. 2015
- 8. Установка и настройка § Как правило — ничего удивительного § Однажды мы запустили PostgreSQL в Docker § Было не очень удобно, .... § Однажды мы запустили PostgreSQL в Amazon § Но про capacity planning мы решили молчать Как пасти слонов. 2015
- 9. Репликация § Бывает: § «Встроенная» асинхронная § «Встроенная» синхронная § «Внешняя» триггерная § Не бывает: § Мастер-мастер (хотя именно ее все и просят) § Пока не пробовали: logical decoding Как пасти слонов. 2015
- 10. Встроенная репликация § Работает вот уже примерно два года § Настраивается в < 10 простых шагов § Ничего удивительного § Лучше настраивать сразу, пока база еще маленькая § Если база большая — возьмите WALs с бэкапа Как пасти слонов. 2015
- 11. Внешняя триггерная репликация § Не нужна* Как пасти слонов. 2015
- 12. Бэкап § Многих славный путь: § pgdump => § barman => § отрицание, гнев, торг, депрессия, смирение § Космодемьянский на мой доклад не пришел, поэтому ZFS! Как пасти слонов. 2015
- 13. barman § Как часто делать базовый бэкап — time/space trade-off § Ориентируйтесь на размер WALs и скорость восстановления § Немного нарушает принцип наименьшего удивления - хранит WALs в сжатом виде без расширения .gz § Даже будучи установлен локально, хочет забирать WAL'ы по ssh Как пасти слонов. 2015
- 14. Обновление схемы БД § ALTER TABLE ADD COLUMN .... DEFAULT Как пасти слонов. 2015
- 15. Обновление версий § Задача, отсутствующая в мире MySQL § В мире PostgreSQL до версии 9.4 — триггерная репликация § Bucardo Как пасти слонов. 2015
- 16. Bucardo § Устанавливается почти не вызывая удивления § В каком каталоге .pgpass? § Работает почти не вызывая удивления § https://gist.github.com/alexclear/a11deed1be3b1d045187 § Если в бизнес-логике используется TRUNCATE — беда Как пасти слонов. 2015
- 17. Bucardo § 9.3 — 9.4, 2.0 Tb — 1.7 Tb Как пасти слонов. 2015
- 18. Мониторинг § В PostgreSQL масса всяких параметров, ни один из которых мне не интересен Как пасти слонов. 2015
- 19. Мониторинг § Индексы должны помещаться в память!* Как пасти слонов. 2015
- 20. Мониторинг § pg_stat_statements § POWA § Надстройка над pg_stat_statements, которая умеет хранить историю § shared_preload_libraries = 'powa,pg_stat_statements' § При апгрейде базы не забыть пересобрать § Не работает* Как пасти слонов. 2015
- 21. Sizing & capacity planning § Для богатых: § ISBN-10: 1849516960 (вся первая часть книги) § Для бедных: § а) взять железо, какое было в магазине § б) задать целевое значение метрики § в) протестировать под нагрузкой § г) плакать, проклинать себя, жизнь и индустрию Как пасти слонов. 2015
- 22. А что делать, если слон устал? § У одной моей подруги с ее парнем § Исходно было нужно 3K RPS на вставку § Требования возросли до 30K RPS за две недели до старта § К счастью, есть немного времени подумать § и поработать § Здесь есть кто-то с 30K вставок в секунду в PostgreSQL? Как пасти слонов. 2015
- 23. Слайд памяти Курта Кобейна § Дорогая, я затюнил bgwriter Как пасти слонов. 2015
- 24. Объективация женщины это плохо! Как пасти слонов. 2015
- 25. Слон слону — слон! § Что такое “база данных” и зачем она нужна? § (К слову, зачем нужна MongoDB, я так и не понял) § Size does matter — smaller is better! § Индексы в PostgreSQL, все остальное — где-нибудь еще Как пасти слонов. 2015
- 26. Выводы § Слон — отличное домашнее животное § Слоны требуют ухода § Не обижайте слонов! Как пасти слонов. 2015
- 27. С вами был Александр Чистяков, главный инженер Git in Sky [email protected] http://gitinsky.com http://meetup.com/DevOps-40 Пожалуйста, ваши вопросы. Спасибо за внимание!