Hacking PostgreSQL. Разделяемая память и блокировки.
0 likes2,332 views
Документ обсуждает архитектуру и управление разделяемой памятью и блокировками в PostgreSQL, включая стратегии замещения и создание совместной памяти. Основное внимание уделяется структуре данных, обработке буферов и механизму блокировок для обеспечения целостности данных и повышения производительности. Также рассматриваются улучшения и проблемы, связанные с управлением буферами в версии 9.6 PostgreSQL.
![8
ShmemIndex
src/backend/storage/ipc/shmem.c
/* primary index hashtable for shmem */
static HTAB *ShmemIndex = NULL;
/* this is a hash bucket in the shmem index table */
typedef struct
{
char key[SHMEM_INDEX_KEYSIZE]; /* string name */
void *location; /* location in shared mem */
Size size; /* # bytes allocated for the structure */
} ShmemIndexEnt;](https://image.slidesharecdn.com/7-160422094736/85/Hacking-PostgreSQL-8-320.jpg)
Hacking PostgreSQL. Разделяемая память и блокировки.
- 1. www.postgrespro.ru РАЗДЕЛЯЕМАЯ ПАМЯТЬ И БЛОКИРОВКИ Hacking PostgreSQL 21.04.2016
- 2. 2 Содержание 1.Разделяемая память (shared memory) 2.Блокировки 3.Стратегии замещения
- 4. 4 Разделяемая память src/include/storage src/backend/storage/ipc dsm.c procsignal.c shmqueue.c sinval.c dsm_impl.c ipc.c procarray.c hm_mq.c sinvaladt.c ipci.c pmsignal.c shmem.c shm_toc.c standby.c src/backend/storage/buffer buf_init.c bufmgr.c buf_table.c freelist.c localbuf.c src/backend/storage/lmgr deadlock.c lmgr.c lock.c lwlock.c s_lock.c spin.c lwlocknames.c predicate.c proc.c src/backend/port
- 5. 5 Создание разделяемой памяти src/backend/storage/ipc/ipci.c CreateSharedMemoryAndSemaphores() PGSharedMemoryCreate() PGReserveSemaphores() CreateLWLocks(); InitShmemIndex(); InitBufferPool(); InitLocks(); CreateSharedProcArray(); ... /* * Now give loadable modules a chance to set up their shmem allocations */ if (shmem_startup_hook) shmem_startup_hook();
- 6. 6 System V, POSIX, mmap() src/include/storage/pg_shmem.h src/backend/port/sysv_shmem.c PGSharedMemoryCreate() CreateAnonymousSegment(&size); InternalIpcMemoryCreate(NextShmemSegID, sysvsize); typedef struct PGShmemHeader { int32 magic; /* magic # to identify Postgres segments */ #define PGShmemMagic 679834894 pid_t creatorPID; /* PID of creating process */ Size totalsize; /* total size of segment */ Size freeoffset; /* offset to first free space */ dsm_handle dsm_control; /* ID of dynamic shared memory control seg */ void *index; /* pointer to ShmemIndex table */ #ifndef WIN32 /* Windows doesn't have useful inode#s */ dev_t device; /* device data directory is on */ ino_t inode; /* inode number of data directory */ #endif } PGShmemHeader;
- 8. 8 ShmemIndex src/backend/storage/ipc/shmem.c /* primary index hashtable for shmem */ static HTAB *ShmemIndex = NULL; /* this is a hash bucket in the shmem index table */ typedef struct { char key[SHMEM_INDEX_KEYSIZE]; /* string name */ void *location; /* location in shared mem */ Size size; /* # bytes allocated for the structure */ } ShmemIndexEnt;
- 11. 11 pg_buffercache CREATE EXTENSION pg_buffercache; select* from pg_buffercache limit 1; bufferid | 1 relfilenode | 1262 reltablespace | 1664 reldatabase | 0 relforknumber | 0 relblocknumber | 0 isdirty | f usagecount | 5 pinning_backends | 0
- 12. 12 pg_buffercache pgbench -i -s 200 $DBNAME pgbench -S -c 8 -t 25000 $DBNAME shared_buffers | size ----------------+-------- 16384 | 128 MB database_size --------------- 2998 MB
- 13. 13 pg_buffercache SELECT c.relname, count(*) AS buffers FROM pg_class c INNER JOIN pg_buffercache b ON b.relfilenode=c.relfilenode INNER JOIN pg_database d ON (b.reldatabase=d.oid AND d.datname=current_database()) GROUP BY c.relname ORDER BY 2 DESC LIMIT 10; relname | buffers ---------------------------------+--------- pgbench_accounts | 8256 pgbench_accounts_pkey | 7995 pg_amop | 5 pg_operator_oprname_l_r_n_index | 4 pg_operator | 4 pg_index | 3 pg_amop_opr_fam_index | 3 pg_amop_fam_strat_index | 3 pg_amproc_fam_proc_index | 3 pg_opclass | 3
- 14. 14 pg_buffercache SELECT usagecount,count(*),isdirty FROM pg_buffercache GROUP BY isdirty,usagecount ORDER BY isdirty,usagecount; usagecount | count | isdirty ------------+-------+--------- 0 | 8063 | f 1 | 7819 | f 2 | 207 | f 3 | 18 | f 4 | 29 | f 5 | 245 | f 2 | 2 | t 5 | 1 | t
- 15. 15 pg_buffercache SELECT c.relname, pg_size_pretty(count(*) * 8192::bigint) as buffered, round(100.0 * count(*) / (SELECT setting FROM pg_settings WHERE name='''shared_buffers''')::integer,1) AS buffers_percent, round(100.0 * count(*) * 8192 / pg_relation_size(c.oid),1) AS percent_of_relation FROM pg_class c INNER JOIN pg_buffercache b ON b.relfilenode = c.relfilenode INNER JOIN pg_database d ON (b.reldatabase = d.oid AND d.datname = current_database()) GROUP BY c.oid,c.relname ORDER BY 3 DESC LIMIT 10; relname | buffered | buffers_percent | percent_of_relation -----------------------+------------+-----------------+--------------------- pgbench_accounts | 64 MB | 50.3 | 2.5 pgbench_accounts_pkey | 62 MB | 48.7 | 14.6
- 16. 16 pg_buffercache SELECT c.relname, count(*) AS buffers, usagecount FROM pg_class c INNER JOIN pg_buffercache b ON b.relfilenode = c.relfilenode INNER JOIN pg_database d ON (b.reldatabase = d.oid AND d.datname = current_database()) WHERE c.relname LIKE '''pgbench%''' GROUP BY c.relname,usagecount ORDER BY c.relname,usagecount; relname | buffers | usagecount -----------------------+---------+------------ pgbench_accounts | 4235 | 0 pgbench_accounts | 3980 | 1 pgbench_accounts | 28 | 2 pgbench_accounts_pkey | 3833 | 0 pgbench_accounts_pkey | 3788 | 1 pgbench_accounts_pkey | 161 | 2 pgbench_accounts_pkey | 3 | 3 pgbench_accounts_pkey | 1 | 4 pgbench_accounts_pkey | 193 | 5
- 17. 17 pg_buffercache shared_buffers | size ----------------+-------- 16384 | 128 MB relname | buffered | buffers_percent | percent_of_relation -----------------------+------------+-----------------+--------------------- pgbench_accounts | 64 MB | 50.3 | 2.5 pgbench_accounts_pkey | 62 MB | 48.7 | 14.6 shared_buffers | size ----------------+--------- 262144 | 2048 MB relname | buffered | buffers_percent | percent_of_relation -----------------------+------------+-----------------+--------------------- pgbench_accounts | 1180 MB | 57.6 | 46.1 pgbench_accounts_pkey | 418 MB | 20.4 | 97.5
- 18. 18 Блокировки
- 19. 19 Pins & Locks ● Pin – счетчик ссылок – state.refcount – PinBuffer()/ UnpinBuffer()
- 20. 20 Pins & Locks ● BufferContentLock – блокировка содержимого буфера – LWLock
- 21. 21 Блокировки ● Блокировки на уровне объектов БД (heavy-weight locks) – pg_locks, pg_stat_activity – определение дедлоков – освобождаются в конце транзакции ● LWLocks (lightweight locks) – блокировки на чтение/запись (shared/exclusive) для структур в разделяемой памяти – нет определения дедлоков – блокируют query_cancel() и die() ● Spinlocks – в основном инфраструктура для LWLocks – TAS (test-and-set) инструкции процессора – блокируют query_cancel() и die()
- 22. 22 Блокировки src/backend/storage/lmgr/README ● Блокировки на уровне объектов БД (heavy-weight locks) – src/backend/storage/lmgr/lmgr.c – src/backend/storage/lmgr/lock.c ● LWLocks (lightweight locks) – src/backend/storage/lmgr/lwlock.c ● Spinlocks – src/backend/storage/lmgr/spin.c – эмуляция через семафоры – src/backend/storage/lmgr/s_lock.c
- 23. 23 Улучшения в 9.6 ● Allow Pin/UnpinBuffer to operate in a lockfree manner – PostgreSQL на многоядерных серверах Power 8 ● Provide much better wait information in pg_stat_activity – Мониторинг ожиданий в PostgreSQL – Интерфейс ожиданий в PostgreSQL – Monitoring Wait Events in PostgreSQL 9.6. pg_wait_sampling – pg_stat_* documentation
- 24. 24 Обычная стратегия замещения src/backend/storage/buffer/freelist.c Основано на презентации “Illustrated guide to the buffer cache”, Selena Deckelmann
- 32. 32 Background writer ● bgwriter_delay (integer) ● bgwriter_lru_maxpages (integer) ● bgwriter_lru_multiplier (floating point) ● bgwriter_flush_after (int) 9.6
- 34. 34 Специальная стратегия замещения src/include/storage/bufmgr.h ● SeqScan – 256 KB – Вытесняет dirty buffers в общее кольцо ● VACUUM – 256 KB – Ожидает записи WAL на диск ● BulkWrite (COPY IN, CREATE TABLE AS SELECT) – 16 MB – Ожидает записи WAL на диск ● Возможно стоит использовать BulkWrite стратегию для UPDATE и DELETE на больших таблицах
- 35. 35 Улучшения в 9.6 ● Allow to trigger kernel writeback after a configurable number of writes. ● Checkpoint sorting and balancing. ● Extend relations multiple blocks at a time to improve scalability.
- 36. 36 Проблемы: Hash-таблица ● Hash-таблица – Большие ключи – Нельзя эффективно упорядочивать страницы – Удаление таблиц дорогое (?) Решение: Замена hash-таблицы на Tree of Radix tree.
- 37. 37 Проблемы: clock sweep ● Clock sweep – Каждый бэкенд выполняет clock sweep сам Решение: передать эту работу отдельному бэкенд процессу. ● Clock sweep – В худшем случае нужно прочитать Nbuffers*5 буферов – Часто большинство буферов имеют usagecount=5 (это и есть худший случай) ● Буферы никогда не возвращаются во freelist ● bg_writer_delay – задается фиксированно Решение: ???
- 38. 38 Проблемы ● Двойная буферизация менее эффективна Решение: использовать O_DIRECT ?
- 39. 39 Источники ● Monitoring PostgreSQL Buffer Cache Internals. 2010 ● Illustrated buffer cache. 2010 ● Setting up shared memory for PostgreSQL. 2013 ● Inside PostgreSQL Shared Memory. 2015 ● CheckPoint Internals of PostgreSQL and Oracle. 2013 ● Improving Postgres' Buffer Manager. 2016
- 40. www.postgrespro.ru СПАСИБО ЗА ВНИМАНИЕ! ВОПРОСЫ? Hacking PostgreSQL 21.04.2016 [email protected]