PostgreSQL / Performance monitoring
- 1. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Monitoring výkonu PostgreSQL Tomáš Vondra <[email protected]> http://www.fuzzy.cz
- 2. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010
- 3. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 A jedééééém ....
- 4. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Můj SQL dotaz běží strašně pomalu! Chci vědět proč a chci aby běžel rychle! Use the „EXPLAIN ANALYZE“ force, Luke!
- 5. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Server z nějakého důvodu běží pomalu! Nemám tušení proč ale chci aby běžel rychle! Meditate on this, I will.
- 6. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Cíle přednášky Ukázat jednu z možností sledování výkonu DB serveru. Představit některé použitelné nástroje. Přihřát si vlastní polívčičku ;-)
- 7. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Cíle monitorování výkonu Předvídat potenciální výkonnostní problémy tak aby se na ně dalo včas zareagovat. Pomáhat při řešení problémů.
- 8. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Úrovně monitoringu výkonu operační systém (top, dstat, iostat, …) pouze konstatuje že se něco děje nedává odpovědi na naše otázky :-( „vnitřnosti“ DB (systémové tabulky) potenciálně může dát odpovědi na naše otázky pg_stat_* / pg_statio_*
- 9. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Snapshoty bez historických dat jsme ztraceni snapshot = uložená data + informace o čase analýza je založena na rozdílech snapshotů nutné jsou informace z „dobrých časů“
- 10. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Oracle Statspack
- 11. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 sada SQL a PL/SQL skriptů udělej snapshot dat z V$ pohledů (ulož do tabulky) data o sessions, dotazech, wait eventech ukládá do tradičních tabulek analýza a zobrazení dat ze snapshotů generování reportů nadstavby (AWR, Diagnostics Pack v EMC)
- 12. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010
- 13. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Není to žádná zbrusu nová, převratná nebo neodzkoušená technologie ...
- 14. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Zdroje zajímavých dat v PostgreSQL
- 15. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Interní systémové katalogy pg_stat_* (db, bg_writer, tables, indexes, functions) způsoby čtení (sequential vs. index scans) řádky (inserted / updated / deleted / dead) vacuum / analyze funkce (calls / total time / self time) pg_statio_* (tables, indexes, sequences) heap / index blocks read cache hits
- 16. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Contrib balíčky pg_buffercache pg_freespacemap pgstattuple pg_stat_statements
- 17. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Snapshoty „by hand“ CREATE TABLE pg_stat_tables_snapshot AS SELECT 'a'::text AS snap_name, now() AS snap_timestamp, * FROM pg_stat_all_tables WHERE (1 = 2) INSERT INTO pg_stat_tables_snapshot SELECT 'snap-a', now(), * FROM pg_stat_all_tables SELECT (b.seq_scan – a.seq_scan) AS seq_scan_delta, … FROM pg_stat_tables_snapshot AS a LEFT JOIN pg_stat_tables_snapshot AS b ON (a.relid = b.relid) WHERE a.snap_name = 'snap-a' AND b.snap_name = 'snap-b';
- 18. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Strategie vytváření snapshotů snapshoty jen z okamžiku problémů nestačí jsou třeba snapshoty pro srovnání (stejné podmínky) počet uživatelů, množství dotazů, denní doba typ zátěže (batch / OLTP) ... ani příliš dlouhé ani příliš krátké intervaly ekvidistantní (např. každých 15 minut) neekvidistantní (dva snapshoty 5 minut od sebe každou hodinu)
- 19. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 K čemu to všechno? řešení problémů – někde se něco podělalo nevím co se podělalo :-( historie mi napoví kde by mohla být chyba predikce nic se (zatím) nepodělalo, ale co zítra? chci průběžně analyzovat sbíraná data v případě podivností poslat varování (e-mail, SMS, ...)
- 20. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Data máme – víme kde je získat a dokážeme je uložit. Ale co dál? Lost a planet, Master Obi-Wan has. How embarrassing... how embarrassing.
- 21. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Nástroje
- 22. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Možné vlastnosti vytváření snapshotů práce se snapshoty (porovnávání, reporty, …) analýza snapshotů (varování, …) (?) centralizovaný nebo decentralizovaný (?) GUI a/nebo konzole (shell, PL/pgSQL)
- 23. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 pgstatspack http://pgfoundry.org/projects/pgstatspack/ Keith Pierno, Frits Hoogland
- 24. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 pgstatspack PL/pgSQL procedury + shell skripty vytváření snapshotů generování reportů (porovnávání snapshotů) primárně pro „ruční použití“
- 25. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 pgstatspack demo
- 26. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 pgstatspack – výhody a nevýhody výhody jednoduchá instalace i použití čistě konzolové řešení (stačí psql a shell) to co umí umí velmi dobře (komplexní reporty) nevýhody pouze pro 8.1, nevyvíjí se (poslední 2.1 z 17. února 2009) práce jen se dvěma snapshoty necentralizované řešení (jedna DB)
- 27. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 pgmonitor http://pgmonitor.sf.net Tomáš Vondra
- 28. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Rozdíly oproti pgstatspacku napsáno v PHP webové GUI rozhraní možnost centrálního uložiště vývoj probíhá podpora všech 8.x verzí
- 29. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 pgmonitor demo
- 30. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 pgmonitor – plány do budoucna PL/pgSQL procedury pro analýzu – velmi efektivní lepší GUI inteligentnější analýza / detekce problémů začlenění OS-level metrik a „contrib“ metrik podpora partitioningu (?) nové zajímavé nápady (?) nějací dobrovolníci
- 31. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Další nástroje ...
- 32. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Staplr (http://github.com/gmr/Staplr)
- 33. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Hyperic (http://www.hyperic.com)
- 34. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 check_postgres (http://bucardo.org/wiki/Check_postgres) kontrolní skript široká škála kontrolovaných parametrů připraveno pro Nagios a MRTG napsáno v Perlu (brrrrr!) podpora i pro 8.4
- 35. Monitoring výkonu PostgreSQL Prague PostgreSQL Developers' Day 2010 Q&A Your father he is.