Cоздаем пробки или тюнинг postgresql для расчетных задач

0 likes983 views

Документ описывает оптимизацию работы с базой данных PostgreSQL для задач расчета пробок. В нем содержатся технические детали, связанные с производительностью и обработкой данных, такие как настройка autovacuum и партицирование таблиц. Эффективность системы демонстрируется через сравнение времени отклика Redis и PostgreSQL.

Создаём ПРОБКИ.
ТЮНИНГ PostgreSQL
для расчетных задач.

Скоморохов Евгений

Обо мне

Скоморохов Евгений Юрьевич
разработчик сервиса Пробки 2ГИС

Ранее
● разработка ПО по работе с БД PostgreSQL в
"КиберТехнология"
● разработка WorkFlow в "АБП"

Cоздаем пробки или тюнинг postgresql для расчетных задач

Исходные данные

POINT(82.870156074 54.995442578);157;13

Процесс

CPP CPP

Nginx
Png
Nginx

http
Точки
MongoDb PostgreSQL PostgreSQL
http
Mobile
http

Показатели

Притяжка 1000 точек/секунду
Подготовка графа 20 минут

Система

i-net

н ые
Д ан

Запас прочности

Деградация

Ограничение объемов данных

Autovacuum

pgTune + pgFouine

Фича

Данные для обработки вырастут в N раз

Партицирование

2 таблицы лучше чем одна

Redis vs PostgreSQL

Число записей: 60.000.000
Отдача пробок 95 % персентиль

Redis 40 мс
PostgreSQL 55 мс

Заключение

Расчеты в БД -
быстро, качественно, надежно

Вопросы

Скоморохов Е.Ю. | icq:282708810 | e.skomorokhov@2gis.ru

Доклад Александра Козько на конференции .NET разработчиков 2013 года охватывает основные принципы и типы NoSQL баз данных, такие как MongoDB, с акцентом на их особенности, такие как гибкая схема и отсутствие транзакций. Обсуждаются также преимущества и недостатки различных моделей данных, подходы к индексации и масштабированию. В заключение подчеркивается, что NoSQL базы данных — это инструмент для определенных задач, а не замена реляционным СУБД.

Технологии больших веб проектов завтра и послезавтраNikita Semenov

Документ рассматривает развитие технологий веб-программирования за последние 10 лет и предсказывает будущие тренды, включая языки программирования и их стоимости. Обсуждаются архитектуры известных платформ, таких как Instagram и YouTube, а также сравниваются технологии для фронтенда и бэкенда по различным параметрам. В конце подводится итог о влиянии технологий на производительность разработчиков и раскрываются примеры успешных проектов.

Пути увеличения эффективности реализации алгоритмов машинного обученияAndrew Babiy

Документ рассматривает пути повышения эффективности алгоритмов машинного обучения, акцентируя внимание на увеличении скорости вычислений и оптимизации программного обеспечения. Основные подходы включают распараллеливание, использование специализированных библиотек и оптимизацию для различных архитектур процессоров. Упомянуты преимущества и ограничения различных методов, а также предложены ресурсы для развития и внедрения параллельных вычислений.

Л9: Взаимодействие веб-приложенийTechnosphere1

Документ описывает архитектуру веб-приложений, включая управление фоновыми процессами с использованием cron, очередей сообщений (RabbitMQ, Celery) и полнотекстового поиска (Sphinx). Рассматриваются типичные задачи, такие как импорт и экспорт данных, а также проблемы и решения для повышения производительности и масштабируемости. Также приводятся примеры кода для работы с очередями и асинхронной доставкой сообщений.

Хранение данных на виниле / Константин Осипов (tarantool.org)Ontico

Доклад рассматривает архитектуру и функциональные возможности системы хранения данных на виниле, включая структуру log structured merge tree и реализацию vinyl engine в Tarantool. Обсуждаются преимущества и недостатки LSM-деревьев, проблемы с производительностью, а также методы уменьшения задержки чтения и записи данных. В заключение представляются аспекты репликации и ограничения использования системы.

ПКС-контроллеры сегодня: мифы и реальностьARCCN

Документ обсуждает состояние современных пкс-контроллеров и их взаимодействие с OpenFlow-коммутаторами. Экспериментальные результаты показывают проблемы с надежностью и производительностью контроллеров, включая неспособность обрабатывать некорректные сообщения и потерю соединений. Необходимы улучшения в скорости обработки и отказоустойчивости для реального применения контроллеров.

2015.02.06 PostgreSQL в Яндексе: история успеха №2dev1ant

Документ описывает историю успеха внедрения PostgreSQL в Яндексе с акцентом на появление и решение различных проблем, связанных с производительностью и управлением транзакциями. Основные проблемы касаются замедленной работы из-за большого количества мелких запросов и способов их оптимизации, включая использование cgroups и модификацию функций автосборки. Также рассматриваются советы по хранению данных, партиционированию и резервному копированию.

Highload Begun PankovOntico

Документ описывает архитектуру системы Nephilidae для обработки миллионов запросов к страницам сайтов с высокими нагрузками и минимальными задержками. Включает различные оптимизационные подходы по хранению и индексации страниц, а также проблемы, с которыми сталкивалась система. Основной задачей является разработка эффективной файловой системы, чтобы улучшить производительность и сократить трафик между датацентрами.

СХД для обработки сейсмики: сравнительный обзорVsevolod Shabad

Документ представляет сравнительный обзор систем хранения данных (СХД) для обработки сейсмических данных, обсуждая различные типы СХД и ключевые факторы их выбора, такие как производительность, емкость и масштабируемость. Рекомендуются различные производители и решения для обеспечения эффективной обработки сейсмики, а также приводятся данные о функциональности и поддержке технологий. Документ содержал информацию о конференции «Геологоразведка-2016» в Москве в октябре 2016 года.

Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...Ontico

Документ обсуждает оптимизацию памяти и сетевого стека в Linux, основанную на опыте перевода высоконагруженных серверов на новый дистрибутив. Основное внимание уделяется проблемам управления памятью, сетевым распределением и нагрузкой на процессоры, а также способам их решения. Предложены различные методы настройки параметров системы для повышения производительности и уменьшения фрагментации памяти.

Hl++2008 Gorniy ReadmeOntico

Документ обсуждает использование асинхронной работы с пользователями и неблокирующих запросов к MySQL для повышения эффективности. Он упоминает технологии, такие как Nginx и Memcached, для кеширования данных и подсчета статистики. В документе также акцентируется внимание на серьезности задач, которые необходимо решать.

Дмитрий Новиков - Tarantool в BadooMail.ru Group

Документ обсуждает использование Tarantool в Badoo для хранения пользовательских сессий, подчеркивая необходимость в отказоустойчивости и поддержке параллельных миров. Также рассматриваются проблемы, такие как race conditions и сложные перезагрузки, которые решаются с помощью Tarantool. В заключение упоминаются пожелания к функциональности и улучшениям в интеграции Tarantool с PHP.

Что особенного в СУБД для данных в оперативной памяти / Константин Осипов (Ta...Ontico

Документ обсуждает алгоритмы и структуры данных, применяемые в системах управления базами данных (СУБД) в оперативной памяти. Основное внимание уделяется принципам ACID, блокировке транзакций и специализированным аллокаторам памяти для повышения производительности. Описаны модели конкурентного выполнения и их влияние на структуру данных, включая подробности о b-деревьях и возможностях логической памяти.

Масштабируемая система голосования на базе PostgreSQL. PGQ (Сергей Нековаль)Ontico

Доклад описывает систему голосования, использующую PostgreSQL и PGQ, которая позволяет пользователям загружать и просматривать видео-контент. Обсуждаются преимущества PGQ, такие как транзакционность, асинхронность и простота мониторинга, а также возможности обновления статистики и рейтингов. Также отмечаются существующие проблемы, такие как перегрузка базы данных и ограничения в управлении очередями.

Масштабируемая система голосования на базе PostgreSQL PgQ, Сергей НековальFuenteovejuna

Доклад Сергея Нековаля о масштабируемой системе голосования на базе PostgreSQL PGQ описывает использование этой технологии для обновления статистики и рейтингов видео-контента на аналогичном YouTube сервисе. PGQ позволяет эффективно обрабатывать большое количество событий и обеспечивает транзакционность и асинхронность, что улучшает производительность системы. В заключение, рассматриваются возможности для оптимизации работы системы и потенциальные проблемы.

Организация аппаратного поиска в таблицах OpenFlow на базе ПЛИСARCCN

Документ представляет организацию аппаратного поиска в таблицах OpenFlow на базе ПЛИС, обсуждая современные SDN-коммутаторы и их функционал. Рассматриваются ограничения реализации протокола и возможные решения, а также технические характеристики, необходимые для обеспечения эффективной обработки пакетов. Заключение подчеркивает возможности для отечественных разработчиков на рынке ПКС-сетей.

Михаил Табунов, Аналитическая платформа на несколько миллиардов событий в месяцTanya Denisyuk

Документ описывает аналитическую платформу, обрабатывающую миллиарды событий ежемесячно, и ее архитектуру, включая различные клиенты и механизмы сбора данных. Основное внимание уделяется необходимым требованиям к аналитике, проблемам с производительностью и надежностью, а также выбору технологий для хранения и анализа данных. На платформе используются технологии, такие как MongoDB и AWS, для достижения быстрого и масштабируемого результата.

Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS

Документ обсуждает технологии NVMe и их применение в современном аппаратном обеспечении, включая производительность и задержки различных типов накопителей. Описываются преимущества NVMe over Fabrics (NVMf) и его влияние на эффективное управление доступом к данным и сетевой инфраструктуре. Также рассматриваются экономические аспекты и перспективы технологий, таких как 3D XPoint и программно-определяемые сети хранения.

SAMag2007 Conference: PostgreSQL 8.3 presentationNikolay Samokhvalov

PostgreSQL 8.3 представляет значительные улучшения по сравнению с предыдущими версиями, включая увеличение производительности и новые функции, такие как поддержка полнотекстового поиска и работа с XML-данными. Новые индексы GIN и GiST, а также возможность горячих обновлений и асинхронных коммитов значительно повысили надежность и удобство администрирования. В дополнение, автопроцессы, такие как autovacuum, были включены по умолчанию, что улучшает общее управление базой данных.

Open Source SQL-базы данных вступили в эру миллионов запросов в секунду / Фед...Ontico

Документ обсуждает производительность и оптимизацию различных реляционных баз данных, особенно MySQL и PostgreSQL, с акцентом на сравнительный анализ их возможностей. Проводятся тесты производительности, детально описываются проблемы и трудности, с которыми сталкиваются пользователи, а также предлагются различные конфигурационные решения для улучшения работы систем. Также упоминаются достижения и новшества в области разработки и поддержки данных СУБД с упором на использование ресурсов и управление транзакциями.

Эффективное использование спотовых узлов Amazon EC2 / Дмитрий Пушкарев (Molec...Ontico

Документ обсуждает эффективное использование спотовых узлов Amazon EC2 для параллельных научных вычислений, подчеркивая трудности, связанные с непредсказуемостью цен и доступностью узлов. Исследуются решения для оптимизации работы с S3, включая использование специального клиента es3 и планировщика задач для минимизации затрат. В заключение представлены примеры построения масштабируемых систем и стратегии обхода ограничений спотовых узлов.

Как Python Дайджест работает с внешней статикойPyNSK

Документ обсуждает работу Python дайджеста как агрегатора контента, который включает статьи, учебные материалы и видео по Python. Он касается хранения внешней статической информации, оптимизации ее загрузки с использованием Nginx и HTTP/2, а также методов автоматической оптимизации. Также упоминаются вопросы, связанные с надежностью внешних источников и локального хранения изображений.

Исследования программно-конфигурируемых сетей в Оренбургском государственном ...ARCCN

Документ представляет результаты исследований в области программно-конфигурируемых сетей, проведенных в Оренбургском государственном университете, и описывает выполненные проекты и их результаты. В частности, обсуждаются концепции и алгоритмы управления сетевыми ресурсами, а также разработка моделей для распределенных вычислительных центров обработки данных. Исследования поддержаны Министерством образования и науки России в рамках федеральной целевой программы.

Профилирование Node.jsDenis Chistyakov

Документ содержит размышления Дениса Чистякова о профилировании и оптимизации производительности приложений на Node.js, включая его опыт с нагрузкой и проблемами, связанными с производительностью. Он делится рекомендациями о диагностике узких мест, инструментах для замера времени выполнения и избегании синхронного кода. Также упоминаются примеры нагрузки и личные советы по написанию эффективного кода.

Chronicle Map — key-value хранилище для трейдинга на Java / Левентов Роман (C...Ontico

Документ описывает использование всплывающего хранилища Chronicle Map для высокопроизводительных систем на Java, фокусируясь на особенностях в области трейдинга, включая низкие задержки и обработку множества источников событий. Он подчеркивает преимущества работы с множеством JVM, оптимизации конфигурации ОС и асинхронной репликации данных, а также дает примеры производительности и использования памяти. Chronicle Map выделяется своей способностью справляться с высокими частотами обновлений и обеспечивать гибкую репликацию без очередей.

Дмитрий Носов, Rambler&Co, H2O на Spark: как мы пили газировку и чуть не захл...Mail.ru Group

Документ обсуждает использование H2O на платформе Spark для машинного обучения, включая преимущества и проблемы при работе с большими данными. Рассматриваются алгоритмы, производительность системы и реализация решения задачи бинарной классификации с большими объемами данных. В заключении отмечается, что хотя H2O является отличной платформой, есть некоторые ограничения, из-за которых его не планируют использовать в производственной среде.

10 HappyDev-lite'14 Иван Погудин, Анатолий Никулин. Решение задач, связанных...HappyDev

Документ рассматривает технологии и подходы для решения задач связанных с высокой нагрузкой и обработкой больших объемов данных, включая вертикальное и горизонтальное масштабирование. Также обсуждаются различные фреймворки и системы, такие как Hadoop, Storm и Memcached, а также базы данных NoSQL, такие как MongoDB и Cassandra. Обращается внимание на необходимость оптимизации и управление отказами в распределенных системах на фоне растущих объемов данных.

Архитектура и программирование потоковых многоядерных процессоров для научных...a15464321646213

Документ представляет собой лекцию о программировании потоковых многоядерных процессоров с акцентом на задачу умножения матриц. Обсуждаются методы разбивки данных на элементарные блоки, оптимизация вычислительных процессов и использование текстур и атомарных функций для повышения производительности. Также приводится ряд примеров программ на GPU и рассматриваются советы по эффективному управлению памятью.

Взаимодействие Go и C-библиотек. Go и ErlangDevDay

Документ обсуждает язык программирования C и его преемник Go, выделяя их основные характеристики и различные преимущества и недостатки. C был разработан в 1960-х годах и используется в большинстве библиотек, тогда как Go, созданный в 2009 году, предлагает строгую типизацию и безопасность памяти. Также упоминаются связи между Go и Erlang, включая соответствующие библиотеки и инструменты.

Манипулятор на Ti Stellaris Launchpad, Лёша РоманенкоDevDay

Документ описывает проект по созданию манипулятора на базе TI Stellaris Launchpad с использованием различных контроллеров и компонентов, таких как Arduino и Raspberry Pi. В нем рассматриваются аспекты разработки механики и электроники, включая выбор материалов и реализацию сервоприводов. Также приведены примеры кода и ссылки на ресурсы для покупки необходимых компонентов.

More Related Content

What's hot (20)