Почта Банк обновил корпоративное хранилище данных

Почта Банк реализовал масштабный проект по рефакторингу корпоративного хранилища данных (КХД).

Банк полностью переработал архитектуру, создал оперативный слой данных и их унифицированную модель, выстроил процессы Data Governance.

В ходе проекта команда Почта Банка создала качественно новую архитектуру КХД, которая позволяет получать данные из ключевых систем-источников в режиме онлайн и обеспечивает инкрементальное обновление всех слоев хранилища. Параллельно развивалось и старое КХД, содержащее в себе огромные объемы legacy-кода, накопленные за более чем пятилетнюю историю.

«Для конкурентоспособности банка важна прежде всего скорость внедрения новых продуктов и масштабирования систем. Поэтому возрастает потребность в современном и производительном хранилище данных. Сегодня очень популярен термин data-driven, но вы не станете дата-ориентированной компанией только за счет накопления объемов данных или реализации ad hoc-выгрузок по мере возникновения задач. Без надежной базы дата-аналитики организации могут тратить до 80% времени на подготовку данных вместо их анализа», — подчеркнул Василий Король, руководитель службы по управлению данными Почта Банка.

В первую очередь была разработана и согласована концепция развития управления данными. В рамках этой концепции был выстроен полный цикл управления изменениями корпоративного хранилища, коснувшийся взаимодействия как внутри команды, так и с подрядчиками и заказчиками. Была выстроена гибридная система реализации задач и проектов (scrum и waterfall), что позволило прийти к высокой регулярности релизов КХД (минимум раз в две недели) без значительных потерь в качестве.

Реализована система контроля качества данных, внедрены и согласованы регламенты взаимодействия с системами-источниками. Осуществлен перевод системы мониторинга КХД на роботизированное ПО (push-уведомления, автоматические звонки). В новой архитектуре созданы операционный и аналитический слои КХД. Реализована ролевая модель доступа к BI-отчетности и данным хранилища, улучшены параметры быстродействия и надежности КХД, снижены затраты на его развитие и поддержку, а также совокупная стоимость владения. Увеличена скорость расчета и предоставления информации бизнес-заказчикам (большая часть ключевых витрин готовы до 8 утра дня, следующего за отчетным). Обеспечено выполнение более жестких SLA как по скорости готовности, так и по качеству данных.

За время внедрения в банке значительно расширилась функциональность, которая реализуется и поддерживается на КХД. Объем полезной информации вырос более чем в 6 раз (>240 ТБ), а число пользователей хранилища и основанной на его данных BI-отчетности — в 5 раз.