УДК 004

Создание витрины данных для службы управления рисками

Толстых Полина Евгеньевна – студент факультета Прикладной математики, информатики и механики Воронежского государственного университета.

Аннотация: В статье описана структура потока данных от источника до итоговой таблицы, содержащей информацию о признаках просроченной задолженности по договорам для службы управления рисками. Также проанализированы система управления базами данных, средства реализации и система-источник для создаваемой витрины. Описаны процесс расчёта витрины, необходимые объекты и процесс формирования XML-файла с данными на основе итоговой таблицы.

Ключевые слова: банковский риск, витрина данных, система управления рисками, автоматизированная банковская система, интеграция.

Введение

Банковская сфера развивается очень стремительно, однако одновременно с прогрессом увеличиваются банковские риски.

Банковским риском считается возможность возникновения у кредитно-финансовой организации материальных потерь [1]. В каждом банке есть служба управления рисками, которая использует определённые системы управления рисками, в зависимости от целей и задач кредитно-финансовой организации.

Система управления рисками представляет собой совокупность организационной структуры, полномочий и ответственности должностных лиц, нормативных правовых актов, определяющих стратегию, методики и процедуры управления рисками, а также процесса управления рисками, направленных на достижение финансовой надежности банка.

Цель работы: создать витрину данных для хранения информации о просроченной задолженности по договору для службы управления рисками, реализовать построение XML-файла на основе данных этой витрины и выгрузку этого файла во внешнюю систему.

1. Анализ требований к разрабатываемому объекту

Необходимо создать витрину данных, содержащую информацию о признаках просроченной задолженности по договорам: идентификатор договора, флаги просроченной задолженности на 1–5 платежах, флаги просроченной задолженности более 5 дней на 1–5 платежах, номера платежей, просроченная задолженность по которым превышала 30, 60, 90, 180, 210 дней.

Требования:

  • ежедневная загрузка данных с источника;
  • актуальное состояние витрины в любой момент обращения к ней;
  • ежедневная выгрузка данных витрины во внешнюю систему в виде файла формата .XML.

Объект в дальнейшем будет использоваться в онлайн сценариях определения вероятности кредитных рисков службой управления рисками.

Витрина должна рассчитываться каждый день. В таблице должны содержаться только актуальные данные, ведение истории не предусмотрено.

В витрину должна попадать информация только по тем договорам, по которым была просрочка хотя бы по одному из первых пяти платежей.

Формирование объекта должно происходить через полное обновление данных. Время готовности витрины должно быть не позже 11:00, время выгрузки .XML-файла – не позже 12:00.

2. Анализ средств разработки

В качестве СУБД была выбрана Oracle. Oracle способна не только обрабатывать огромные объёмы информации, но и поддерживать возможность сжатия данных. Это позволяет уменьшить объём занимаемого места и при этом не потерять данные и является определяющим фактором в выборе СУБД для разработки.

Также Oracle позволяет нескольким пользователям работать одновременно, сохраняя высокую производительность при обработке транзакций [2], и выполняет функции повышенной безопасности (например, контроль доступа и аудит), что очень важно при работе с банковскими данными, особенно с конфиденциальной информацией.

Для разработки используется утилита Toad, применяемая для работы с реляционными системами управления базами данных. Она позволяет поддерживать одновременно несколько соединений с базой данных и предоставляет много полезных функций (например, использование встроенных шаблонов кода).

Благодаря своей популярности, легкой установке и понятному интерфейсу [3] TOAD используется многими разработчиками и администраторами баз данных.

Для интеграции данных используется Oracle Data Integrator (ODI). Данная программа обеспечивает извлечение, преобразование и загрузку данных из разнообразных источников: баз данных, файлов и т. д. [4].

ODI основан на архитектуре ETL, состоящей из трех частей:

  • extract: данные из источника передаются в буферную область приемника;
  • transform: в буферной области с данными происходят проверка на корректность, очистка и необходимые преобразования;
  • load: преобразованные данные загружаются в целевую область.

Описанная схема загрузки данных представлена на рис. 1.

1

Рисунок 1. Классическая схема загрузки данных согласно архитектуре ETL.

3. Анализ источников для разрабатываемой витрины

Системой-источником для разрабатываемой витрины является VABANK.

VABANK – автоматизированная банковская система, которая позволяет проводить операции, обрабатывать различную информацию и подготавливать отчётность для последующей сдачи в Центральный банк [5].

Разрабатываемая витрина строится на основе данных из следующих таблиц:

  • AGREEMENTS– содержит информацию о договоре: идентификатор договора, идентификатор клиента, сумму договора (сумму кредита), даты открытия и закрытия договора и др.;
  • BILLING_DATA – содержит информацию о биллингах по договору: идентификатор биллинга, идентификатор договора, даты начала и окончания расчётного периода, сумму задолженности и др.;
  • PRODUCTS– содержит информацию о банковских продуктах: наименование продукта, тип продукта, идентификатор макропродукта, идентификатор договора и др.;
  • MACROPRODUCT– содержит информацию о банковских макро-продуктах: наименование макропродукта, тип макропродукта и др;
  • OPERATIONS– содержит информацию о банковских операциях: идентификатор операции, тип, сумма, дата выполнения и др.

Схема потоков данных представлена на рис. 2.

2

Рисунок 2. Схема потоков данных.

4. Реализация

Для корректной работы витрины данных требуется создание нескольких таблиц, синонимов, процедуры заполнения витрины и процедуры формирования выгружаемого во внешнюю систему .XML-файла.

Были созданы таблица-предагрегат для расчёта основной витрины (DM.ETL_AGG_DEAL_OVD_FLG), содержащая ограниченный набор полей: идентификатор договора и даты окончания первых шести платежей, основные таблицы (DM.AGG_DEAL_OVD_FLG_1, DM.AGG_DEAL_OVD_FLG_2), содержащие полный набор бизнес-полей, синонимы к этим таблицам (DM.AGG_DEAL_OVD_FLG, DM.AGG_DEAL_OVD_FLG_WRK), процедура для заполнения витрины (DM.TF_AGG_DEAL_OVD_FLG) и процедура для формирования .XML-файла на основе данных витрины (DM.TF_FILE_AGG_DEAL_OVD).

Помимо объектов Oracle были созданы 2 объекта ODI:

  • процедура TF_AGG_DEAL_OVD_FLG;
  • процедура

Для каждой из процедур был сгенерирован сценарий, который будет запускаться при плановой загрузке объектов и заполнять основную витрину и формировать выгружаемый во внешнюю систему файл.

Схема шагов расчёта объектов представлена на рис. 3.

3

Рисунок 3. Схема шагов расчёта объектов.

Для ежедневного расчёта витрины и выгрузки .XML-файла были созданы два модуля:

  • модуль загрузки;
  • модуль выгрузки.

Модуль представляет собой файл с расширением .xls, в котором содержится информация о том, когда, в какой последовательности и с какими параметрами должны запускаться объекты для расчета витрины

С помощью разработанного макроса, универсального для всех модулей, по указанным данным формируется строка в формате JSON, которая содержит команды, необходимые для загрузки витрины.

Заключение

Создана витрина данных, содержащая информацию о просроченной задолженности по договору для службы управления рисками. Обеспечено актуальное состояние витрины в любой момент обращения к ней: витрина всегда содержит данные и никогда не бывает пустой.

Также были загружены данные с источника, объект был поставлен на загрузку для ежедневного обновления данных, настроена ежедневная выгрузка файла формата .XML.

Разработка внедрена на продуктивную среду 15.06.2022.

Список литературы

  1. Банковские риски, основные виды, особенности управления, оценка банковских рисков, финансовые банковские риски. – URL: https://www.sravni.ru/enciklopediya/info/bankovskie-riski/ (дата обращения 20.05.2023).
  2. Преимущества СУБД Oracle: – URL: http://www.winblog.ru/admin/1147770778-al15011701.html (дата обращения: 24.05.2023).
  3. TOAD (Tool for Oracle Application Developers) и Toad DevOps Toolkit для Oracle – URL: https://www.syssoft.ru/zapisi-vebinarov/toad-tool-for-oracle-application-developers-i-toad-devops-toolkit-dlya-oracle/ (дата обращения04.2023).
  4. Oracle Data Integrator. – URL: https://www.fors.ru/business-solutions/analytical-systems-and-data-warehouse/oracle-data-integrator/ (дата обращения: 30.04.2023).
  5. АБС (автоматизированная банковская система). – URL: https://xn----7sbc4airdi7c.xn--p1ai/abs-banka/?ysclid=li2690w8wl965285413 (дата обращения 24.05.2023).

Интересная статья? Поделись ей с другими: