Вступление
В данной статье будет расширена и дополнена информация о хранилище данных OFSA FDM, приведенная в предыдущих статьях цикла. Следует еще раз напомнить, что, кроме банков, система может использоваться и в страховых компаниях, механизмы обработки общие, а некоторые основные различия, имеющиеся в объектах базы данных, будут упомянуты по ходу статьи.
OFSA FDM поддерживает традиционную технологию хранилищ данных ETL (extraction, transformation, loading). Данные, поступающие в хранилище данных FDM из OLTP систем, должны быть не только "извлечены, трансформированы и загружены", но и согласованы, выверены, приведены к общему формату:
- в многофилиальном банке может работать несколько АБС, да и в филиале среднего или крупного банка это не исключение, а, скорее, правило.
- филиалы международного банка хранят данные Главной Книги не только в национальных валютах, но и по разным планам счетов. Для проведения общего анализа по всей филиальной сети необходимо привести данные к общей валюте, согласовать планы счетов, кросс-курсы, картотеку клиентов и др.
Традиционная технология хранилищ данных.
Oracle Discoverer является системой поддержки принятия решений (DSS), позволяющей выполнять непредусмотренные запросы к базе данных, строить отчеты по результатам этих запросов, анализировать и форматировать отобранные данные. Используя данный продукт аналитики, менеджеры и другие работники информационной сферы могут легко работать с БД, не имея углубленных знаний по архитектуре Oracle и языку SQL
OWB (Oracle Warehouse Builder) является основным инструментом, используемым при формировании хранилища данных FDM, обеспечивающим технологию ETL. Oracle Warehouse Builder существенно облегчает создание, развертывание и поддержку хранилища данных, позволяя визуально моделировать схему хранилища, либо импортировать метаданные из репозитория Oracle Designer. Разработчик визуально определяет отображения между источниками данных и хранилищем, и затем OWB автоматически генерирует на их основе модули загрузки в виде процедур PL/SQL или скриптов SQL*Loader.
OWB имеет встроенную библиотеку функций преобразования данных, которую при необходимости можно расширять собственными процедурами на PL/SQL. Встроенные в OWB дополнительные компоненты предоставляют мощные средства автоматической очистки данных, включающие алгоритмы нечеткой логики, синтаксический разбор имен и адресов, вероятностные модели и т.д.
В качестве источников могут выступать:
- РСУБД Oracle
- Файлы разных форматов (txt, html, dbf, xls, xml и др.)
- ERP-система SAP R/3
- DB2, Informix, MS SQL, Sybase
- ODBC-источники
- Мэйнфреймы.
Здесь нельзя не упомянуть некоторые материалы по теме "МСФО и хранилища данных", "банковские хранилища данных", в которых утверждается, что хранилища данных российского "производства" предпочтительнее из-за "… возможности изменять архивные данные "задним" числом"! Несмотря на недопустимость в принципе таких действий, следует заметить, что возможности Warehouse Builder позволяют выполнить и такое, выходящее за рамки общепризнанных правил деловой этики, требование.
Кроме того, в состав OFSA входит отдельный модуль "Balance & Control", обеспечивающий проверку и согласование данных, поступающих из разных источников, подробнее об этом модуле будет сказано ниже.
