Медальонное хранилище на Microsoft Fabric
Аналитическая платформа целиком: загрузка из операционных источников, послойная трансформация на PySpark и модель отчётности, к которой аналитики обращаются напрямую. Работа выполнена в рамках коммерческой программы Itransition по инженерии данных.
- Microsoft Fabric
- PySpark
- Power BI
- InfluxDB
- SQL
/Задача
Операционные данные приходили из нескольких источников с несогласованными типами, дублирующимися ключами и без общего определения сущностей. Строить отчёты напрямую по ним означало, что каждый вопрос начинается с обсуждения, что вообще означают эти цифры.
/Решение
Медальонная архитектура: бронзовый слой хранится ровно в том виде, как поступил, и не редактируется; в серебряном проверяются типы и разрешаются дубли; золотой построен как звёздная схема с явно объявленной гранулярностью. Трансформации выполняются на PySpark и воспроизводимы: плохой результат лечится перезапуском слоя, а не правкой строк. Временные ряды из InfluxDB приводятся к тем же измерениям, чтобы их можно было показывать рядом с реляционными фактами.
/Результат
Хранилище, к слою отчётности которого можно обращаться без знания исходных систем, и отчёты Power BI на согласованных измерениях, а не на отдельных выгрузках. Выполнено в рамках программы Itransition «Commercial Software Development: Data Engineering», 2026.
/Задействованные услуги