Матрица данных — это новый конструктивный принцип управления данными, направленный на решение проблем их сложности. Он призван обеспечить гибкую основу для поддержки различных сценариев использования корпоративных данных. Понятие матрицы данных тесно связано с DataOps и инициативами по модернизации данных и цифровым инновациям в целом.
Матрицу данных можно представить как ткань, связывающую данные различных типов, из разных расположений (периферия, центр, облако) и источников с методами доступа к этим данным. Для пользователей приложений и систем она скрывает (абстрагирует) особенности реализации базовых технологий хранения, перемещения, преобразования, защиты и обработки данных.
Матрица данных не заменяет собой более традиционные архитектуры управления данными, такие как озера, хранилища, центры и базы данных. Скорее, она объединяет эти системы в рамках единого подхода.
Назначение матрицы данных — снизить сложность за счет автоматизации интеграции данных, управления ими и их обработки. К инструментам для проектирования матрицы данных и управления ею относятся конвейеры данных с различными типами интеграции, управление рабочими процессами и политиками, управление данными на основе активных метаданных и машинного обучения, расширенная каталогизация данных и их виртуализация.
Матрицы данных охватывают все больше данных в облачных средах, центрах обработки данных и периферийных системах. Для их построения обычно применяются контейнерные технологии (такие как Kubernetes) и сетки связанных сервисов.
Матрица данных обеспечивает единую среду для доступа к данным и их сбора независимо от того, где и как они хранятся. Таким образом устраняется разрозненность данных. Создание конвейера данных вручную — медленный процесс, чреватый ошибками и лишней работой. Его автоматизация позволяет специалистам по обработке и анализу данных лучше обслуживать потребителей.
Путем обогащения данных бизнес-семантикой и метаданными можно сформировать среду совместной работы с возможностями самообслуживания, которая поддерживает самые разные задачи: комплексный обзор клиентов, обнаружение мошенничества, аналитику Интернета вещей и множество других.