기업은 데이터의 홍수에 빠져 있습니다. 현대의 데이터 중심 기업을 위한 정형, 반정형 또는 비정형 데이터는 모든 것을 한 번에 모든 곳에서 제공합니다. 그러나 이는 데이터를 비즈니스 성공에 유용한 정보로 변환하려는 기업에게는 과제이기도 합니다.
엄청난 양의 데이터로 인해 기업이 비즈니스 의사결정을 내리기 위해 신뢰할 수 있는 데이터를 찾는 데 어려움을 겪고 있습니다. 기존 데이터 카탈로그는 정형 데이터 검색 기능만 제공합니다. 조직이 모든 데이터 유형에서 신뢰할 수 있는 데이터를 검색하는 데 도움이 되는 엔드투엔드 솔루션은 없습니다.
데이터 도전 퍼즐의 세 가지 핵심 구성 요소인 데이터 검색, 데이터 관찰 가능성 및 데이터 신뢰성을 결합하는 솔루션이 필요합니다.
또한 이 세 가지 구성 요소는 데이터를 적용하여 업무 성과를 개선하고, 건전한 비즈니스 결정을 내리며, 보유한 데이터에서 가치를 창출하고자 하는 기업의 요구와 점점 더 일치하고 있습니다.
데이터 검색
데이터가 PDF 문서, Word 문서, 관계 데이터베이스, 로그 또는 컴퓨터 기록 텔레메트리에 있든 관계없이 일반적인 기업에는 엄청난 양의 데이터가 있습니다. 최근 연구에 따르면 일반적인 기업이 저장하는 총 데이터 양은 10페타바이트(PB)로 계산되었으며, 이는 230억 개 이상의 파일에 해당하는 양이며, 이 중 절반 이상(52%)이 다크 데이터로 간주되어 가치가 전혀 할당되지 않은 데이터입니다.
이렇게 많은 양의 분류되지 않은 데이터가 발생하는 이유는 간단합니다. 어떤 기업에서든 어느 누구도 조직의 데이터 중 몇 퍼센트가 조직에 중요한지 파악하는 데 시간을 할애할 수 있는 시간이 하루 중 충분하지 않기 때문입니다. 데이터를 수집하고 통합하려면 일반적으로 여러 클라우드 및 에지 아키텍처에 걸쳐 다양한 소스, 형식, 시스템 공급업체 및 다양한 온프레미스 위치에서 수동으로 추출해야 합니다.
데이터 검색(Data Discovery)에 대한 개념은 해당 데이터를 읽거나 프로파일링하는 것과 같습니다. 기업은 Pentaho Data Catalog와 같은 새로운 인공 지능(AI) 및 머신 러닝(ML) 소프트웨어 도구를 통해 데이터 파일의 분류, 태깅 및 관리를 자동화하여 데이터 품질을 파악할 수 있습니다. 기업은 이러한 도구를 통해 해당 데이터 또는 메타데이터에 대한 인사이트를 생성하여 데이터 콘텐츠와 컨텍스트를 이해할 수 있습니다. 예를 들어, 병원의 환자 의료 기록에서 누군가의 이름이 몇 번이나 언급되는지 알 수 있습니다. 또는 고객의 금융 기록에서 "이자율"이라는 문구가 사용된 횟수를 알아낼 수 있습니다.
이는 얼마나 많은 데이터가 비즈니스에 가치가 있는지, 긍정적인 고객 결과에 영향을 미치거나 더 나은 비즈니스 프로세스를 생성하는지 확인하려는 기업에 매우 중요합니다. 데이터 검색 프로세스를 자동화해야만 기업은 데이터에 대한 이러한 종류의 인사이트를 포착하기 위한 첫 번째 단계를 수행할 수 있습니다.
데이터 관찰 가능성
성공적인 데이터 전략의 두 번째 요소는 데이터가 비즈니스 사용자에게 가시적이고 의미 있는 정보를 제공하는 것입니다. 데이터 관찰 가능성은 기업 전체의 데이터 사용량을 모니터링할 수 있는 기능을 제공합니다. 모니터링은 다음과 같은 질문에 답하는 데 매우 중요합니다. 누가 데이터를 사용하고 있습니까? 데이터의 출처는 어디입니까? 변경되었습니까? 그리고 그것이 변경되었다면, 언제, 어디서, 왜, 누구에 의해 변경되었습니까?
데이터 관찰 가능성은 기업에 각 데이터 파일, 문서 또는 기록을 추적할 수 있는 기능을 제공합니다. 이러한 정보로 무장한 기업은 정상적인 행동에 대한 기준을 만들 수 있습니다. 이러한 이해는 사이버 공격으로부터 기업을 보호하는 데 매우 중요합니다. 이를 통해 기업은 잠재적으로 위협적인 비정상적이거나 변칙적인 행동을 더 쉽게 식별할 수 있습니다.
또한 데이터 관찰 기능을 통해 기업은 수집된 후 한 번도 건드리거나 사용한 적이 없는 데이터를 식별할 수 있습니다. 비즈니스에 가치가 없을 수 있는 "어둡고" "죽은" 데이터입니다. 기업은 사용하지 않는 데이터를 비용이 덜 드는 스토리지 미디어로 이동해야 하는지, 보관해야 하는지 또는 폐기해야 하는지 결정할 수 있습니다. 마지막으로, 데이터 관찰 가능성을 통해 조직은 정상적인 일상 업무에서 데이터를 어떻게 사용하는지 확인할 수 있습니다. 이를 통해 기업은 실시간으로 데이터를 모니터링하고 비즈니스 프로세스를 보다 민첩하게 개선하며 지속 가능성 목표 달성에 기여할 수 있습니다.
데이터 신뢰성
성공적인 데이터 전략의 세 번째 요소는 데이터가 신뢰할 수 있는지 확인하는 것입니다. 미션 크리티컬 결정을 내리는 데 데이터를 신뢰할 수 있습니까? 데이터 신뢰성은 전략의 다른 두 가지 요소에 의해 구현할 수 있습니다.
- 데이터 검색: 데이터에 대한 이해를 중심으로 한 자동화.
- 데이터 관찰 가능성: 조직 전체의 사용량 모니터링.
- 데이터 신뢰성: 데이터의 출처는 어디입니까? 그 품질은 무엇입니까? 정확합니까? 해당 데이터의 출처를 신뢰할 수 있습니까? 누가 바꿨습니까? 처음부터 끝까지 일관성이 있습니까?
단일 버전의 진실
이 세 가지 요소를 기반으로 구축된 데이터 전략을 통해 기업은 보유한 데이터를 적용하여 비즈니스 운영을 개선하고, 더 나은 비즈니스 의사결정을 내리며, 조직 전체에서 AI 지원 자동화를 추진할 수 있습니다.
중요한 첫 번째 단계는 데이터 검색을 자동화하는 것입니다. 기업은 데이터 검색 자동화를 통해서만 모든 데이터에 대한 인텔리전스를 얻을 수 있습니다. 이는 데이터의 가장 정확하고 정확한 버전을 이해함으로써 단일 버전의 진실을 만드는 열쇠입니다. 기업이 더 나은 비즈니스 의사결정을 내리고 미래의 비즈니스 성공을 주도하기 위해 신뢰할 수 있는 것으로 알게 된 데이터입니다.
Liam Yu는 Hitachi Vantara의 데이터 관리 부문 수석 제품 마케팅 관리자입니다.
Liam Yu
Liam Yu is Senior Product Marketing Manager, VSP One Platform, Hitachi Vantara