Pentaho 플랫폼 스위트의 채택을 촉진하는 6가지 트렌드

Matt Howard

2021년 2월 3일

혁신적인 조직은 DataOps와 새로운 기술을 필요로 합니다. 기존의 구식 데이터 통합 방식만으로는 더 이상 충분하지 않기 때문입니다. 전통적인 접근 방식을 사용할 경우, 단단히 고정된 단일 구조(monolithic) 데이터 파이프라인을 만들어, 데이터를 비즈니스 속도에 맞춰 신속하게 인사이트로 전환할 수 없습니다. 다음과 같은 트렌드들이 Hitachi의 Pentaho Platform Suite 채택을 촉진하고 있습니다:

1. 하이브리드 클라우드와 멀티클라우드는 미래입니다.

모든 산업의 기업들은 현금 유동성을 유지하고, 정보기술(IT) 비용을 최적화하며, 원격 근무가 잦은 사용자들을 지원하고 보안을 강화하기 위해 클라우드로 전환하고 있습니다. 기업들은 민첩성과 복원력(agility & resiliency)을 보장할 수 있는 최선의 방법을 고민하면서, 점점 더 멀티클라우드(multi-cloud)와 하이브리드 클라우드(hybrid cloud) 역량, 그리고 엣지 컴퓨팅(edge competencies)을 탐색하고 있습니다. IDC에 따르면, 2022년까지 전 세계 기업의 90% 이상이 온프레미스/전용 프라이빗 클라우드, 여러 퍼블릭 클라우드, 기존 레거시 플랫폼을 혼합하여 인프라 요구 사항을 충족할 것으로 예상됩니다.¹

2. 최신 아키텍처는 빅데이터의 확장성을 향상시킵니다.

기업들은 빅데이터 활용 방식을 재고하며, 단일화된 Hadoop 기반 데이터 레이크에서 오브젝트 스토리지를 기반으로 한 분산형 데이터 레이크로 전환하고 있습니다. 현재는 하나의 데이터 패브릭과 다수의 엔진 및 소비자 구조를 갖추고 있습니다. 이러한 접근 방식에서는 컴퓨팅과 스토리지가 분리된 상태로 유지되며, 다양한 기술을 통해 데이터에 접근할 수 있어 최종 사용자에게 안전하고 간편하며 비용 효율적인 접근이 가능해집니다.

3. 새로운 인사이트는 ‘무엇’에서 ‘어떻게’로 나아가게 합니다.

오늘날의 조직은 정형, 비정형 및 반정형 데이터를 포함하여 광범위한 데이터로 작업합니다. 이 데이터는 사람, 기계 및 애플리케이션에 의해 생성될 수 있습니다. 문제는 어떤 데이터를 보유하고 있는지 파악한 다음 비즈니스 사용자가 보다 신속하게 실행 가능한 인사이트를 생성하고 사전 의사 결정을 내릴 수 있도록 이 모든 다양한 데이터를 어떻게 모아야 하는지 파악하는 것입니다.

4. IoT 에지 인텔리전스의 필요성은 하이브리드 솔루션을 주도하고 있습니다.

인더스트리 4.0, 스마트 시티, 헬스케어 사용 사례 및 기타 많은 IoT 애플리케이션과 같은 트렌드는 엣지에서 더 높은 인텔리전스에 대한 요구를 유도하며 이 엣지 인텔리전스는 일종의 하이브리드 컴퓨팅이라고 볼 수 있습니다. IDC에 따르면, 2024년까지 전체 조직의 4분의 1 정도가 엣지 데이터를 클라우드 기반 애플리케이션과 통합해 비즈니스 민첩성을 높일 예정이며, 이 과정에서는 클라우드 제공업체와 통신 서비스 제공업체 간의 협력이 중요한 역할을 하게 됩니다.²

5. AI와 ML은 빠르게 부가가치를 창출하고 있습니다.

오늘날의 혁신가들은 머신러닝(ML)으로부터 가치를 창출하기 위해 최선을 다하고 있으며, “무엇을 배울 수 있을까”에서 “어떻게 실행할 수 있을까”로 초점을 전환하고 있습니다. 인공지능(AI)과 머신러닝은 이러한 노력을 지원하기 위해 실험실을 벗어나 생산 현장에 도입되며, 극적인 변화를 촉진하고 있습니다. 현재 시중의 도구는 개발 생명주기에 초점을 맞추고 생산 생명주기는 고려하지 않아, AI와 ML을 생산 환경으로 이전하는 데 따르는 과제를 해결하지 못하고 있습니다.

6. 위험과 규정 준수는 점점 더 복잡해지고 있습니다.

데이터 관련 위험 및 규정 준수는 여전히 지속적인 관심사이며, 일반 데이터 보호 규정(GDPR)과 같은 개인정보 보호 규정은 오늘날 데이터가 급증하는 환경에서 더욱 까다로운 과제로 대두되고 있습니다. 수동 방식은 규모, 운영 준비 시간, 정확도 요구사항을 따라잡지 못하고 있습니다. 결과적으로 조직들은 수동 기법 사용 시 직면하는 어려움을 극복하기 위해 인공지능 기반 자동화가 필요합니다.

새로운 것이 필요합니다: DataOps

DataOps는 지능(Intelligence), 자동화(Automation), 분석(Analytics)을 활용하여 데이터를 가장 필요로 하는 사람들에게 인사이트를 제공합니다. DataOps는 데이터 제공 과정을 간소화하여, 오늘날 비즈니스를 운영하는 방법을 데이터 기반으로 이해하고, 시장과 소비자가 변화함에 따라 빠르게 적응할 수 있도록 돕습니다.

DataOps는 DevOps, 지속적인 통합 및 지속적인 제공의 원칙을 이전의 데이터 제공 개념과 결합하여 다음과 같은 작업을 수행할 수 있습니다.

분산된 환경에서 데이터 관리 작업을 간소화하고 자동화하여 보조를 맞출 수 있습니다.
클라우드 환경 전반의 데이터 통합, 메타데이터 관리 및 거버넌스를 지원합니다.
거버넌스 및 협업을 지원하여 데이터 및 분석 기능을 위한 셀프 서비스를 제공하여 LOB(Line-of-Business) 조직의 역량을 강화합니다.
오늘날의 분산 및 원격 업무 환경에서 데이터 관리를 용이하게 합니다.

Pentaho 플랫폼 스위트는 지능형 데이터 관리의 잠재력을 활용할 수 있도록 도와줍니다. 이 시스템은 데이터 프로파일링 및 카탈로그, 에지 디바이스 관리 및 전체 범위의 비즈니스 분석을 모두 하나의 민첩한 제품군으로 통합합니다. 기존 데이터 인프라 및 클라우드 환경과 호환되므로 경직된 데이터 사일로를 포괄적인 엣지 코어 클라우드 데이터 패브릭으로 변환할 수 있습니다.

혁신가들이 Pentaho 플랫폼 제품군으로 성과를 개선하는 방법

통해 조직은 IT와 운영 기술(OT)을 통합하여 데이터 작업 방식을 간소화할 수 있습니다. 결과적으로, 이 협업은 더 나은 인사이트를 열어주고, 더 현명한 비즈니스 의사 결정을 지원하며, 효율성과 비용 절감을 촉진합니다. 다음은 DataOps 접근 방식을 채택한 혁신가들의 긍정적인 결과입니다.

확장성 향상: 금융 서비스 업계의 강자가 내부 고객 지원을 위해 전통적인 데이터 서비스 플랫폼을 구축했으며, 이는 모두 Pentaho 플랫폼 제품군(Suite)을 기반으로 표준화되었습니다. 이 플랫폼을 통해 해당 기관은 은행 내 다양한 고객사를 지원하고 유연하며 확장 가능한 솔루션으로 광범위한 데이터 통합 과제를 해결할 수 있게 되었습니다.
IT와 OT의 긴밀한 협력: 수자원, 에너지 및 환경 부문의 네트워크 및 서비스 관리 및 개발 분야의 리더는 수자원 유틸리티 고객 및 프로세스를 지원하는 방법을 간소화하고자 했습니다. 그럼에도 불구하고 이 대규모 유틸리티는 IT 및 OT 운영을 불완전하게 통합했습니다. 해당 기업은 IT 및 OT 데이터를 보다 효과적으로 통합할 수 있는 통일된 아키텍처를 위해 Pentaho 플랫폼 제품군(Suite)을 선택했으며, 이 계획 지원을 위해 Hitachi Vantara의 전략적 컨설팅을 활용하였습니다.
데이터 스토리지를 보다 비용 효율적이고 민첩하게 만들기: 또 다른 대형 금융 기관은 데이터 레이크 최적화 문제를 해결하기 위해 DataOps 접근법을 적용하고 있습니다. 전통적인 Hadoop 기반 데이터 레이크는 스토리지와 컴퓨팅을 결합하여, 데이터 레이크에 저장된 모든 정보를 연령이나 사용량에 관계없이 동일한 환경에서 관리합니다. 그 결과, 데이터 레이크가 확장됨에 따라 조직은 Hadoop 라이선스와 스토리지 비용을 막대하게 지불하게 되지만, 대부분의 데이터는 실제로 활용되지 않습니다. Lumada Data Optimizer for Hadoop은 데이터를 오브젝트 스토리지(Object Storage)로 계층화(tiering)하고, 스토리지와 컴퓨트의 긴밀한 결합을 해제하여, 조직이 대량의 데이터를 저비용 오브젝트 스토리지로 이전할 수 있도록 합니다. 백그라운드에서는 Lumada Data Optimizer for Hadoop이 데이터 레이크의 핫 영역과 콜드 영역 간 데이터를 효율적으로 이동시켜, 스토리지 비용 절감과 효율성을 동시에 제공합니다.
더 깊은 인사이트를 위한 자동화: 선도적인 모기지 조직이 데이터 카탈로그 문제를 해결하기 위해 DataOps 접근 방식을 적용하고 있습니다. 이 조직은 매일 다양한 출처에서 정기적으로 데이터를 가져옵니다. 이 회사는 데이터 레이크에 필요한 데이터 세트 속성을 효율적으로 미리 채우고 API 기반 자동화를 통해 처리 효율성을 높이고자 했습니다. Lumada 데이터 카탈로그를 통해 조직은 매일 1,000만 개 이상의 파일을 수집하고 카탈로그화할 수 있으며 완전히 사용자 정의하고 검색 가능한 사용자 인터페이스를 제공합니다. 이 자동화 솔루션은 데이터베이스, 데이터 웨어하우스 및 데이터 레이크의 열에 의미 있고 비즈니스 관련성이 높은 표준화된 레이블을 태그하여 비즈니스 사용자가 여러 수동 작업을 수행하지 않고도 더 나은 통찰력으로 데이터를 볼 수 있도록 지원합니다.
더 나은 액세스를 통해 더 현명한 의사 결정 추진: 수천만 고객에게 모바일, 인터넷 및 TV 서비스를 제공하는 대형 국내 통신사는 비즈니스 핵심 데이터 접근을 간소화하고 프로세스를 최적화하며 의사결정 능력을 향상시키고자 했습니다. 이 역동적인 시장 공간에서 비즈니스 민첩성은 필수적이며, Lumada Data Integration 및 Lumada Analytics를 통해 300GB의 데이터를 단일 플랫폼에 집계했습니다. 더 중요한 것은 실시간으로 보고 및 분석을 위해 데이터를 보다 쉽게 사용할 수 있게 되었다는 것입니다. 데이터 프로세스 최적화를 통해 비용을 절감하는 동시에 24시간 연중무휴 데이터 접근을 자동화했습니다. 이제 비즈니스 사용자는 회사의 서비스 운영에 대한 360도 전방위적 시각을 바탕으로 더 나은 비즈니스 의사 결정을 지원하는 스마트한 분석 기능을 활용할 수 있습니다.

더욱 혁신적인 변화가 다가오고 있습니다

Hitachi는 혁신적인 조직이 기존의 단절된(siloed) 접근 방식을 넘어 새로운 데이터 패러다임으로 나아갈 수 있도록, Pentaho 플랫폼의 기능을 지속적으로 강화하고 개선하고 있습니다. 기술, 프로세스, 사람의 결합이 DataOps와 새로운 혁신 방식을 가능하게 합니다. 당사의 첨단 기술은 강력하지만, 이는 우리의 경쟁력 중 하나에 불과합니다. Hitachi 그룹사와 파트너 생태계 전반에 걸친 깊은 IT 및 OT 전문성 또한 우리의 강점입니다. 우리는 오랜 기간 고객이 비즈니스를 강화하면서, 세상에 긍정적인 영향을 미치도록 지원해 왔습니다. 함께, 우리는 고객의 특정 요구에 맞춘 솔루션을 설계하고, 성공으로 이어지는 혁신을 촉진합니다.

자세한 내용은 Pentaho 플랫폼 제품군을 구축한 이유 및 데이터 수익 창출을 위한 5단계를 참조하세요.

Hitachi가 DataOps의 가능성을 실현하는 데 어떻게 도움이 되는지 자세히 알아보려면, 다가오는 웨비나에 등록하거나, 당사 웹사이트를 방문하거나, 당사에 문의주시기 바랍니다.

출처:
1: IDC FutureScape: Worldwide Cloud 2020 Predictions, Doc # US44640719, 2019년 10월
2: IDC, “IDC FutureScape: Worldwide Cloud 2021 Predictions”, Doc # US46420120, 2020년 12월