Hitachi Vantara의 Pentaho 플랫폼이 제공하는 엔드투엔드 데이터 통합 및 비즈니스 분석 기능을 이용해 영국의 에너지 시장을 견인하는 ElectraLink

과제: 엄청난 양의 데이터, 고객을 위해 데이터 세트를 추출하고 처리하는 과정에서 겪어야 하는 번거로움과 고비용 및 노동 집약적인 프로세스

솔루션 데이터 추출을 능률화하고 고객에게 제공되는 데이터 세트를 표준화하는 단일 데이터 통합 플랫폼과 린 데이터 관리 프로세스 도입

결과

  • 수억 개의 데이터 흐름이 자동으로 추출되어 의미 있는 정보로 변환
  • 린 팀이 이제 에너지 제공 프로세스를 강화하는 새로운 데이터 서비스 개발에 매진
  • 수작업에 의존해 번거롭게 데이터를 처리하는 데 소비되는 시간 절약

과제: 엄청난 양의 데이터, 수작업에 의존한 데이터 추출과 처리

영국 에너지 산업의 중심에는 ElectraLink가 있고, 이 조직의 고유한 데이터 전송 서비스는 250개 이상의 가스 및 전기 회사를 연결시키는 메시징 및 커뮤니케이션 네트워크를 제공합니다. 고객이 에너지 공급업체를 바꾸거나 새로운 스마트 미터가 설치될 때마다 이 네트워크를 통해 데이터가 전송됩니다. 한 달에 처리되는 데이터의 양이 130GB가 넘습니다.

앞으로 처리량은 더욱 늘어날 전망입니다. 정부 주도 프로그램의 일환으로 매달 300,000개에 육박하는 스마트 미터가 설치됩니다. 2020년이면 영국의 스마트 미터는 2,800만 개 이상에 이르게 됩니다. 이러한 대규모 프로그램이 추진되면서 ElectraLink의 데이터 전송 서비스 네트워크를 통해 전송되는 데이터의 양은 매년 25%씩 증가하고 있습니다.

ElectraLink는 에너지 시장의 보고와 같은 귀중한 정보를 축적하고 있습니다. 하지만 이와 동시에 데이터 액세스 및 사용량 제한을 준수해야 합니다. 예를 들어, 에너지 공급업체는 자신의 고유 데이터에는 제한 없이 자유롭게 접근할 수 있지만, 다른 공급업체 데이터는 익명화된 집계 형태로만 볼 수 있습니다.

ElectraLink는 이러한 데이터 서비스를 상품화하여 제공합니다. 에너지 데이터는 구조화되고 잘 구분되어 있지만 양적으로 엄청나고 대단히 복잡합니다.

이 회사는 고비용이 드는 번거롭고 노동 집약적인 프로세스에 의존해 각 애플리케이션마다 수정이 필요한 임시 쿼리를 실행하고 있었습니다. 데이터 추출 효율을 높이고 고객에게 제공되는 데이터 세트를 표준화하기 위한 보다 간소화된 린 데이터 관리 프로세스가 필요했습니다.

수억 개의 데이터 흐름을 추출한 다음, 고객이 에너지 제공 프로세스를 강화하기 위해 기꺼이 구입하고 이용할 만한 의미 있는 정보를 도출하기 위해서는 많은 작업이 선행되어야 합니다. Pentaho는 이 과정을 간편하게 만들어줍니다.
– Dan Hopkinson, 네트워크 및 EMI 서비스 책임자, ElectraLink

솔루션: 여러 소스의 데이터를 단일 플랫폼에 통합

ElectraLink는 여러 소스의 데이터를 단일 플랫폼으로 통합하고 데이터를 거의 실시간으로 분석하기 위해 Hitachi Vantara의 Pentaho 데이터 통합 및 Pentaho 비즈니스 분석 플랫폼으로 눈길을 돌렸습니다.

이 회사의 IT 아키텍처에는 보안 클라우드 서비스 플랫폼으로 역할하는 AWS(Amazon Web Services), Vertica 데이터 웨어하우스, FTP 포털용 Egnyte, 데이터 세트를 생성하는 프로세스를 자동화하고 조정하기 위한 Pentaho Data Integration이 포함되어 있습니다. ElectraLink는 지난 2016년에 Pentaho Data Integration을 구현했지만, 상품 제공 모델의 일부로 플랫폼 기능과 대시보드를 더 폭넓게 이용하려는 계획을 세우고 있습니다.

ElectraLink가 데이터 세트를 보안 FTP 포털에 업로드하면 고객들이 이 데이터에 액세스할 수 있습니다. 매일 밤 전체 데이터 전송 서비스 네트워크가 새롭게 업데이트됩니다. “환경을 다시 정비하고 쿼리를 실행한 다음 데이터를 꾸려서 고객이 여기에 액세스할 수 있게 FTP 서버에 다시 올립니다.”라고 ElectraLink에서 네트워크 및 EMI 서비스 책임자로 일하는 Dan Hopkinson은 설명합니다. “당사는 비용 절감을 위해 최소한의 시간 동안 환경을 가동 상태로 유지합니다. 비용 억제, 자동화, 능률화, 린 프로세스가 당사에 매우 중요합니다.”

ElectraLink는 에너지 산업을 지원하기 위한 최초의 듀얼-연료 카탈로그로서 전기와 가스 데이터를 동시에 처리하고 그 흐름을 규정하기 위한 비즈니스 규약을 만드는 과정에도 Pentaho Data Integration을 활용합니다. Pentaho의 자동화 기능은 비즈니스 규약을 최신 상태로 유지하는데 중추적 역할을 합니다. “프로세스가 변경될 때마다 코드를 변경할 필요가 없도록 카탈로그를 Pentaho에 연결시키는 것이 관건입니다.”라고 Hopkinson은 말합니다.

결과: 시장에 새롭고 혁신적인 데이터 서비스 출시

모든 경고 및 자동화 관리 작업을 Pentaho Data Integration이 처리하므로 네 명으로 구성된 Hopkinson 팀은 새로운 데이터 서비스를 개발하고 기존 데이터 세트를 강화하여 구독이나 사용량 기반으로 고객에게 판매하는 데 주력할 수 있습니다. “요청에 따라 데이터만 효과적으로 제공하는 매우 단순한 데이터 제공부터 훨씬 더 복잡한 분석 상품까지 다양한 상품이 준비되어 있습니다.”라고 Hopkinson은 설명합니다.

예를 들어, ElectraLink가 개발한 상품 중 하나로 영국 배전망에서 이루어지는 모든 에너지 발전을 보여주는 데이터 세트가 있습니다. 여기에는 송전망과 달리 배전망에 직접 연결된 소규모 풍력 발전소, 태양력 발전소, 소규모 발전기 등이 모두 포함됩니다. ElectraLink는 패턴 매칭을 통해 네트워크에서 이동하는 소비 터이터에 기초해 포함된 발전기를 확인할 수 있습니다. “영국 전체에서 이루어지는 에너지 발전 현황을 이처럼 포괄적으로 보여줄 수 있는 곳은 ElectraLink뿐입니다. 복잡하면서 대단히 귀중한 데이터 세트입니다.”라고 Hopkinson은 말합니다.

ElectraLink 내다보는 다음 도전 과제는 Pentaho의 자동화 기능을 활용해 데이터에 대한 API 액세스를 제공하는 것입니다. 상품으로 출시되면 제3자가 가격 비교와 같은 데이터에 실시간으로 액세스할 수 있게 됩니다. 그러면 공급업체 변경 프로세스가 더욱 효율적으로 이루어지고 더 많은 고객이 에너지 공급업체를 보다 쉽게 전환할 수 있게 될 것입니다.

환영합니다!

Hitachi Data Systems, Pentaho, 그리고 Hitachi Insight Group이 이제 하나의 회사 Hitachi Vantara.

로 재탄생했습니다. 신뢰할 수 있는 파트너를 통해 데이터 중심의 솔루션과 혁신을 실현하십시오.