ElectraLink обеспечивает работу энергетического рынка Великобритании, используя комплексные возможности интеграции данных и бизнес-аналитики платформы Pentaho от Hitachi Vantara

Задача: огромные объемы данных и громоздкий, дорогостоящий и трудоемкий процесс извлечения и обработки наборов данных для клиентов.

Решение: единая платформа интеграции данных и экономичный процесс управления ими для оптимизации их извлечения и стандартизации наборов данных, предоставляемых клиентам.

Результаты

  • Сотни миллионов потоков данных автоматически извлекаются и преобразуются в ценную информацию.
  • Небольшая команда теперь сосредоточена на разработке новых услуг по работе с данными для повышения эффективности процессов доставки энергии.
  • Уменьшились затраты времени на громоздкий процесс ручной обработки данных.

Задача: большие объемы данных извлекаются и обрабатываются вручную

Сердцем энергетической отрасли Великобритании является компания ElectraLink и ее проприетарная служба Data Transfer Service. Это сеть передачи данных и сообщений, к которой подключены более 250 газовых и энергетических компаний. Каждый раз, когда клиент меняет поставщика энергии или устанавливает «умный» счетчик, данные передаются по этой сети. Общий объем передаваемых данных достигает 130 ГБ ежемесячно.

Скоро компании потребуется обрабатывать намного большие объемы данных. В рамках обязательной государственной программы ежемесячно устанавливается почти 300 тыс. «умных» счетчиков. К 2020 г. в Великобритании будет более 28 млн таких счетчиков. В ходе этой масштабной программы объемы данных, передаваемых по сети Data Transfer Service компании ElectraLink, увеличиваются на 25 % ежегодно.

ElectraLink накопила много ценнейшей информации о рынке энергетики. Однако компания должна соблюдать ограничения в отношении доступа к данным и их использования. Например, поставщики энергоресурсов имеют полный доступ к своим собственным данным, но могут просматривать данные других поставщиков только в агрегированной, обезличенной форме.

ElectraLink предоставляет эти услуги доступа к данным как коммерческое предложение. Данные об энергетическом рынке структурированы и хорошо определены, однако они сложны, а их объемы громадны.

Для выполнения специализированных запросов, которые часто приходилось модифицировать для каждой задачи, компания использовала громоздкий, дорогостоящий и трудозатратный процесс. Ей требовался экономичный процесс управления данными, чтобы оптимизировать их получение и стандартизировать наборы данных, предоставляемые клиентам.

Для извлечения сотен миллионов потоков данных и их преобразования в значимую информацию, которую наши клиенты смогут приобрести и использовать для оптимизации процессов поставки энергии, необходимо проделать большую работу. Pentaho упрощает эту задачу.
Дэн Хопкинсон (Dan Hopkinson), руководитель сети и услуг EMI, ElectraLink

Решение: интеграция данных из многочисленных источников на единой платформе

Компания ElectraLink выбрала продукты Pentaho Data Integration и Pentaho Business Analytics, которые предлагает Hitachi Vantara, чтобы интегрировать данные из множества источников на единой платформе и сделать их доступными для анализа практически в режиме реального времени.

В составе своей ИТ-инфраструктуры компания использует Amazon Web Services (AWS) в качестве платформы защищенных облачных услуг, хранилище данных Vertica, FTP-портал Egnyte и Pentaho Data Integration как средство автоматизации процессов и управления созданием наборов данных. ElectraLink внедрила Pentaho Data Integration в конце 2016 г., при этом компания планирует расширить использование функциональных возможностей платформы и информационных панелей в рамках своей модели доставки продукта.

ElectraLink выгружает наборы данных на защищенный FTP-портал, где они становятся доступными для клиентов. Вся сеть передачи данных Data Transfer Service обновляется каждую ночь. «Мы ускоряем работу наших сред, выполняем запросы, формируем пакеты данных и отправляем их обратно на FTP-серверы, где клиенты получают доступ к ним, — рассказывает Дэн Хопкинсон (Dan Hopkinson), руководитель направления сетей и служб EMI ElectraLink. — Мы поддерживаем актуальность наших сред, тратя на это минимум времени и сокращая таким образом затраты. Контроль затрат, автоматизация, рационализация и оптимизация процессов крайне важны для нас».

ElectraLink также использует решение Pentaho Data Integration для создания бизнес-глоссария процессов и потоков данных (как по электричеству, так и по газу). Это первый в отрасли каталог, охватывающий два вида энергетических ресурсов. Функциональные возможности автоматизации Pentaho играют важную роль в поддержании актуальности бизнес-глоссария. «Что меня особенно воодушевляет, так это связь каталога с Pentaho, благодаря которой нам не нужно менять код при каждом изменении процесса», — говорит Хопкинсон.

Результат: вывод на рынок инновационных услуг доступа к данным

Pentaho Data Integration используется для управления всеми оповещениями и автоматизацией, что дает небольшой команде Хопкинсона, состоящей всего из четырех человек, возможность сосредоточиться на разработке новых услуг для работы с данными и на расширении имеющихся наборов данных для продажи клиентам по подписке или на основе объема. «У нас есть целый ряд предложений: от простых каналов данных, где мы эффективно предоставляем данные по запросу, до гораздо более сложных аналитических продуктов», — рассказывает Хопкинсон.

Например, один из продуктов, разработанных ElectraLink, — это набор данных, в котором отражено генерирование энергии во всей распределительной сети Великобритании. Речь идет обо всех небольших ветровых и солнечных электростанциях, а также малых генераторах, подключенных напрямую к распределительной сети, а не к сети электропередач. ElectraLink смогла идентифицировать встроенные генераторы на основе данных о потреблении, передаваемых по сети, путем сопоставления шаблонов. «ElectraLink — единственная организация, предоставляющая такую полную картину производства энергии по всей Великобритании. Это сложный и невероятно ценный набор данных», — говорит Хопкинсон.

Следующий шаг стратегии ElectraLink — использование функциональных возможностей Pentaho в сфере автоматизации для предоставления доступа к данным через API. Такой подход позволит третьим сторонам получать доступ к данным, например к сравнению цен, в режиме реального времени. Это поможет оптимизировать процесс смены поставщика и упростит для многих клиентов переход к новому поставщику энергии.