Что такое DataOps? Объяснение всех аспектов операций с данными.

DataOps — не столько дискретная технологическая платформа, сколько подход или методология. Она предполагает объединение множества технологий и приемов работы с данными в интегрированную среду. Данные из ваших источников легко проходят через эту систему, подвергаясь обработке и обогащению и попадая в хранилище в виде, готовом для потребления, а это помогает вам развивать свой бизнес. Вместе с тем, для достижения успеха важны ваши технологии, процессы и, конечно, сотрудники.

Инфраструктура DataOps состоит из пяти основных элементов, которые охватывают все аспекты: от технологий до коренного преобразования культуры. Первый — это технологии, многие из которых уже, возможно, используются на вашем предприятии (например, автоматизация ИТ-инфраструктуры, инструменты управления данными), а также ИИ и машинное обучение. Второй элемент — адаптивная архитектура, которая обеспечивает непрерывное совершенствование технологий, услуг и процессов. Третий элемент — это обогащение данных для их точного анализа в осмысленном контексте. Оно достигается за счет интеллектуальных метаданных, которые система создает автоматически, часто в момент получения данных, что впоследствии позволяет сэкономить время в конвейере данных. Четвертый элемент — методология DataOps для построения и развертывания аналитики и конвейеров данных в соответствии с вашим подходом к управлению данными и моделями.

Пятый элемент инфраструктуры DataOps наиболее важен и сложен: это культура и люди. Чтобы полностью раскрыть потенциал DataOps, вы должны иметь (или создать) культуру сотрудничества между командами, ответственными за эксплуатацию ИТ-инфраструктуры и облака, архитектуру и инженерию данных, а также потребителями данных, например аналитиками и специалистами по обработке. Только в этом случае DataOps сможет доставлять нужные данные туда и тогда, где и когда они необходимы, чтобы обеспечивать реальную отдачу для бизнеса.

Архитектура DataOps должна быть в высокой степени адаптивной, поскольку требования к данным и способы их использования меняются быстро и непрерывно. У ваших потребителей данных — аналитиков, исследователей и руководителей — по мере изменения их бизнес-приоритетов и конъюнктуры рынка возникают разнообразные новые потребности. Адаптивная архитектура принимает эти изменения и подстраивается под них, позволяя улучшить потоки данных и качество полезной информации на каждом этапе.

Успешная архитектура DataOps требует совместной работы в масштабах всей компании и поддерживает такое сотрудничество. Потребители данных извлекают данные и получают информацию для своих бизнес-инициатив, и им нужна возможность быстро создавать и структурировать свои данные и конвейеры, через которые эти данные проходят. Архитектура должна максимально упрощать эти операции с данными, способствуя адаптации и повышению эффективности бизнеса.

Вы, конечно, представляете, насколько сложен этот вопрос. Но мы расскажем вам о пяти важнейших аспектах или этапах на пути к раскрытию потенциала ваших данных. Сначала оцените и оптимизируйте свой портфель технологий и процессы, чтобы устранить избыточность и консолидировать контроль внутри команд специалистов. На следующем этапе следует провести объединение команд, чтобы стимулировать обмен идеями и уменьшить число противоречий, мешающих сотрудничеству. Третий этап предусматривает интеграцию методов DataOps в команды и конвейеры данных. Этот этап может оказаться сложным, если совместная работа требует от сотрудников использования незнакомых процессов и доверия к другим командам, с которыми они раньше не работали.

К четвертому этапу сотрудники уже работают согласованно, поэтому пора автоматизировать процессы. Автоматизация повышает эффективность конвейеров данных и операций с данными. Однако это еще не все. Пятый и последний этап — дать потребителям данных возможность работать с ними самостоятельно. Именно здесь данные быстро превращаются в информацию и идеи, позволяя полностью раскрыть потенциал DataOps, который теперь становится очевидным для всей вашей организации. Не забывайте пересматривать каждый компонент операций с данными и тщательно оценивать свои процессы, продолжая улучшать, адаптировать и модернизировать их, чтобы получать максимальную пользу.

Для внедрения методологии DataOps на предприятии используется широкий набор базовых технологий и процессов, включая управление данными (каталоги, виртуализация и конвейеры данных, управление моделью ИИ), управление версиями, автоматизацию тестирования, развертывания и управления выпусками, управление в среде выполнения и даже совместную работу. При автоматизации тестирования и развертывания для поддержки рабочих процессов используются ИИ и машинное обучение, что позволяет исключить конфигурирование вручную. Технологии помогут вам избежать проблем с совместимостью. Независимо от того, интегрируете ли вы свои технологии в единую основу или формируете совокупность совместимых технологий, они должны работать во всех текущих и будущих средах данных: локальных, облачных, многооблачных и гибридных.

Для успешного внедрения DataOps жизненно необходимы «умные» метаданные. Чтобы повысить качество метаданных, используйте интеллектуальные технологии с широким применением ИИ и машинного обучения. Автоматическое создание метаданных при получении данных, автоматическое обнаружение их в среде выполнения и маркировка объектов данных соответствующими тегами позволяют значительно сократить объем ручной работы. В результате вы сможете ускорить разработку конвейеров данных, широкое внедрение методологии в организации и эффективный анализ, выполняемый командами сотрудников.

DataOps — это методология и ментальный подход, в основе которых лежит совместная работа. Не существует какого-то одного инженера или другого сотрудника, который обеспечивает успех DataOps. Совместная работа в компании охватывает всех: от сотрудников ИТ-отдела до экспертов по данным и потребителей данных. Ментальная разобщенность и территориальная обособленность исчезают благодаря совместной работе команд и широкому пониманию того, что ваши данные принадлежат всей компании.

Вместе с тем это не означает, что в деятельности всей компании растворяются индивидуальные навыки. Это означает, что команды используют свои навыки по-разному. Инженерия данных, повышение их качества, их профилирование, анализ и обработка, а также управление ими — все эти направления деятельности по-прежнему необходимы и полезны. Теперь они помогают инфраструктуре DataOps снабжать потребителей данных: аналитиков данных и бизнес-аналитиков. DataOps дает им новые возможности для быстрого и самостоятельного исследования данных. Меняется и роль управляющих данными: теперь их просят поддерживать качество данных и улучшать метаданные. Есть, конечно, и инженеры данных, которые вводят данные и обнаруживают в них пробелы, которые необходимо заполнить. А ИТ-специалисты и операторы поддерживают и оптимизируют операции с данными.

DataOps — методология, а не продукт, который можно предлагать по модели «хранилище как услуга» (SaaS). Однако SaaS может быть частью подхода DataOps в том, что касается добавления микросервисов, управления системой и потоками данных в масштабе организации. Несколько инструментов DataOps, которые вам потребуются, доступны по модели SaaS.

Быстрый ответ заключается в том, что ни один бизнес еще не реализовал в полной мере весь потенциал DataOps. Потребность в улучшениях существует всегда и у всех. Однако кое-кто вырвался далеко вперед. В основном это высокотехнологичные компании, имеющие большие команды DevOps, которые теперь также поддерживают инициативы DataOps. Но в более широком смысле многие организации, возможно, уже используют DataOps в том или ином виде, формально даже не зная об этом или не называя это так. Проекты, направленные на гибкое использование данных, нередко тесно связаны с инициативами DataOps.

Также следует добавить, что мы применяем DataOps в собственном бизнесе. Например, мы поместили корпоративную аналитику, отчетность и платформу Интернета вещей в архитектуру озера данных, используя хранилища объектов и Pentaho. Это позволило нам повысить эффективность, снизить стоимость операций и создать новые возможности для бизнеса. Мы достигли 30%-го улучшения в операциях анализа данных, более чем на 50 % улучшили качество и согласованность данных, а также сократили расходы на эксплуатацию платформы на 20 %. Мы называем это преимуществами DataOps для вас.

DataOps — более новая и широкая концепция, чем DevOps. Как и DevOps, DataOps автоматизирует и упрощает процессы, а также опирается на новые способы совместной работы команд и отделов. DevOps поддерживает взаимодействие специалистов по разработке и эксплуатации в сфере ИТ. DataOps поддерживает совместную работу и делает ее обязательной в масштабе предприятия, охватывая всех сотрудников: от ИТ-специалистов до экспертов по данным и потребителей данных. DevOps повышает эффективность ИТ, а DataOps — всей компании.

И DevOps, и DataOps вынуждают компании переосмыслить проблему от начала до конца, включая все цели. DevOps расширяет масштаб проблемы: она перестает быть проблемой только разработки или эксплуатации и рассматривается как проблема DevOps в целом. DataOps делает то же в масштабе организации: приходится продумывать потоки данных от создания до использования. Однако DataOps затрагивает гораздо больше групп, ведь данные использует вся организация. DataOps также имеет более сложную структуру. В DevOps, по существу, есть один конвейер доставки (код для выполнения), в то время как в DataOps присутствуют развертывание в производственной среде, а также конвейеры данных для обучения моделей данных и выполнения потоков данных. Вам необходимо постоянно адаптировать, улучшать и оценивать все эти элементы.

Недавнее исследование, проведенное компанией 451 Research, «DataOps: основа для гибкости, безопасности и трансформационных изменений», дает важную информацию от организаций, которые уже используют методологии DataOps. Отчет об исследовании завершается следующими выводами:

• Концепция DataOps касается в основном эксплуатационной эффективности, однако эти улучшения связаны не только с гибкостью, но также с безопасностью и трансформационными изменениями.
• Практически все компании, которые уже применяют DataOps, утверждают, что это оказывает положительное влияние на их организацию, и хотя DataOps помогает повысить гибкость и эффективность, наибольшие преимущества на самом деле связаны с безопасностью и нормативно-правовым соответствием.
• Предприятия, внедрившие DataOps, сделали дополнительный шаг в плане перехода к облаку и реализации стратегий цифровой трансформации. Таким образом, они имеют больше возможностей для получения конкурентных преимуществ.
• Кроме того, пионеры в области DataOps получают возможность «удвоить ставку», чтобы еще больше инвестировать в продукты и услуги, а также в процессы и организационные изменения.
• Таким образом, результаты опроса подтверждают наше мнение о том, что, хотя сегодня этот термин еще не стал общеизвестным, можно ожидать, что в ближайшие годы DataOps будет оказывать растущее влияние на все более широкую часть рынка.

Hitachi Vantara — одна из таких компаний. Мы первопроходцы в разработке DataOps, внедряем эту методологию в собственном бизнесе и работаем с нашими клиентами и партнерами над созданием и оптимизацией их систем DataOps. Компания Hitachi, имеющая почти 110 лет опыта в области операционных технологий и более чем 60-летний опыт в сфере ИТ, обладает более обширными знаниями, чем любой другой разработчик DataOps.

Наши клиенты получают преимущества DataOps благодаря ряду предложений, направленных на поддержку так называемой лестницы данных, ведущей к ценности (или SEAM). Эти предложения открывают для клиентов такие возможности:

ХРАНЕНИЕ. Храните данные, управляйте ими и защищайте их с наименьшими затратами и с соблюдением надлежащих уровней обслуживания в решениях для периферии, частных облаков, гибридных и многооблачных сред.
ОБОГАЩЕНИЕ. Обогащайте данные путем классификации и каталогизации на основе метаданных, чтобы обеспечить контекст для интеллектуального управления данными.
АКТИВАЦИЯ. Обнаруживайте, интегрируйте и координируйте ресурсы корпоративных данных, используйте аналитику, чтобы генерировать информацию, обладающую практической ценностью, для каждого взаимодействия и направления деятельности на предприятии.
МОНЕТИЗАЦИЯ. Достигайте результатов, которые отражают полную экономическую ценность всех данных внутри компании-клиента и за ее пределами.

Наконец, важно, чтобы клиенты выбрали в качестве партнера Hitachi Vantara, компанию, которая будет вместе с ними внедрять инновации, чтобы успешно реализовать их видение. Это означает, что мы всегда отталкиваемся от результата, которого хочет достичь клиент. Мы соединяем этот подход с имеющимся у нас опытом работы в отрасли и внедряем интегрированные системы, которые обеспечивают максимальную ценность данных на каждом этапе SEAM. Безупречный результат на каждом этапе обеспечивает успех на следующем уровне, и клиенты получают возможность резко ускорить переход к цифровой зрелости и получить реальные преимущества от внедрения DataOps.