Lakehouse Logic: Por Qué El Almacenamiento De Objetos Es El Nuevo Motor De Análisis

El análisis de datos se reduce a un objetivo simple. Proporcionar a las personas, y cada vez más a los agentes de IA, la información correcta, en el lugar correcto, en el momento correcto.

Eso es todo. Es fácil de decir. Pero históricamente difícil de lograr.

La buena noticia es que el panorama está cambiando. Con el auge de las arquitecturas de data lakehouse, los formatos de tabla abierta y la creciente importancia de los metadatos, especialmente en la era de GenAI, el almacenamiento de objetos se está convirtiendo en una plataforma de alto rendimiento para análisis estructurados.

Exploremos cómo llegamos aquí y por qué es importante este cambio.

De Almacenes De Datos A Lagos De Datos A Lakehouses

Para comprender lo lejos que han llegado los análisis, considere que hace solo unas décadas, el proceso de extraer y transformar datos y almacenarlos en un almacén de datos consumía mucho tiempo en el mejor de los casos. Los usuarios empresariales proporcionaron los requisitos y la experiencia en el dominio, pero el desarrollo de toda la solución, incluido el diseño de informes y paneles, dependía de TI.

Luego vino la BI de autoservicio, que permite a los usuarios explorar los datos de forma independiente, siempre que estén disponibles en el almacén. Pero los ciclos de entrega lentos y los esquemas rígidos a menudo limitaban el acceso.

Combinado con los avances en el procesamiento y almacenamiento paralelo masivo (MapReduce, Hadoop), el enfoque finalmente cambió a los lagos de datos: entornos escalables y flexibles para almacenar grandes cantidades de datos sin procesar. Los datos se habían convertido en el nuevo petróleo y se suponía que los que los tenían tenían una ventaja competitiva. Pero la calidad de los datos y la gobernanza a menudo se quedaron atrás.

Pero al igual que con el petróleo, que necesita ser refinado, la gente se dio cuenta de que para proporcionar valor, los datos debían ser transformados, limpiados y catalogados. Los lagos de datos satisfacieron esa necesidad al combinar la flexibilidad de los lagos de datos con la integridad transaccional y el rendimiento de los almacenes de datos.

La vida parecía buena junto al lago. Por un tiempo.

Entrar En El Almacenamiento De Objetos

Si bien los lagos de datos eran excelentes para almacenar datos estructurados y no estructurados, no siempre eran ideales. No es de extrañar que a menudo también se les llamara "pantanos de datos", ya que la atención se centraba en el volumen y la variedad, pero no siempre en la calidad de los datos.

Los almacenes de objetos simplifican la gestión de datos. Su capacidad para almacenar objetos inmutables los hizo ideales tanto para datos estructurados como no estructurados. Pero no eran perfectos.

Los desafíos incluyeron:

• Acumulación de datos ROT (redundante, obsoleto, trivial).
• Datos oscuros: almacenados pero no utilizados, que ocupan un espacio valioso, pero que no ofrecen ningún valor comercial.
• Visibilidad limitada de los datos existentes y cómo podrían utilizarse.

Para liberar todo el potencial del almacenamiento de objetos, necesitábamos mejores metadatos, gobernanza y capacidades de consulta.

Y ahora ha llegado.

Introducción a la compatibilidad nativa con tablas S3 en VSP One Object

VSP One Object de Hitachi Vantara lleva el almacenamiento de objetos al siguiente nivel al admitir de forma nativa S3 Tables. Esta es una primicia en la industria para los almacenes de objetos locales. Y las implicaciones son significativas.

La compatibilidad nativa con S3 Tables significa:

• Puede crear y administrar buckets, espacios de nombres y tablas de tablas de S3 mediante las API de tablas de S3 conocidas.
• El análisis basado en SQL se puede ejecutar directamente en datos de formato abierto, sin necesidad de ETL complejo o movimiento de datos.

Combinado con funciones integradas como un catálogo REST de Apache Iceberg, un motor SQL de configuración cero y un servicio de metadatos avanzado, VSP One Object se convierte en una base aún más poderosa para las cargas de trabajo de IA y data lakehouse.

Las capacidades transformadoras de la compatibilidad nativa con Amazon S3 Table de VSP One Object permiten una arquitectura de data lakehouse simplificada, análisis más rápidos y una integración perfecta con herramientas modernas como Apache Iceberg. Muestra cómo las organizaciones pueden cerrar la brecha entre los lagos de datos y los almacenes de datos para acelerar la información y respaldar las cargas de trabajo de IA/ML.
 

Desbloqueo De Metadatos De S3 Para Un Análisis Más Inteligente

Más allá de la compatibilidad con tablas, VSP One Object presenta el registro de metadatos de S3. Cuando está habilitado, cada evento de objeto (creación, actualización, eliminación) se registra en un registro inmutable almacenado como una tabla de S3.

Esto proporciona una funcionalidad crítica que incluye:

• Un historial completo y consultable de la actividad de los objetos.
• Metadatos enriquecidos sobre cada objeto.
• Integración perfecta con clientes Iceberg y motores SQL.

Ahora puede administrar y analizar tanto sus datos como sus metadatos utilizando las mismas herramientas, lo que aumenta la gobernanza, la observabilidad y el rendimiento.

La solución de almacenamiento de objetos adecuada en el momento adecuado

Las organizaciones están bajo presión para hacer más con sus datos que nunca. Y hacerlo más rápido, de forma más inteligente y a mayor escala. Ya sea que esté creando modelos de IA, habilitando análisis en tiempo real o simplemente tratando de administrar un crecimiento explosivo, la infraestructura que elija es más importante que nunca.

VSP One Object está diseñado específicamente para este momento. Transforma el almacenamiento de objetos tradicional en una plataforma inteligente de alto rendimiento que admite análisis modernos y cargas de trabajo de IA con facilidad.

Es la solución adecuada en el momento adecuado, que proporciona:

1. Compatibilidad nativa con tablas de S3 para análisis estructurados.
2. Servicios integrados de inteligencia y metadatos.
3. Optimizado para cargas de trabajo de IA y lakehouse.
4. Simplicidad, escalabilidad y velocidad.

VSP One Object es más que solo almacenamiento. Es un habilitador estratégico para las organizaciones que buscan desbloquear todo el potencial de sus datos: estructurados o no estructurados, históricos o en tiempo real, generados por humanos o máquinas.

Obtenga más información sobre por qué GigaOm Radar for Object Storage reconoció a Hitachi Vantara por su innovación en el almacenamiento de objetos o conéctese con su representante de Hitachi Vantara para comenzar su viaje de modernización del almacenamiento de objetos.

Leer Más:

• Comunicado de prensa: Hitachi Vantara Es Reconocida Por GigaOm Por Su Innovación En El Almacenamiento De Objetos, Agrega La Primera Funcionalidad De Tabla S3 De La Industria A VSP One Object
• Perfil De La Solución: Modernice Los Entornos De Data Lakehouse Con VSP One Object
• Las 10 Razones Principales Por Las Que: Hitachi Virtual Storage Platform One Object
• Página web: Acelere La Innovación Con El Almacenamiento De Objetos Escalable