Summarize like a search engine optimization experienced this content
Únase a los principales ejecutivos en San Francisco el 11 y 12 de julio para escuchar cómo los líderes están integrando y optimizando las inversiones en IA para el éxito. Aprende más
Las empresas a menudo confían en almacenes de datos y lagos de datos para manejar huge knowledge para varios propósitos, desde inteligencia comercial hasta ciencia de datos. Pero estas arquitecturas tienen limitaciones y compensaciones que las hacen menos que ideales para los equipos modernos. Un nuevo enfoque, llamado knowledge lakehouse, tiene como objetivo superar estos desafíos integrando las mejores características de ambos.
Primero, hablemos de la tecnología subyacente: un almacén de datos es un sistema que consolida datos comerciales estructurados de múltiples fuentes para análisis e informes, como el seguimiento de tendencias de ventas o el comportamiento del cliente. Un lago de datos, por otro lado, es un repositorio más amplio que almacena datos en su formato pure o sin procesar, lo que permite una mayor flexibilidad y exploración para aplicaciones como la inteligencia artificial y el aprendizaje automático.
Sin embargo, estas arquitecturas tienen inconvenientes. Los almacenes de datos pueden ser costosos, complejos y rígidos, y requieren esquemas y transformaciones predefinidos que pueden no adaptarse a todos los casos de uso. Los lagos de datos pueden ser desordenados, poco confiables y difíciles de administrar, ya que carecen de la calidad y la consistencia que brindan los almacenes de datos.
Un lago de datos es una solución híbrida que intenta abordar estos problemas al combinar la escalabilidad y la diversidad de un lago de datos con la confiabilidad y el rendimiento de un almacén de datos.
Evento
Transformar 2023
Únase a nosotros en San Francisco los días 11 y 12 de julio, donde los altos ejecutivos compartirán cómo han integrado y optimizado las inversiones en IA para lograr el éxito y evitar errores comunes.
Regístrate ahora
Según Adam Ronthal, vicepresidente analista de gestión y análisis de datos de Gartner, la arquitectura Lakehouse tiene dos objetivos: “Uno, proporcionar el nivel adecuado de optimización de datos necesario para atender a su público objetivo, y dos, converger físicamente los datos. el almacén y el entorno del lago de datos”. Explicó este concepto en una entrevista con VentureBeat.
Al mudarse a un lago de datos, las empresas pueden beneficiarse de una plataforma única que puede satisfacer múltiples necesidades y audiencias, sin comprometer la calidad o la eficiencia. Sin embargo, esta transición también plantea algunos desafíos, como garantizar la compatibilidad, la seguridad y la gobernanza entre diferentes tipos de datos y sistemas. Las empresas deben planificar y ejecutar cuidadosamente su estrategia de migración para evitar la interrupción del negocio y lograr los resultados deseados.
¿Cómo ayuda un lago de datos?
Cuando una empresa implementa un facts lakehouse, le permite a la organización almacenar todos sus datos, desde registros comerciales altamente estructurados hasta datos desordenados y no estructurados como publicaciones en redes sociales, en un solo repositorio.
Este enfoque unificado permite a los equipos ejecutar paneles en tiempo authentic y aplicaciones avanzadas de aprendizaje automático en los mismos datos, desbloqueando nuevos conocimientos y oportunidades para la toma de decisiones basada en datos en toda la organización.
Los defensores argumentan que el modelo de lago de datos proporciona una mayor flexibilidad, escalabilidad y ahorro de costos en comparación con las arquitecturas heredadas. Cuando está bien diseñado, un lago de datos permite el análisis en tiempo serious, la democratización de los datos y mejores resultados comerciales a través de decisiones basadas en datos.
Los obstáculos de mover datos a un lago
Si bien los beneficios de un lago de datos son claros, migrar cargas de trabajo de datos existentes no es una tarea sencilla. Puede implicar altos costos, largas demoras e interrupciones significativas en las operaciones que dependen de los datos. Esencialmente, cuando los activos de datos ya residen en la arquitectura heredada existente y manejan múltiples aplicaciones comerciales, la migración puede ser costosa y llevar mucho tiempo, y crear una interrupción importante para el negocio, lo que lleva a una posible pérdida de clientes e ingresos.
“Si ya ha movido una cantidad considerable de datos a un almacén de datos, debe desarrollar un enfoque de migración por etapas. Esto debería minimizar la interrupción del negocio y priorizar los activos de datos en función de sus casos de uso de análisis”, dijo a VentureBeat Adrian Estala, director de datos de campo de Starburst.
Como parte de esto, explica Estala, una empresa primero debe establecer una capa de virtualización en los entornos de almacén existentes, creando productos de datos virtuales que reflejen los esquemas de almacén heredados actuales. Una vez que estos productos están listos, puede usarlos para mantener las soluciones existentes y garantizar la continuidad del negocio.
Luego, dijo el ejecutivo, los equipos deben priorizar el movimiento de conjuntos de datos en función del costo, la complejidad o los casos de uso de análisis existentes. Ronthal también sugirió lo mismo, señalando un enfoque de «evaluación y prueba continuas» para garantizar la migración gradual y al mismo tiempo asegurarse de que la nueva arquitectura satisfaga las necesidades de la organización.
“Se trata principalmente de averiguar dónde está la línea de ‘suficientemente bueno’”, señaló el analista de VP. “Podría comenzar tomando mis cargas de trabajo de almacenamiento de datos más complejas y probándolas en la arquitectura de la casa del lago… Mi pregunta principal es ‘¿puede la casa del lago abordar estas necesidades?’ Si no puede, paso a mi siguiente carga de trabajo más compleja hasta que encuentro la línea de lo suficientemente buena, y luego puedo hacer una evaluación de cuán feasible es la arquitectura de la casa del lago para mis necesidades específicas”.
Una vez que se prueban las cargas de trabajo, los arquitectos de datos pueden basarse en esta estrategia y hacerse cargo del proceso de cómo se mueven los activos de datos, dónde se colocan y qué formatos abiertos se utilizan. Este paso no será muy complejo ya que existen muchos métodos para mover datos a la nube, desde la nube o entre nubes. Además, también se aplicarán todas las reglas regulares de migración de bases de datos, desde la migración del esquema y el handle de calidad hasta la migración y la seguridad de la aplicación.
“Al principio, a los consumidores de datos no debería importarles, y si eres realmente bueno, algunos de ellos ni siquiera deberían saber que los datos se movieron. La parte trasera debe estar completamente abstraída. Lo que deberían notar es un acceso más fácil a productos de datos reutilizables y una agilidad mucho mayor para iterar a través de mejoras en sus soluciones de datos”, dijo Estala.
Una cuestión de retorno de la inversión
Mudarse a una casa del lago no es una decisión que deba tomarse a la ligera. Debe estar impulsado por objetivos comerciales claros, como mejorar el acceso y el rendimiento de los datos, y no por mera curiosidad o novedad. Si una empresa está satisfecha con su almacén de datos real y no ve ningún beneficio convincente al cambiar a una casa del lago, puede ser mejor quedarse con lo que funciona y asignar sus recursos a otras áreas. De lo contrario, puede terminar perdiendo tiempo y dinero y generando dudas entre sus grupos de interés.
Lakehouse puede ser el futuro del análisis de datos, pero no es una solución única para todos.
La misión de VentureBeat es ser una plaza pública electronic para que los responsables de la toma de decisiones técnicas adquieran conocimientos sobre tecnología empresarial transformadora y realicen transacciones. Descubre nuestras sesiones informativas.
Produce an article about Cómo las empresas pueden migrar a un lago de datos sin interrumpir su negocio
