Datawarehouse vs Data Lake Vol.1

Cierto día llego una consultora nueva a la compañía donde trabajé durante años y se expreso de la siguiente manera:

  • ¿Hay alguien acá de BI? Yo no se como se manejaba en lo viejito, CON TODO RESPETO, lo digo por el Datawarehouse, sin embargo ahora las cosas en el Data Lake son bla bla bla...

Mi mente se quedo divagando profundamente en la romántica era en la que el Datawarehouse era una fuente de datos confiable y en la que muchos creían, por ser un repositorio centralizado en el que comúnmente se lleva la data relevante de la compañía. En ese instante, vino a mi mente una charla con una compañía de Bodega de Datos en la que decían algo así:

  • Bueno, nuestra visión del mundo ahora, es que La Bodega va a convivir con el Data Lake y con la nueva tecnología que venga después de eso... Es que usted no puede tirar por la borda todo lo hecho hasta ahora y lo importante es que usted pueda integrar todo.

En ese instante la consultora dijo:

  • Ustedes deciden si migran el Warehouse al Data Lake o conviven con los dos, aunque yo no se...
¡CATAPLUM!

Hizo mi pobre cerebro, intentando procesar estas nuevas verdades que revelaba el mundo acerca de las nuevas tendencias... A partir de este momento, decidí abrir mi mente y comenzar a revisar lo que tenía un Datalake y como se maneja en el mundo (Desde la perspectiva teórica (Los gringos), de ventas (Que son los Mexicanos y Españoles en nuestro caso), de la consultora (De esas que no han hecho un ETL o una Integración pero le dan Volquetadas de millones por hablar y hacer documentos) y finalmente desde mi perspectiva como experiencia enfrentándome a esta nueva tecnología).

En mi próxima nota (Datawarehouse vs Data Lake Vol.2), voy a seguir la historia y daré mi parte técnico (A manera de opinión personal) de lo que veo... Pero para hacer el ejercicio realmente interesante propongo la siguiente hipótesis:


HIPÓTESIS: ¿ES UN DATALAKE UN DATAWAREHOUSE CON ESTEROIDES?


¡No te pierdas la próxima entrega!


NOTA: Esto paso muchos días atrás y es una historia que tenía pendiente por escribir!
Ubicación: Medellín, Antioquia, Colombia

Comentarios

Publicar un comentario

Entradas populares de este blog

Como Construir la dimension tiempo en SQL SERVER

Hola, Quería traer a consideración una forma de crear la dimensión de tiempo, en una topología en copo de nieve. Si quieren modificar algo o ven algún error les agradezco que me comuniquen el error y en la mayor brevedad lo podré organizar: Tablas y vistas: -- --- -- Table 'Dia' --  -- --- DROP TABLE  Mercurio_Datawarehouse.dbo.TDWH_DIA ; CREATE TABLE Mercurio_Datawarehouse.dbo.TDWH_DIA (   NMSEC_DIA DATE PRIMARY KEY,   DIA_MES INTEGER,   FECHA_INT INTEGER,   NMSEC_MES INTEGER ); Create View Dbo.VTDWH_DIA (NMSEC_DIA,DIA_MES,NMSEC_MES, FECHA_INT) AS Select NMSEC_DIA,DIA_MES,NMSEC_MES,FECHA_INT From Mercurio_Datawarehouse.Dbo.TDWH_DIA with(nolock) ; -- --- -- Table 'Mes' --  -- --- DROP TABLE  Mercurio_Datawarehouse.Dbo.TDWH_MES; CREATE TABLE Mercurio_Datawarehouse.Dbo.TDWH_MES (   NMSEC_MES INTEGER PRIMARY KEY,   DSNOMBRE_MES VARCHAR(20),   NMSEC_ANO INTEGER ); Create View Dbo.VTDWH_MES (NMSEC_MES,DSNOMBRE_MES,NMSEC_A
Leer más

Reiniciar el Intelligence Server de Microstrategy

Imagen
Existen varias formas de realizar un reinicio del Intelligence Server (IS) de Microstrategy, a continuación enumeramos las existentes: Reinicio de los servicios por comando de Sistema Operativo . Desde el Command Manager . Otra alternativa es el Service Manager . Desde MSTR Developer COMANDO POR SISTEMA OPERATIVO (OS) Para realizar el reinicio por esta alternativa, se debe conocer el sistema operativo en el cual se aloja el Intelligence Server. Si se hace desde un OS Linux el procedimiento es el siguiente: Abrimos la consola de comando de Linux. Nos vamos a la ruta <MicroStrategy HOME>/bin directory,  Se corre el comando ' mstrctl -s IntelligenceServer start ', <MicroStrategy HOME> esta es la carpeta home donde se realizó la instalación. Revisamos si el Intelligence se encuentra arriba con el comando ' mstrctl -s IntelligenceServer gs '. Luego de verificar que se encuentra arriba el IS, se ejecuta el siguiente comando ' mstrctl -s In
Leer más

Modelo en Copo de Nieve

Imagen
Este es un esquema un poco más complejo que el anterior ( Esquema Estrella ), su modelado es similar al de un copo de nieve:   Vemos que un copo de nieve tiene un centro que a su vez tiene relaciones con niveles superiores y estos niveles pueden tener más relaciones con niveles aún mayores. Lo que se tiene es una  tendencia a normalizar aun más los datos que en la topología en estrella porque las dimensiones tienen más de un nivel hacia arriba:   Podemos observar como la tabla de hechos tiene productos y los productos tienen unas características como la marca y la sub categoría, lo que hace que la dimensión producto de la tabla de hechos se tenga en más de una tabla.   Respecto a la topología en estrella, este esquema lo que nos permite es no tener tanta redundancia de datos en los registros y esto se traduce en menos datos para guardar, sin embargo son modelos más difíciles para el usuario si quieren realizar una consulta porque en el query deben poner mas j
Leer más