Entradas

Calidad en los ETL

En una entrada anterior  La importancia de construir un ETL de Calidad  hable acerca de la calidad de construir ETL's de calidad y los pasos que tenemos que tener en cuenta para poder planear y construir un desarrollo efectivo, sin embargo no se trató un tema muy importante como lo es las pruebas de calidad sobre un ETL desde su planeación, construcción y ejecución para ejercer una certificación de nuestros programas. La calidad comienza teniendo en cuenta las reglas de negocio descritas por el usuario entre su necesidades, la persona que va a recibir el análisis para comenzar con el diseño debe estar consciente de las reglas para la construcción del ETL, pero también debe tratar de ir mas allá y desde allí comenzar a diseñar unos casos de pruebas para el ETL que está diseñando, a esto los llamamos casos de pruebas funcionales. Muchos se preguntaran el por que del nombre? Quiero expresar que es totalmente lógico que se llame pruebas funcionales, porque acá en BI al ig...

Trabajando con Oracle Warehouse Builder - OWB Parte 1

Esta es una de las primeras herramientas que he visto desde que comencé a trabajar con BI, es la herramienta tradicional de Oracle y actualmente es regalada con la instalación de la base de datos. Es una herramienta gráfica para construir ETL con la que se puede mapear los datos y realizar operaciones de base de datos. Sirve mucho porque se puede desarrollar mapping tomando varias tablas para que lleguen a un destino final y todo se hace de manera intuitiva siempre y cuando la persona que esté desarrollando en la herrammienta conozca algo de sql y plsql. Tiene un gran problema y es el manejo de diversas fuentes de datos. ¿Como Así? Funciona perfecto con tablas o archivos planos, pero a la hora de traer información de otras fuentes de datos como DB2, MySql, Sql Server, Teradata, Access, Etc... Es una herramienta muy límitada y esto es reconocido por su fabricante. La idea con esta herramienta es que si en la empresa se tiene una suite oracle en ab...

Un problema Evidente - La desinformación en Nuestros Consultores

La empresas en Colombia de Tecnología no están preparadas para prestar un servicio de calidad en el área de BI, esto surge luego de revisar muchas empresas clientes y de tecnología que sienten mala prestación de este serivicio. Una de las quejas más pronunciadas es que los precios son altisimos y en ocasiones el servicio depende del ingeniero que se envíe al cliente. Si la empresa cliente se encuentra de buenas y le mandan un consultor con un buen conocimieniento pues Eureka porque se van a sentir bien atendidos, sin embargo se ha visto que muchas empresas lo que hacen es enviar expertos de un tema sin contar realmente con los conocimientos necesarios y lo peor es que cobran como si la persona fuera experta. Cual es la falencia principal de todas las empresas en Colombia; "La academia dentro de la empresa consultora" ¿Como así? La academia es el estudio y formación que se debe poner en cada empresa, obviamente casi todo el personal experto e...

Como Construir la dimension tiempo en Oracle

Como ya lo hice con SQL Server , también tengo que hacerlo con Oracle. La construcción de una dimensión de tiempo en Oracle, lo bueno de esta Forma es que es mucho más completa que la expuesta para SQL. En esta oportunidad no la voy a hacer en copo de nieve como ya lo había hecho, sino que lo hago en modo estrella para que puedan ver la diferencia de tener una dimensión de una forma u otra (Como queda la jerarquía en una y otra). Espero que les guste :) Modelo: DROP TABLE BIFENALCO.DIM_TIEMPO1; CREATE TABLE BIFENALCO.DIM_TIEMPO1 ( FUENTE VARCHAR2(50), TIEMPO_SK NUMBER, TIEMPO_NK VARCHAR2(100), FECHA_DT DATE, PERIODO_CD NUMBER(10), ANIO_CD NUMBER(10), NUMERO_SEMESTRE_CD VARCHAR2(5), NOMBRE_SEMESTRE_DS VARCHAR2(50), NUMERO_TRIMESTRE_CD VARCHAR2(5), NOMBRE_TRIMESTRE_DS VARCHAR2(50), NUMERO_MES_CD NUMBER(5), NOMBRE_MES_DS VARCHAR2(50), SEMANA_CD NUMBER(5), NUMERO_DIA_CD NUMBER(5), NOMBRE_DIA_DS VARCHAR2(50), DIA_HABIL_FG VARCHAR2(1), DIA_FES...

Curso Online Microstrategy Gratuito

Imagen
Hace rato he estado afianzando mis conocimientos en Microstrategy por medio de un curso online gratuito ofrecido por la misma gente de Microstrategy. La dirección donde está disponible es la siguiente: https://resource.microstrategy.com/education/CourseCatalog.aspx En la imagen podemos observar donde se puede hacer el cursito, de ahí te va a solicitar un login al sitio de Microstrategy (MSTR), en caso de tener un usuario se puede ingresar sin ningún problema. En caso de no tener la cuenta, en la parte izquierda te da la opción de crear la cuenta para poder acceder al curso, como recomendación si se tiene una cuenta de correo electrónico empresarial es mejor que se cree la esta cuenta. Luego de ingresar te presenta un lugar donde se puede administrar cada uno de los cursos tomados por la persona que es dueña de la cuenta y para acceder al curso gratuito le damos la opción online courses. Desplegamos esta opción. Nos aparecen las tres áreas temáticas y como...

Trabajando con Informatica PowerCenter Parte 1

Imagen
He estado trabajando en Informatica PowerCenter mucho en estos últimos días y realmente lo hago con gusto. Me parece una excelente herramienta para construir ETL porque realmente es intuitivo su aprendizaje y cada vez que se conoce un nuevo elemento dentro de la plataforma, tiene un fin específico aplicable a muchos de los desarrollos que realizamos. Empecemos contando que para el usuario final que va a construir ETL se manejan 4 herramientas: • Designer • Respository • Workflow • Monitor Cada una de estas cuatro herramientas tiene un objetivo específico que explicaremos primero con una imagen y luego cada una de ellas por separado: En esta imagen vemos que la parte más baja es donde se encuentra la lógica del ETL, están las fuentes, las transformaciones de los datos y luego la carga al destino. Por encima de esta capa vemos unos triángulos que significan la unión de una o varias secuencia lógicas organizando lo que se debe correr primero y lo que se debe corr...

Visión de uno de los motores mas interesantes para tener un DWH - Teradata

Imagen
Uno de los motores mas importantes de bases de datos especializados para bodegas de datos es Teradata, esta es una empresa dedicada al tema de manejo de datos con una gran experiencia y que ha desarrollado una excelente arquitectura que permite tener una plataforma estable y poderosa. Hace varios años que conocí esta arquitectura y quede muy satisfecho con lo que hacen para el tema de grabar datos y consultar. Básicamente lo que hizo Teradata fue crear una división interna en el disco donde se guardan los datos, cada uno de las divisiones se llama AMP y un disco puede tener muchos AMP's. Cada uno de los AMP's tienen como proposito guardar información de una parte de la información contenida en una tabla, ¿como es esto? Si, cuando se guardan los datos el motor le asigna a cada uno de los datos un AMP para que se guarde sobre este quedando la información de una tabla distribuida en muchos AMP's. ¿Como es posible esto? Es muy fácil, cuando insertamos la in...