Entradas

Mostrando entradas de 2012

Calidad en los ETL

En una entrada anterior  La importancia de construir un ETL de Calidad  hable acerca de la calidad de construir ETL's de calidad y los pasos que tenemos que tener en cuenta para poder planear y construir un desarrollo efectivo, sin embargo no se trató un tema muy importante como lo es las pruebas de calidad sobre un ETL desde su planeación, construcción y ejecución para ejercer una certificación de nuestros programas. La calidad comienza teniendo en cuenta las reglas de negocio descritas por el usuario entre su necesidades, la persona que va a recibir el análisis para comenzar con el diseño debe estar consciente de las reglas para la construcción del ETL, pero también debe tratar de ir mas allá y desde allí comenzar a diseñar unos casos de pruebas para el ETL que está diseñando, a esto los llamamos casos de pruebas funcionales. Muchos se preguntaran el por que del nombre? Quiero expresar que es totalmente lógico que se llame pruebas funcionales, porque acá en BI al igual q

Trabajando con Oracle Warehouse Builder - OWB Parte 1

Esta es una de las primeras herramientas que he visto desde que comencé a trabajar con BI, es la herramienta tradicional de Oracle y actualmente es regalada con la instalación de la base de datos. Es una herramienta gráfica para construir ETL con la que se puede mapear los datos y realizar operaciones de base de datos. Sirve mucho porque se puede desarrollar mapping tomando varias tablas para que lleguen a un destino final y todo se hace de manera intuitiva siempre y cuando la persona que esté desarrollando en la herrammienta conozca algo de sql y plsql. Tiene un gran problema y es el manejo de diversas fuentes de datos. ¿Como Así? Funciona perfecto con tablas o archivos planos, pero a la hora de traer información de otras fuentes de datos como DB2, MySql, Sql Server, Teradata, Access, Etc... Es una herramienta muy límitada y esto es reconocido por su fabricante. La idea con esta herramienta es que si en la empresa se tiene una suite oracle en absolutamente todo, OWB es una 

Un problema Evidente - La desinformación en Nuestros Consultores

La empresas en Colombia de Tecnología no están preparadas para prestar un servicio de calidad en el área de BI, esto surge luego de revisar muchas empresas clientes y de tecnología que sienten mala prestación de este serivicio. Una de las quejas más pronunciadas es que los precios son altisimos y en ocasiones el servicio depende del ingeniero que se envíe al cliente. Si la empresa cliente se encuentra de buenas y le mandan un consultor con un buen conocimieniento pues Eureka porque se van a sentir bien atendidos, sin embargo se ha visto que muchas empresas lo que hacen es enviar expertos de un tema sin contar realmente con los conocimientos necesarios y lo peor es que cobran como si la persona fuera experta. Cual es la falencia principal de todas las empresas en Colombia; "La academia dentro de la empresa consultora" ¿Como así? La academia es el estudio y formación que se debe poner en cada empresa, obviamente casi todo el personal experto en un tema específico se

Como Construir la dimension tiempo en Oracle

Como ya lo hice con SQL Server , también tengo que hacerlo con Oracle. La construcción de una dimensión de tiempo en Oracle, lo bueno de esta Forma es que es mucho más completa que la expuesta para SQL. En esta oportunidad no la voy a hacer en copo de nieve como ya lo había hecho, sino que lo hago en modo estrella para que puedan ver la diferencia de tener una dimensión de una forma u otra (Como queda la jerarquía en una y otra). Espero que les guste :) Modelo: DROP TABLE BIFENALCO.DIM_TIEMPO1; CREATE TABLE BIFENALCO.DIM_TIEMPO1 ( FUENTE VARCHAR2(50), TIEMPO_SK NUMBER, TIEMPO_NK VARCHAR2(100), FECHA_DT DATE, PERIODO_CD NUMBER(10), ANIO_CD NUMBER(10), NUMERO_SEMESTRE_CD VARCHAR2(5), NOMBRE_SEMESTRE_DS VARCHAR2(50), NUMERO_TRIMESTRE_CD VARCHAR2(5), NOMBRE_TRIMESTRE_DS VARCHAR2(50), NUMERO_MES_CD NUMBER(5), NOMBRE_MES_DS VARCHAR2(50), SEMANA_CD NUMBER(5), NUMERO_DIA_CD NUMBER(5), NOMBRE_DIA_DS VARCHAR2(50), DIA_HABIL_FG VARCHAR2(1), DIA_FES

Curso Online Microstrategy Gratuito

Imagen
Hace rato he estado afianzando mis conocimientos en Microstrategy por medio de un curso online gratuito ofrecido por la misma gente de Microstrategy. La dirección donde está disponible es la siguiente: https://resource.microstrategy.com/education/CourseCatalog.aspx En la imagen podemos observar donde se puede hacer el cursito, de ahí te va a solicitar un login al sitio de Microstrategy (MSTR), en caso de tener un usuario se puede ingresar sin ningún problema. En caso de no tener la cuenta, en la parte izquierda te da la opción de crear la cuenta para poder acceder al curso, como recomendación si se tiene una cuenta de correo electrónico empresarial es mejor que se cree la esta cuenta. Luego de ingresar te presenta un lugar donde se puede administrar cada uno de los cursos tomados por la persona que es dueña de la cuenta y para acceder al curso gratuito le damos la opción online courses. Desplegamos esta opción. Nos aparecen las tres áreas temáticas y como

Trabajando con Informatica PowerCenter Parte 1

Imagen
He estado trabajando en Informatica PowerCenter mucho en estos últimos días y realmente lo hago con gusto. Me parece una excelente herramienta para construir ETL porque realmente es intuitivo su aprendizaje y cada vez que se conoce un nuevo elemento dentro de la plataforma, tiene un fin específico aplicable a muchos de los desarrollos que realizamos. Empecemos contando que para el usuario final que va a construir ETL se manejan 4 herramientas: • Designer • Respository • Workflow • Monitor Cada una de estas cuatro herramientas tiene un objetivo específico que explicaremos primero con una imagen y luego cada una de ellas por separado: En esta imagen vemos que la parte más baja es donde se encuentra la lógica del ETL, están las fuentes, las transformaciones de los datos y luego la carga al destino. Por encima de esta capa vemos unos triángulos que significan la unión de una o varias secuencia lógicas organizando lo que se debe correr primero y lo que se debe corr

Visión de uno de los motores mas interesantes para tener un DWH - Teradata

Imagen
Uno de los motores mas importantes de bases de datos especializados para bodegas de datos es Teradata, esta es una empresa dedicada al tema de manejo de datos con una gran experiencia y que ha desarrollado una excelente arquitectura que permite tener una plataforma estable y poderosa. Hace varios años que conocí esta arquitectura y quede muy satisfecho con lo que hacen para el tema de grabar datos y consultar. Básicamente lo que hizo Teradata fue crear una división interna en el disco donde se guardan los datos, cada uno de las divisiones se llama AMP y un disco puede tener muchos AMP's. Cada uno de los AMP's tienen como proposito guardar información de una parte de la información contenida en una tabla, ¿como es esto? Si, cuando se guardan los datos el motor le asigna a cada uno de los datos un AMP para que se guarde sobre este quedando la información de una tabla distribuida en muchos AMP's. ¿Como es posible esto? Es muy fácil, cuando insertamos la in

Un caso de Éxito en Colombia - Superintendencia de Sociedades de Colombia

Imagen
Buscando mas proyectos de éxito en Colombia, me he encontrado uno muy bueno que se llevo a cabo en la Superintendencia de Sociedades Colombiana. Está es una entidad que consume altos volúmenes de información para poder llevar a cabo su trabajo, veamos que nos tienen que decir: Con este segundo vídeo, realizamos logramos reunir nuestro segundo caso de éxito y vamos a buscar más porque tener este tipo de evidencias enriquece mucho la labor que realizamos y nos motiva a seguir aprendiendo mas cosas acerca de BI.

Un caso de Éxito en Colombia - Pat Primo

Imagen
Me surgió una excelente idea de buscar algunos casos de éxito en mi país que nos hable un poco de la implementación de la solución de inteligencia de negocios y me he encontrado un video muy interesante de la empresa Pat Primo. Agradecemos a Vivian Jones que subió el video a youtube y nos permite compartirlo hoy a todos. Próximamente buscaremos otras manifestaciones y en la medida de lo posible buscaremos videos propios.

Que herramienta de BI es mejor

Seleccionar una herramienta de visualización de los datos siempre va a ser una decisión difícil para todas las empresas del mundo, principalmente por varios factores: Las personas que trabajan en las empresas no conocen nada acerca de la gran cantidad de herramientas de BI que existen en el mercado. Hay mucho vendedor que ofrecen plataformas sin importar las necesidades de la herramienta y como se desconoce este mundo se suelen cometer errores. Existen muchos vendedores que no saben ni siquiera el significado de BI (No creo que pase en grandes países, en mi país eso si pasa). El asunto con la herramienta de BI es que debe ser una herramienta que se adapte a las necesidades del negocio porque es una decisión que va a determinar el rumbo en el cual se quieren explotar los datos visualmente. Pero lo anterior es pura teoría y no es nada práctico. Para comenzar a tomar una decisión de BI hay que solicitar información de al menos tres herramientas de BI, adicional a esto se debe m

La importancia de construir un ETL de Calidad

Podríamos decir que es la parte de BI que los usuarios no ven reflejado directamente, sino que se nota indirectamente. El esfuerzo que se debe poner en el ETL es MAYÚSCULO porque la calidad en este desarrollo puede garantizar el éxito en el análisis de la información y presentación. En el ETL se debe poner el mayor esfuerzo tanto en la fase de Diseño, como en la fase de construcción. Suele ocurrir que los usuarios se desesperen y suelan intentar acelerar el desarrollo del ETL, pero para cualquier profesional que esté trabajando en esta parte de BI, mi mejor consejo es que por nada del mundo negocie tiempos en ETL. La construcción del ETL se puede dividir en varias partes: Un excelente diseño . Este es para mi el punto fundamental de todo, en mi experiencia he tenido la oportunidad de trabajar y entender los mejores desarrollos que he podido ver y siempre se han basado en el buen diseño y siempre el que se ha encargado de esto ha pensado en el futuro. No solo es saciar la necesid

Claves Subrogadas

Concepto utilizado en el diseño de un Data Warehouse (Bodega de Datos), una clave subrogada es una identificación que se crea para cada registro que se encuentra en una dimensión. Es una clave que carece de todo sentido para cualquier persona de negocio, pero que se pone en las tablas para poder hacer que los queries o consultas sean mucho más rápidas. Entre las características de las claves subrogadas se encuentra que son campos de tipo numérico y enteros, generalmente son campos autoincrementales. Lo que hacemos con las claves subrogadas es que las utilizamos para poder hacer todos los joins entre tablas. En muchos de los sistemas tranasaccionales se tienen identificadores propios que pueden ser usados como claves primaria en estos modelos, sin embargo en el data warehouse no se usan porque algunas de estas claves pueden ser de tipo numérico, un ejemplo de ello es la identificación de una persona o dni. Comunmente en los transaccionales los dni se manejan con formatos de este ti

Lo dificil de planear tiempos para proyectos de BI

Cuando nos enfrentamos a un proyectoi de BI nuevo hay algo que siempre es muy difícil de saber y es la forma en la que vamos a planear el proyecto. Particularmente en estos momentos ando trabajando en el ETL de un proyecto con la mejor herramienta según Gartner (Informatica Power Center) y la verdad es que es una gran herramienta, sin embargo esto no garantiza que lo planeado se cumpla tal cual uno lo pensó. Alguno de los factores para que se pueda afectar estos tiempos planeados son: Cambio en la estrategia para construir el ETL : Cuando se hace la planeación se adopta una estrategia de ETL para tomar la info, sin embargo por problemas de performance es posible que el ETL cambie. En muchas ocasiones solo las personas que se encuentran trabajando en el transaccional son los que conocen este tipo de tabla y son los únicos que pueden tocarlas. En ese orden de ideas lo que podemos hacer es ir a hablar con este personaje para que nos ayude o adoptar otra forma de extractar la informac

Acerca de la Comunicación en un proyecto de BI (Inteligencia de Negocios)

La comunicación es tal vez la más importante herramienta que se tiene en un proyecto de BI. Todos a veces nos metemos mucho en decisiones como la herramienta a utilizar, la metodología, seleccionar los usuarios o vender el proyecto, pero olvidamos algo que no es nada trivial y es muy importante: La comunicación. Cuando se designa un equipo de trabajo para afrontar un proyecto de BI lo mas importante es tener personas expertas en el negocio, en las herramientas y sobre todo expertas en comunicarse para lograr una armonía y en esto creo que hay dos partes fundamentales que deben ser muy fuertes en este puno; El líder y el consultor. La comunicación efectiva no se la enseñan a nadie en la casa, ni en el colegio, ni mucho menos en la universidad. Esto es algo que se aprende estudiando, leyendo y practicando. De la comunicación depende que se arreglen los conflictos del equipo, se tomen bien las necesidades o requisitos del usuario y también depende que los desarrolladores logren plasma

Cloud BI (Inteligencia de Negocios en la Nube)

Por estos días vemos que es cada vez mas comentado en todos los medios el tema de BI en la nube, pero mucha gente se puede preguntar en que consiste este nuevo servicio que las grandes compañías de BI están ofreciendo. Básicamente en lo que consiste es en un servicio menos traumático para las empresas en la que no se instala absolutamente nada en una máquina del cliente, sino que se tiene un modelo en la web y los usuarios de las compañías que utilizan el servicio pueden acceder por medio de un navegador de internet. Inicialmente se asignan unos recursos para la solución de la empresa y cada vez que incremente el proyecto según el proveedor, se van asignando más recursos. Esta solución es una nueva apuesta para las empresas que no quieren administrar máquinas y que responde de manera efectiva a las necesidades del negocio. En el aspecto técnico uno de los aspectos más relevantes es el tema de la actualización de nuevas versiones de los aplicativos de BI, porque con esto no se asum

La Importancia de los Usuarios

Imagen
En esta entrada quiero contar una experiencia que tuve esta semana y quiero compartir como una reflexión acerca de la importancia de los usuarios. Tengo tres amigos: Carlos: Trabaja en un Gestión Humana en una reconocida empresa de mi ciudad, es ingeniero administrativo. Daniela es un Administrador de empresas que trabaja en una empresa manufacturera como analista de planeación. Sandro es un Ingeniero de sistema que trabaja conmigo en un proyecto que estamos desarrollando actualmente. Yo construí un tablero de control que le debía entregar a unos usuarios pero antes de entregarlo quise someterlo a un criterio externo de estos tres amigos míos, el primer tablero que les pase fue muy parecido al siguiente: La primera en darme respuesta fue Daniela y me dio unas excelentes sugerencias: En la primera de las gráficas, sería genial comparar con el año anterior. El título tiene un color poco llamativo Falta mas explicación para poder manipularlo intuitivamente. Me gus

Modelo de Seguridad OBIEE

Imagen
Trabajando en la solución OBIEE, me puse a buscar acerca del tema de seguridad en OBI para enteneder un poco mas acerca de este punto que es algo que realmente para muchas casas de Inteligencia de negocios no es relevante mostrar a los usuarios de negocios, debido a que es más importante mostrar aspectos analíticos. Sin embargo es un tema muy importante porque por medio de la seguridad se puede cumplir con uno de los principales objetivos de BI como es el de entregar la nformación a la persona correcta. Luego de buscar un poco (y dormirme con la extensa documentación de Oracle - Es buena pero muy grande-) encontre un blog muy interesante de BI en español en el que dadn una buena explicación del tema. El sitio es el siguiente: http://www.bi.dev42.es/2011/05/15/modelo-de-seguridad-en-obiee-11g . Agradezco la explicación al creador de este interesante articulo y espero que le sirva a alguien para entender este importante tema. Anexo una imagen del modelo de seguridad tomado del siti

Como crear Tablas con Valores Autonuméricos en Oracle

Cuando queremos tener una clave subrogada en Oracle, tenemos una limitación para crear tablas con campos tipo identity o auto incrementadores. Esto esta dado porque así es la Base de Datos, sin embargo esta limitación se puede suplir de manera eficiente y en ocasiones mas flexible con un secuencia. Veamos como debemos construir nuestra tabla, primero supongamos que tenemos una tabla de clientes como la siguiente: Create Table Clientes (   IdCliente         Integer Primary Key Not NULL,   Nombre_Cliente    Varchar2(255),   Dni_Cliente       Varchar2(20) Not Null,   Fecha_Nacimiento  Date  ); La secuencia para incrementar debe ser sobre el campo IDCliente, así debemos crear la secuencia: CREATE SEQUENCE IncrClientes   MINVALUE 1   INCREMENT BY 1   START WITH 1   nomaxvalue ; Para que se autoincremente el campo IdCliente cada vez que insertamos un registro a la tabla, creamos el siguiente trigger: Create Trigger TriggerClientes   before insert on BI.Clientes   for e

Business Intelligence 3.0

Imagen
Navegando en estos días y buscando cositas acerca de Inteligencia de negocios, me he encontrado un video súper chévere que me parece en algo acertado porque son las nuevas tendencias y me parece muy acertado porque no solo lo vi en este video, también lo he visto evidenciado en una de las herramientas líderes del Mercado "Microstrategy". Por favor disfruten de este video y si quieren expresar algo, bienvenido.

Como Construir la dimension tiempo en SQL SERVER

Hola, Quería traer a consideración una forma de crear la dimensión de tiempo, en una topología en copo de nieve. Si quieren modificar algo o ven algún error les agradezco que me comuniquen el error y en la mayor brevedad lo podré organizar: Tablas y vistas: -- --- -- Table 'Dia' --  -- --- DROP TABLE  Mercurio_Datawarehouse.dbo.TDWH_DIA ; CREATE TABLE Mercurio_Datawarehouse.dbo.TDWH_DIA (   NMSEC_DIA DATE PRIMARY KEY,   DIA_MES INTEGER,   FECHA_INT INTEGER,   NMSEC_MES INTEGER ); Create View Dbo.VTDWH_DIA (NMSEC_DIA,DIA_MES,NMSEC_MES, FECHA_INT) AS Select NMSEC_DIA,DIA_MES,NMSEC_MES,FECHA_INT From Mercurio_Datawarehouse.Dbo.TDWH_DIA with(nolock) ; -- --- -- Table 'Mes' --  -- --- DROP TABLE  Mercurio_Datawarehouse.Dbo.TDWH_MES; CREATE TABLE Mercurio_Datawarehouse.Dbo.TDWH_MES (   NMSEC_MES INTEGER PRIMARY KEY,   DSNOMBRE_MES VARCHAR(20),   NMSEC_ANO INTEGER ); Create View Dbo.VTDWH_MES (NMSEC_MES,DSNOMBRE_MES,NMSEC_A

Zona de Staging

El staging básicamente es un espacio temporal dentro de la bodega de datos para poder guardar información temporalmente. Es utilizada altamente en los procesos de Extracción para llevar los datos temporales, Transformación para poder limpiar los datos y realizar la transformación y en la Carga  se puede tomar dato de allí para llevar los datos a la bodega de datos. Esta zona de staging, aunque puede parecer algo trivial, es un importante soporte para poder llevar la información con mejores niveles de calidad.

Como debería ser BI

Imagen
Estuve viendo una excelente web de business intelligence ( http://www.businessintelligence.info ) y me he encontrado un video que me gusto mucho acerca de como debería ser BI: Me encanto el video porque resalta uno de los principios fundamentales de BI ; "Abastecimiento fácil de la información que el usuario necesita". Creo que es una forma de resumir lo que debemos buscar en BI mas allá de las herramientas, metodologías y/o cualquier elemento que participe en Pro de hacer BI.

Acerca de BI en Colombia

Imagen
He tratado de crear mi blog para hablar de temas genéricos acerca de BI (Inteligencia de negocios) y también para hablar acerca de temas interesantes de cualquier plataforma que tenga que ver con BI. Sin embargo hoy quiero tratar un tema que me tiene muy inquieto y es ¿Que está pasando en Colombia en este interesante tema? Antes de abordar este tema quiero expresar que no soy un experto en BI, estoy en un proceso de crecimiento en este maravilloso mundo y por eso considero que mis criterios no van a ser compartidos por muchas personas, sin embargo es un sentimiento de lo que percibo y es importante para mí compartirlo. Tengo que decir inicialmente que mi posición es que en Colombia no hay BI o al menos no existe nada formal y lo que han llamado las empresas como BI es un irrisorio manejo de una herramienta. Tengo razones para apoyar mi sentimiento (Soy persona y sé que puedo estar muy errado). 1. No hemos adoptado metodologías para el desarrollo de BI.