The Conventional Approach, and Why it Doesn’t Always Work (Data Quality)

Conventional data quality tools are designed to be used by specialist data administrators, working in concert with data stewards, who are technically-oriented business users. The conventional approach to data quality is typically centralized within the IT management group, and depends on specialist analysts and batch processes to work. Periodically, an administrator profiles existing data, and applies software tools to normalize/standardize entities such as street- and business-names. Once data is standardized, additional routines then attempt to identify duplicate records and errors, and specialists will then instigate business processes to merge previously fragmented data.

Obviously, this conventional approach is a start. By profiling and analyzing data, organizations discover (often for the first time) how serious their data quality issues really are. By standardizing data, some of the inconsistencies that cause conventional software to fail are eliminated.

But how is it that these data quality issues happened in the first place? And how can organizations avoid them recurring? Conventional approaches don’t really address these issues.

Data quality problems don’t happen by accident: they usually reflect either:

• Errors at the point of data entry, or….
• Inconsistencies and differences among internal systems, or…
• Inconsistencies among 3rd party and various internal data sources

The conventional data quality approach doesn’t address any of these problems at the root. Instead, it looks to clean up problems after the fact. A better alternative combines this conventional data quality approach with one that is more dynamic, less centralized, and doesn’t depend on rigid data standardization. One that attacks data quality issues at the root cause, in real time.

So, one of the keys to data quality is to empower people responsible for data entry to find what they’re looking for at the beginning of the process. Users need an easy to use facility, built-in to their existing business processes, that works reliably despite typical data errors and inconsistencies. The trick is to ensure that users come up with the right match the first time: studies show that front line personnel resist having to conduct multiple requests. Conventional, batch-oriented data quality software doesn’t help here at all. Moreover, users shouldn’t have to use a separate GUI. The matching facility should be integrated with the application they’re already using, and require minimal change to the existing workflow.

The most impactful business benefits are downstream – in the unrealized economies of scale and improved efficiency by not throwing a lot of people and repeated work effort at the multiple problems created by poor data quality.

El E-Business como anillo al dedo para subcontratar los análisis de datos

A simple vista parecía ilógico: ceder el control sobre información crítica del propio negocio so pretexto de subcontratar un data warehouse (bodega de datos). Pero a algunas empresas les resulta más fácil concentrarse en desarrollar, manufacturar y comercializar sus productos o servicios básicos y dejar el análisis de datos a expertos en la materia.

¿A qué se debe esta moda? Pues a internet y a los grandes cambios que están ocurriendo a medida que en todo género de negocios está arraigando la administración de las relaciones con los clientes (CRM), que es como la aplicación en el "mundo real" de los data warehouses, según Scott Nelson, de The Gartner Group. "¿Para qué recolectar datos, si no se usan para mejorar el mercado y así sacarles provecho y dinero?", se pregunta Nelson. Y esto es lo que está haciendo Jewelry.com, empresa vendedora de joyería por internet.

Outsourcing: toda una joya

Jewelry nació en noviembre pasado y desde entonces entregó sus datos de número de visitantes a otra empresa, Candle, para que efectúe embodegamiento, data mining y demás análisis. Específicamente, la firma recurrió al servicio llamado CandleNet E-Business Assurance Network (traducible como "red de aseguramiento de negocios electrónicos de CandleNet", EBAN), que proporciona monitoreo de servicio de aplicaciones, recolecta datos sobre tiempo de respuesta, acumula datos para warehousing con los correspondientes reportes y realiza análisis de procesamientos en línea. Después, mediante un navegador, los interesados ven los datos analizados en el portal de EBAN.

El análisis de los clics de visitantes de Jewelry.com durante el primer mes de operación arrojó 15,000 visitantes al día, aunque 90% no pasó de la home-page, porque el sitio era demasiado lento. Jewelry rápidamente mejoró el desempeño añadiendo servidores catching Sandpiper 500 de la proveedora de servicios de internet Digital Island. De repente, "10 veces más visitantes penetraban más fondo en el site, con lo que las ventas aumentaron", comenta Paul Rajewski, de Jewelry. La empresa tuvo una buena temporada navideña, pues más de 1,200 clientes compraron joyas por el web, al paso que el sistema EBAN de Candle seguía el rastro a la métrica del desempeño, para que los clientes no quedaran empantanados con la lentitud.

Según Rajeswki, un rápido desempeño es fundamental para que los clientes en línea se sientan felices: "Hay que proponerse un gasto mínimo de 200,000 dólares en un sistema de comercio electrónico -considera-. Nosotros pudimos establecer nuestro sitio web en seis semanas, pero lo hemos reforzado al doble para reducir cuellos de botella y obtener un desempeño más rápido".

La actual configuración de Jewelry.com abarca 20 equipos Sun Microsystems con 40 GB en RAM y rapidez de línea de 45 Mbps, además de los servidores antes mencionados, que quitan una enormidad de carga a los servidores de la firma del Sol. Jewelry usa un paquete de software de e-commerce de Intershop, con lo que el desarrollo del site aumenta de velocidad.

Esta reciente tienda web ha comenzado a publicitar sus artículos en línea, registrar a los visitantes y ofrecer promociones especiales para que regresen. Para el Día de San Valentín, Rajewski pagó anuncios dirigidos a lectores varones en Sports Illustrated y The New York Times para analizar la proporción de lectores varones y mujeres que compraban en el site. En los anuncios se ofrecía un descuento con tal que los compradores llenaran información demográfica básica. "Los resultados, una vez analizados, nos servirán para formular nuestros planes de publicidad en los medios para el año que viene", argumenta.

Beneficios:

· Reduce el costo inicial de instalar una bodega de datos o data warehouse
· Subcontratar la administración avanzada de datos pone esta tarea en manos de expertos
· Permite que un negocio pueda concentrarse en sus productos y servicios básicos
· El análisis de los datos de visitas a un site y demás información en línea se facilita a los ASP y demás proveedores de servicios de análisis

Inconvenientes

· Descargar aplicaciones clave de inteligencia del negocio exige prestar atención a toda una gama de temas sobre confidencialidad, concurrencia y seguridad
· Las bodegas de datos tradicionales están todavía mal preparadas para la subcontratación
· Distanciar a los usuarios de la bodega de datos puede resultar problemático. Si las bodegas de datos deben servir para algo, tiene que existir una estrecha relación entre usuarios y desarrolladores de la bodega

De los datos a las Deciciones rentables

La nueva economía ha empujado a las compañías a tomar decisiones más rápidas y efectivas a través del análisis de toda su información de nivel general a nivel detallado, información que viene de fuentes de datos cada día más complejas.

En este sentido, cada vez es más evidente el valor que tiene el conocimiento para las compañías, el cual proporciona hoy en día una mayor ventaja competitiva. A este respecto, el concepto de Business Intelligent (BI, Inteligencia de Negocios) está de moda. Sus aplicaciones.

para la toma de decisiones se convierten en una herramienta para los gerentes, no sólo de informática, sino de cualquier área de dirección de la empresa.

Hoy en día, la inteligencia de negocios se considera una nueva disciplina que pretende convertir el gran volumen de datos que normalmente tiene almacenada una organización en información útil para la toma de decisiones. Este es un proceso apoyado por herramientas modernas de tecnología de información, que permiten al gerente explorar, conocer y descubrir información de su propia empresa para producirla en conocimiento para la organización.

Principales Aplicaciones

Las aplicaciones de Business Intelligent ofrecen actualmente las herramientas más flexibles, sólidas y potentes para la distribución de informes, análisis de datos y consultas dinámicas de una variedad de fuentes de datos de empresas por los usuarios finales.

Los informes y otros datos de salida de conocimiento creados a partir de fuentes de datos de Business Intelligent se distribuyen generalmente a través de aplicaciones tipo portal. Estas capacidades combinadas deberán situar a las aplicaciones de BI en la lista de herramientas a considerar por cualquier empresa que esté emprendiendo la implementación de una solución de Gestión del Conocimiento.

El énfasis en el acceso a la información está conduciendo a la mayoría de las empresas y organizaciones que abordan sus necesidades de administración del conocimiento a comenzar por analizar sus aplicaciones en portales corporativos.
Estos últimos permiten el acceso a una amplia variedad de fuentes de datos estructuradas y no estructuradas a través de una sola interfaz, generalmente personalizada y basada en un modelo Web. Los portales simplifican el acceso a los datos abriendo ventanas a múltiples fuentes.