NETERIS CONSULTING
Cabecera Blog y Mail (Instant y Monthly) HIGH RES

    DataWarehouse 2.0 todo en uno con Autonomous DW

    Posted by C. Valverde on 9 junio 2021
    Add to Flipboard Magazine.

    DataWarehouse 2.0 BLOG

    El Dato, también conocido como el petróleo del siglo XXI, está cada vez más presente en nuestras vidas, tanto a nivel profesional como a nivel particular.

    En este blog os acercaremos el concepto de Datawarehouse 2.0, mostrando cómo podemos, desde un único lugar, gestionar la extracción, transformación y carga (ETL en Ingles) del dato, realizar un primer análisis del mismo y aplicar algoritmia directamente en el Datawarehouse sin necesidad de llevar datos a otros entornos.

    En poco tiempo, hemos visto como la cantidad de fuentes de información, externas e internas, así como el volumen de datos que nos aportan ha crecido exponencialmente, generando una ventaja competitiva a aquellas compañías que han sabido lidiar con este problema y convertirlo en su aliado, siendo capaces de tomar mejores decisiones, optimizar sus procesos, entender mejor a sus clientes o ser mejores que su competencia.

    Para ello, independientemente de la complejidad del análisis de los datos, se hacía necesaria una arquitectura basada en 3 capas:

    • Extracción, Transformación y Carga (ETL en inglés)
    • Almacenamiento de la información en formato optimizado para su análisis (Data Warehouse)
    • Análisis y tratamiento de los datos

    Lo cual implicaba un nuevo reto: diseño, construcción, implementación y mantenimiento de esas 3 capas, la mayor parte de las veces, desarrolladas por diferentes empresas y, por tanto, con ciclos de vida diferentes.

    DataWarehouse 2-0 preguntaLa buena noticia es que SI, es posible gracias a la tecnología de base de datos autónoma de Oracle. 

    Gracias a las Oracle Autonomous Database Tools”.

     

     

     

    ORACLE AUTONOMOUS DATA WAREHOUSE

    oracle autonomous datawarehouse-1

    Integrated cloud data service to empower innovators

     

    La idea detrás de estas tools es, básicamente, que podamos realizar gran parte de las tareas necesarias en un entorno de DataWarehouse desde el propio almacén de datos, en este caso Oracle Autonomous Data Warehouse (ADW).

     

    De esta forma, desde el propio ADW, podremos realizar las siguientes tareas:

    ETL

    • Extracción, ya sea de un fichero de texto, una hoja excel, otra Base de Datos o un almacenamiento cloud como AWS S3 o Azure Blob, y Transformación del dato, para el caso en que el formato no sea el correcto y necesitemos adaptarlo o limpiarlo para que el análisis sea más eficiente. Utilizando la tecnología ODI, nos permite definir que queremos hacer con los datos en esta fase de transformación.
    • Carga del dato, en el propio ADW, aunque también podemos elegir que ADW se conecte a una fuente remota, sin cargar el dato en el propio ADW.

    DATAWAREHOUSE

    • Data Warehouse (ADW), el servicio autónomo optimizado para el almacenamiento de la información de cara a ser analizada y consumida por las herramientas de BI/BA.

    MODELADO, INSIGHTS Y LINAJE DEL DATO

    • Modelado de negocio, lo que nos permite identificar las dimensiones, jerarquías y las medidas, ayudando a tener una vista optimizada de los datos a analizar.
    • Análisis preliminar de los datos, mostrándonos unos insights que nos ayudan a entender mejor nuestros datos, detectar tanto patrones como anomalías, y así poder entender, sin esfuerzo alguno, que está pasando de acuerdo con el plan y que necesita ser analizado más pormenorizadamente por tener una respuesta anómala.
    • Linaje del dato, tan importante hoy día debido a regulaciones como el RGPD, facilitándonos el entendimiento del origen de los datos que tenemos, pudiendo determinar el camino que ha seguido si así fuese necesario.

    ANÁLISIS DEL DATO

    •  Análisis de relaciones entre las entidades, lo que nos permite tratar nuestros datos como grafos en los que las relaciones entre las entidades, en muchas ocasiones, pueden ser tanto o más importantes que el dato en sí mismo.
    • Análisis Espacial de los datos, dándonos información de localización de sucesos, información demográfica, relaciones de cercanía entre entidades, lo cual nos ayudará a entender nuestra información desde un punto de vista espacial.
    • Aplicación de Machine Learning para obtener aun más valor del dato, llevando el algoritmo al dato, en lugar del dato al algoritmo, evitando así tener dispersión y falta de gobierno del dato al quedar centralizado en el DataWarehouse.
    • Desarrollo de apps Low Code para la explotación de todas estas funcionalidades de manera integrada en el DataWarehouse, facilitando la generación de aplicaciones para la explotación del dato almacenado.

    Si quieres saber cómo podemos ayudarte a simplificar tu entorno de DataWarehouse

    ¡CONTÁCTANOS! 

    Topics: Cloud & Infrastructure, Data Intelligence