El término Big Data Analytics se refiere fundamentalmente a un surtido de aplicaciones, que abarcan desde la inteligencia empresarial básica (BI), hasta la generación de informes, gráficos y Online Analytical Processing (OLAP) y varias formas de analítica avanzada. Cuando se circunscribe a usos empresariales también se conoce como Business Analytics. Su objetivo inmediato es buscar conclusiones que nos permitan la toma de decisiones, la elaboración de planes de actuación o el establecimiento de modelos predictivos que sean consistentes con los resultados del proceso de análisis.
Por las grandes diferencias que hay entre el Business Intelligence y las técnicas más avanzadas de Data Analytics, suele tratarse al BI como una categoría de conocimiento separada.
Los analistas de datos (Data Analysts) se están convirtiendo en los trabajadores más cotizados del mundo, según salary.com, en Estados Unidos se cotizan a 55.000 $ en los niveles más bajos y pueden llegar a los 110.000 $ en los niveles más altos, como el de Arquitecto de Datos (Data Architect III).
Aún más cotizado es el científico de datos (Data Scientist), los especialistas de esta rama tienen la mediana salarial en 122.500 $, estando los más cotizados retribuidos por encima de los 150.000 USD. Este perfil une a la función de analista de datos el conocimiento de la tecnología y la aptitud y capacidad para el análisis estadístico.
Origen de los datos
Dependiendo de la aplicación en particular, los datos analizados pueden consistir en registros históricos o en información nueva que se haya procesado para usos de análisis en tiempo real. Además, puede provenir de una mezcla de sistemas internos y fuentes externas de datos. Las empresas y las entidades públicas recopilan y analizan datos asociados constantemente; estos pueden referirse a usuarios o clientes, procesos de negocio, mercados, empleados o en general a cualquier información que pueda ser necesaria para el negocio o relevante para la toma de decisiones que afecten a la elaboración de productos, la prestación de servicios, los ingresos o los costes. Los datos son categorizados, almacenados y analizados para estudiar las tendencias y patrones de compra.
- Datos no estructurados: provienen de información contenida en imágenes, videos, audio, emails y documentos (PDF, Word, etcétera).
- Datos estructurados: bases de datos estructuradas (Oracle, MySQL, SQL Server, Access, etc), hojas de cálculo, ficheros xml, ficheros planos, APIs, etcétera.
La organización y manejo de datos no estructurados ha dado origen a un nuevo tipo de bases de datos llamadas ACID y NoSQL, el primer término es el resumen en siglas de cuatro propiedades: atomicity, consistency, isolation, durability (atomicidad, consistencia, aislamiento, durabilidad), las bases de datos no relacionales (NoSQL) se caracterizan por no contener un esquema, además suelen utilizar una clave de partición para recuperar valores, conjuntos de columnas o documentos JSON o XML semiestructurados, así como otros documentos que contengan atributos de elementos relacionados, una forma de operar cada vez más habitual en Internet y en todo tipo de sistemas.
Actualmente disponemos de potentes tecnologías, muchas disponibles en la nube que soportan NoSQL:
- Documentales, como DynamoDB, Cassandra, MongoDB o Couchbase.
- De Grafos, como Titan o GraphDB.
- Almacén de memoria de claves-valores, como Aerospike o Memcached.
- De Columnas, como Cassandra, HBase o Redshift.
Mención aparte, por lo avanzado merecen las tecnologías NoSQL aportadas por Google, que este año presentó Cloud Spanner, una innovadora tecnología de altísima eficiencia y que soporta al tiempo ACID-NoSQL y esquemas estructurados compatibles con SQL.
Big Data Analytics, un mercado en fuerte expansión
Hace apenas dos años IDC decía que los ingresos debidos al Big Data y Business Analytics (BDBA) crecerían 130.1 mil millones de dólares en 2016 a más de 203 en 2020, con una tasa compuesta de crecimiento (CAGR) del 11,7%. Estas previsiones se están quedando cortísimas, hay nichos importantísimos que se están viendo transformados por el BDBA, uno de ellos es el mercado la informática de secuenciación, que ya ha generado 416 millones de dólares sólo en Estados Unidos y que prevé crecimientos de doble dígito con un GACR del 19%.
Su rápida adopción lo está convirtiendo en un estándar de la industria en sectores como el financiero, comercio, seguros, salud y distribución, facilitando la gestión de riesgos y una visión de 360º de los clientes y de los recursos operativos.
Los 4 tipos de análisis de datos
Los análisis de datos podemos distinguir diferentes tipos de análisis de datos en función de cuál sea nuestro objetivo al realizarlo, estos análisis son progresivamente más complejos y difíciles:
- Para saber Qué hacer para que ocurra algo: necesitamos un análisis Descriptivo. Se caracteriza por aportar informes y gráficos, pero en principio aporta poca información sobre las causas ni predicciones fiables. Puede referirse al pasado o si se refiere al tiempo real, a lo que está pasando en este preciso momento.
- ¿Qué ha causado lo que encontramos? Para saber Por qué ha sucedido estaremos ante un Análisis de tipo Diagnóstico. Muy ligado al anterior añade una capa de inteligencia, al interpretar la información y añadir las causas más probables del comportamiento identificado.
- Para prepararnos y organizarnos para lo Qué probablemente sucederá tendremos un Análisis Predictivo. Un tipo de análisis muy valioso para las empresas en todo tipo de sectores, pero especialmente valioso para sectores como el financiero y el de seguros, entre otros, donde entre otras cosas podemos encontrar aplicaciones para mitigar el fraude, reducir los riesgos o aumentar el beneficio.
- Para decidir Cómo actuar necesitaremos un Análisis Prescriptivo. Está ligado a procesos de automatización, de A/B testing, de establecimiento de rutas para vehículos con fines de reducir tiempos o costes en el transporte, el aprovisionamiento o el reparto. El Data Driven Decision Making se ha convertido en la última frontera en ámbitos punteros como los abarcados por las Fintech y varias startups que trabajan con Blockchain.
Como indica este esquema de Gartner los análisis sobre datos estructurados actualmente se encuentran más avanzados, mientras que los referidos a fuentes no estructuradas pueden considerarse aún emergentes. Es ahí donde se empiezan a encontrar y se encontrarán las aplicaciones más disruptivas.
Procesos clave y característicos del Data Analysis
Aunque la captura, almacenamiento, búsqueda y análisis de extensos conjuntos de datos son elementos imprescindibles en cualquier proceso de análisis de datos, el valor diferencial de un análisis de datos se encuentra fundamentalmente en los siguientes procesos clave:
- Análisis exploratorio de datos: identificación de tendencias, gráficos, histogramas, clasificación de grupos, etcétera.
- Modelado y algoritmos:
- Basados en información estadística: medias, modas, desviaciones, máximos, mínimos, regresiones, pruebas-t, pruebas-z y otras técnicas aplicables a la empresa.
- Basados en algoritmos heurísticos o en la lógica de negocio (cuando conocemos a priori alguna causa o relación determinante en el resultado).
- Basados en inteligencia artificial o machine learning.
- Informes y visualización de datos: la información puede ser entregada para ser comprendida mediante informes y gráficos que se manejan desde Excel, PowerBI, Reporting Services, aplicaciones a medida, QlikView, PeriscopeData, Tableau, Google Data Studio, etc. La información debe ser entregada de modo que ofrezca los KPI, insights y datos clave a los distintos departamentos y áreas de la empresa, desde las áreas de dirección y estrategia a las departamentales: comercial, marketing, financiero, operaciones, áreas técnicas, etcétera.
Carencia de profesionales cualificados
Las mútiples aplicaciones de la ciencia de datos y el análisis de datos para negocios está contribuyendo a una expansión de la demanda de profesionales con conocimientos de los procesos, metodologías y herramientas de Big Data y además requiere de un constante reciclaje de los técnicos y managers que ya trabajan en este área. En este sentido, el nuevo Máster en Big Data y Business Analytics de IMF contempla todo lo necesario para poder desempeñar con eficacia las funciones propias de un Analista de Datos, de un Data Scientist o de un Arquitecto de Big Data. Especialidades que se vienen demandando fuertemente en el mercado laboral al menos desde 2013.
Empresas que aplican el Big Data a la mejora de procesos y decisiones
El uso de Big Data se está generalizando, pero podemos citar a empresas que lo han adoptado y que gestionan importantes proyectos, entre ellas está Indra, que lidera el proyecto europeo de I+D+i Transforming Transport, enmarcado en el programa Horizonte 2020 y que abarca a 47 entidades de 9 países distintos. En Estados Unidos encontramos empresas tan conocidas como Facebook, Netflix, General Electric, pionera con su proyecto ServiceMax; Uber, American Express, Starbucks y las tecnológicas AT&T, IBM y Lenovo, que destaca con proyectos de rediseño de productos que han contribuido a reducir los defectos con impacto en garantías y las llamadas a su call center. Como proveedores podemos destacar entre otros a Amazon, nº 1 en soluciones de Big Data en Cloud y Google, líder en Machine Learning y también un agente muy relevante en Cloud.
Formación Relacionada
José Antonio Redondo Martín
Últimos posts de José Antonio Redondo Martín (ver todo)
- Proyecto ENIAC: la historia de un gigante del hardware - 11/02/2023
- Glosario de Procesamiento de Lenguaje Natural (NLP) - 09/02/2023
- Llega Bard: la respuesta de Google Search a ChatGPT-3 - 07/02/2023
