Big Data

Entrada publicada originalmente en el blog SIS-Temas del departamento de ingeniería de Sistemas y Computación de la universidad de los andes, en 30 de Julio de 2015. ¹

Big Data por sí mismo no es un objetivo, la alineación con la estrategia de la empresa es clave para el éxito.

La cantidad de información que generamos, en diferentes formatos, crece de manera acelerada. Generamos datos cuando interactuamos con nuestro entorno, por ejemplo, cada vez que hacemos una compra en un supermercado, una reserva de un vuelo, solicitamos o asistimos a una cita médica; cada vez son más frecuentes los sensores que monitorean desde nuestra ubicación hasta nuestro ritmo cardiaco; en la web no sólo generamos contenidos de forma explícita, una gran cantidad de datos es generada a partir de nuestras interacciones. Esto es sólo la punta del Iceberg.

El obtener conocimiento a partir de los datos ya no es una ventaja competitiva, es un requerimiento para sobrevivir en un mundo en el que cada vez más las decisiones son guiadas por ellos.

El término Big Data fue acuñado para referirse a conjuntos de datos que por su volumen, variedad y velocidad de generación son inadecuados para los sistemas manejadores de bases de datos y aplicaciones de procesamiento de datos tradicionales. Es una definición accidental. Este término actualmente es utilizado para referirse al ecosistema tecnológico formado alrededor de estos datos.

El hype de Big Data ha sido notorio en los últimos años. Apareció por primera vez en el ciclo de hype para tecnologías emergentes de Gartner para el 2011, en el 2013 alcanzó el pico de expectativas infladas y en el último reporte, revelado en agosto de 2014, empezó lentamente su caída de este pico.

Con la presencia que ha tenido este término en los medios y los casos de éxito que han sido publicitados, muchas empresas han empezado a ver Big Data como algo en lo que deberían trabajar. Es común ver proyectos iniciados para usar herramientas para procesar grandes cantidades de datos sin tener un objetivo claro, alineado con la estrategia de la organización. Esto es un despropósito, Big Data no es un objetivo por sí mismo y, en mi opinión, es esta equivocación lo que lleva a la desilusión en muchos casos. Lo importante no son las herramientas, ni los datas, sino qué se logra con ellos.

Algunos autores añaden a las 3 V de la definición de Big Data, una cuarta: Valor. Todos los datos tienen un valor intrínseco, pero debemos descubrirlo. Cuando los proyectos de Big Data y Data Analytics están alineados con los objetivos estratégicos de la empresa, pueden tener un gran retorno sobre la inversión.

Analizando diferentes casos de éxito se encuentran factores comunes:

• Capital humano: Las iniciativas de “ciencia de datos” requieren equipos en los que personas con diferentes roles interactúan para alcanzar el objetivo. Uno de esos roles es el de Data Business Person, que tiene un alto conocimiento del dominio, de la organización y de las necesidades estratégicas. Empoderar a los actuales empleados para hacer un uso efectivo de los datos puede ser la forma más indicada de llenar este rol, posiblemente nadie conoce mejor a la organización, el dominio y los datos que quienes hacen parte de ella. Programas de capacitación (en especial en estadística, analítica visual y cómo hacer preguntas), herramientas que les permitan interactuar fácilmente con los datos, y un proceso que les permita ser escuchados, son pasos clave en este aspecto. La idea es tener expertos en hacer preguntas de negocio en toda la organización.
• Centros de excelencia: Un centro de excelencia en Big Data y análisis de datos que provea capacitación, mejores prácticas, herramientas y soporte a toda la organización. Debe tener capacidad de toma de decisiones, ser independiente del departamento de tecnología. El centro de excelencia debe liderar las iniciativas a nivel estratégico, estar directamente bajo el CEO o el director estratégico le da una posición privilegiada para esto.
• Victorias tempranas y proyectos estratégicos: Se debe plantear la estrategia de la organización, pero se debe iniciar con proyectos puntuales en un área, que permitan tener aprendizajes y victorias tempranas que incentiven a los diferentes departamentos.
• No temer equivocarse: Es un proceso de aprendizaje y los proyectos fallarán. Como en todo proceso de innovación lo importante es fallar rápido, con un costo bajo, iterar y nunca dejar de intentarlo. (“Fail fast and cheap. Fail often. Fail in a way that doesn’t kill you.” Seth Godin)
• Actitud crítica frente a los datos: Cualquier afirmación puede ser soportada con datos, nuestro cerebro es susceptible en especial a encontrar falsas correlaciones y a ignorar datos que nos contradicen (confirmation bias), por lo que debemos tener actitud crítica frente a ellos. Un equipo multidisciplinar, con conocimientos de estadística y una actitud crítica frente a los datos, puede evitarnos grandes equivocaciones.

Dos factores claves para el éxito de los proyectos que buscan poner los datos al servicio de la organización son la habilidad para realizar las preguntas correctas (lo que requiere alto conocimiento del dominio) y cómo, y qué tan rápido, se obtienen e interpretan los datos. Es importante recalcar que las herramientas nunca reemplazarán el conocimiento del dominio.

El empezar un proyecto de Big Data, sólo porque todos los demás lo hacen, sin entender el impacto que tendrá en los objetivos de la organización o sin el capital humano adecuado, no sólo es inútil sino que puede ser contraproducente.

Debemos ir más allá del hype. En un mercado global, en el que cada vez más decisiones son tomadas basadas en los datos, el análisis de grandes cantidades de información se ha convertido en una necesidad y debe ser considerado a nivel estratégico en la organización.

1. https://web.archive.org/web/20180320023608/https://sis-temas.uniandes.edu.co/big-data-es-un-accidente/ ↩︎