Circiter - Consultoría en ciencia de datos, estadística e IA

El cliente, un actor destacado en la industria de la publicidad digital en España, nos pidió optimizar los resultados de sus campañas de email marketing. El proyecto constaba de dos fases: predecir la respuesta del cliente en términos de aperturas y conversiones, y utilizar estas predicciones para realizar la planificación semanal de los envíos maximizando el beneficio pero cumpliendo además con diversas restricciones comerciales, como ciertos límites en el número de contactos por cliente.

Ciencia de datos

Para estimar las propensiones, implementamos modelos estándar de ML con un enfoque en la precisión y la posibilidad de reentrenamiento automático, sin intervención humana. Uno de los principales retos fue el de gestionar adecuadamente el desequilibrio entre las proporciones de éxitos (correos abiertos o respondidos) y fracasos.

La optimización de asignación se abordó utilizando técnicas poco comunes en proyectos de ciencia de datos: recurriendo a técnicas de programación lineal. Realizamos varias adaptaciones para lograr tiempos de ejecución razonables para conjuntos de datos con millones de variables y restricciones. Gracias a una serie de heurísticas ad hoc, redujimos significativamente el tiempo de cálculo (de horas a minutos), lo que permitió entregar a los usuarios soluciones prácticamente en tiempo real.

Tecnología

Aprovechando el modelo de almacenamiento de datos existente en el cliente, desarrollamos flujos de ETL en Python (Pandas) y utilizamos Scikit-learn de Python para modelado predictivo. Creamos un flujo para el reentrenamiento periódico del modelo y adoptamos software específico de programación lineal para abordar el problema de la asignación óptima.

Este proyecto consistió en la implementación de un modelo clásico de churn con varias modificaciones avanzadas y ad hoc. Además de proporcionar probabilidades de churn, categorizamos las razones más probables de alta probabilidad de fuga (por ejemplo, fallas en el sistema o incrementos de precio), lo que ayudó al equipo de éxito del cliente en la gestión de casos. Estas razones se clasificaron según su capacidad de acción. Además, el modelo se diseñó para predecir churn en el futuro, teniendo en cuenta los casos en los que aún no se había registrado una fuga pero en los que ya era evidente que el cliente ya había tomado la decisión de no renovar el contrato. Este enfoque priorizó la retención de clientes por encima de lograr un rendimiento óptimo únicamente sobre el papel.

Ciencia de datos

Si bien los proyectos de churn suelen ser habituales y hasta cierto punto reiterativos, este en particular se distinguió por incorporar análisis de lenguaje natural de las transcripciones de conversaciones de los clientes para identificar pistas relevantes relacionadas con el churn y, además, tratar de entender las causas facilitando así la tarea posterior de la retención.

Tecnología

Todo el proyecto se implementó en R, desde la extracción de datos y el modelado hasta el proceso de reajuste periódico. Además, se desarrolló un panel web para gestionar re-entrenamientos a demanda integrado en GCP que se encargaba de leer los datos, escalar el sistema para el entrenamiento, escribir los resultados y apagarlo al terminar.

El cliente, el Instituto de Salud Carlos III, nos pidió una renovación integral de su herramienta de monitorización de mortalidad en España. Esta plataforma sirve para rastrear la mortalidad en tiempo real en España y así como atribuir los excesos de mortalidad a diversos factores, tales como olas de calor, fríos extremos, gripe y, como acabó sucediendo después, la pandemia del COVID-19.

Ciencia de datos

El proyecto consistió en el desarrollo de varios modelos de series temporales adaptados a las peculiaridades de la monitorización de la mortalidad en general y a las especificidades de España en particular, que incluye la necesidad de realizar desgloses por provincias, comunidades autónomas, sexos y tramos de edad. Así, hubo que crear submodelos para predecir la mortalidad actual habida cuenta de los retrasos en la notificación de las defunciones, predecir la mortalidad esperada en función de los datos históricos y evaluar las desviaciones entre los datos reales y los del modelo para generar alertas.

Tecnología

Creamos una nueva base de datos MySQL para almacenar los datos relacionados con la mortalidad y desarrollamos procesos en Python para integrar en ella automáticamente datos procedentes de diversas fuentes oficiales. Utilizamos R para el desarrollo de modelos y Shiny y Flexdashboard para generar cuadros de mando interactivos. Ahora, los procesos de ETL y el ajuste de los modelos se realizan automáticamente, eliminando la necesidad de intervención manual que aquejaba al sistema anterior.

Los transformadores eléctricos de los parques eólicos están sujetos a fatiga de materiales relacionada con las variaciones de temperatura significativamente mayor que la del resto. Esto se debe a la variabilidad de su carga, reflejo de la del viento, que genera fluctuaciones frecuentes de temperatura (y, consecuentemente, ciclos frecuentes de de expansión y contracción). Nuestro cliente, una empresa internacional que opera parques eólicos en varios países, nos pidió realizar el nowcast de la temperatura de funcionamiento del transformador. Esto implicaba analizar varias variables climáticas y operativas para detectar desviaciones y mejorar la eficacia de las acciones de mantenimiento preventivo.

Ciencia de datos

El problema planteado por el nowcast era estándar: en función del estado actual del sistema y los datos pasados relevantes (en las últimas 2-3 horas), había que predecir la temperatura de operación actual. El principal reto consistió en identificar un conjunto suficiente de variables que capturaran razonablemente el estado del sistema y a lo largo del periodo en que tiene influencia sobre el estado actual. Después de seleccionar estas variables, se encontró que un modelo de regresión clásico, sencillo y fácilmente interpretable cumplía con los requisitos operativos establecidos por el cliente. Además, mediante un análisis meticuloso de los fallos del modelo, se constató la omisión en los datos de eventos específicos (como episodios de lluvia) tenían un impacto importante en la precisión de la predicción de temperatura, lo que condujo a una reevaluación del proceso de recopilación de datos y un replanteamiento posterior de los modelos.

Tecnología

En respuesta a los requisitos del cliente, implementamos con éxito un flujo de trabajo completo sobre Python, que abarcaba la adquisición de datos, su limpieza y la predicción.

Nuestro cliente era una empresa de consultoría especializada en ayudar a vendedores en plataformas como Amazon. Buscaban desarrollar un sistema de pujas optimizado.

Ciencia de datos

El estado del arte en la optimización de pujas son los modelos de inspiración bayesiana, que son los que de manera más natural integran la incertidumbre asociada a los datos y, muy especialmente, en el caso de productos o anuncios nuevos, sin un histórico de datos. Sin embargo, la naturaleza computacionalmente intensiva de los enfoques bayesianos puros combinada con la enorme cantidad de información, exigió utilizar una aproximación más eficiente: INLA. Habida cuenta de la incertidumbre de las estimaciones y cómo esta se reducía al aumentar el número de impresiones y ventas, dividimos la vida útil del anuncio en una fase de exploración, durante la que se invierte dinero para evaluar su desempeño, y una fase de explotación, en la que se busca maximizar el beneficio.

Tecnología

El cliente nos proporcionó una base de datos MySQL bien diseñada, lo que facilitó las consultas a través de Python, mientras que el modelado y el análisis se realizaron utilizando R e INLA. La solución se dockerizó e integró en los servidores del cliente.

Un actor destacado de la industria minorista buscaba analizar el comportamiento de los clientes dentro de sus tiendas físicas. Había instalado cámaras azimutales capaces de detectar sus movimientos, pero faltaba convertir los datos brutos generados por las cámaras en datos útiles para el negocio. Nuestra tarea consistió en transformar estos datos mediante: 1) el mapeo los píxeles de la cámara a puntos concretos sobre el plano de tienda; 2) combinar la información en las zonas en las que más de una cámara se solapa y 3) generar visualizaciones, como mapas de calor, para representar los patrones de actividad de la tienda a lo largo del tiempo.

Ciencia de datos

Uno de los principales retos de este proyecto consistió en el proceso de configuración de las cámaras de una nueva tienda, sumamente tedioso. Sin embargo, lo aceleramos drásticamente gracias a un modelo de la distorsión de las imágenes, diseñado específicamente para la óptica de las cámaras de ojo de buey. A pesar de la limitación de los datos disponibles (obtenerlos requería de un tedioso proceso manual), utilizamos modelos no lineales estándar capaces de deducir los parámetros de orientación y deformación de la cámara a partir de un número muy limitado de balizas.

Tecnología

La solución que desarrollamos se implementó con éxito en dos importantes minoristas en España. Para soportar los enormes requisitos computacionales asociados, desplegamos la solución en Google Cloud, utilizando Compute Engine, Cloud Functions y BigQuery. Los usuarios podían gestionar la operativa de las tiendas a través de una interfaz web desarrollada con Python Flask, y consultar las estadísticas, gráficos y mapas de calor horarios a través de un cuadro de mando desarrollado con R Shiny.