La gestión de promociones ha sido uno de los grandes retos del sector retail. Con el avance de los procesos tecnológicos, la masiva migración de usuarios los canales digitales y las crecientes necesidades de digitalización de las empresas, han tenido que asumirse varios retos de especial importancia.

Es importante recordar que digitalizar un negocio no es llevarlo a internet. Los procesos de digitalización son muy amplios y más cuando se tratan de empresas que son realmente grandes como por ejemplo, El Corte Ingles. Uno de los gigantes del retail europeo ha enfrentado las dificultades de trabajar con amplios volúmenes de información y ha basado su arquitectura de información en grafos desarrollados en Neo4j para poder tratar de forma eficiente el cálculo de las promociones en tiempo real.

El Corte Ingles, con estos cambios no solamente ha mejorado su gestión de promociones, sino que ha dado el paso a la mejora de muchos otros procesos. Desde la gestión de clientes 360, el cálculo dinámico de precios, promociones por condición de pagos entre otros elementos que mejoran considerablemente la operativa interna.

Descubramos a continuación cómo lo han logrado.

El Corte Ingles y la dificultad de la gestión de promociones

Toda arquitectura de información tiene una lógica que debe seguir. Esta se adapta principalmente a las necesidades de sus usuarios. Sin embargo, cuando el crecimiento de los datos supera ampliamente la capacidad de procesamiento, existen problemas que pueden ser inevitables. Fallas, desactualizaciones, tiempos largos de espera para poder acceder a los datos. La gestión de promociones en la actualidad debe ser ágil, flexible y sobre todo ajustable al contexto de los usuarios.

En El Corte Ingles se enfrentaron a la realidad de contar con un sistema con más de 10 millones de referencias totales. Su arquitectura, funcionaba para gestionar estos datos, permitiéndoles operar promociones con más de 2 millones de referencias diarias y ubicando hasta más de 50 mil filas de consultas por día. Sin embargo, esto comprometía la agilidad y la calidad de la información que estaban utilizando.

Los sistemas de gestión de promociones definen sus resultados a través de los niveles de jerarquía. No realizan, en principio, cálculos en torno a sus referencias, sino a los departamentos o familias a las que pertenecen un conjunto de referencias, para que se puedan impulsar ,os datos de forma directa a través de los diferentes canales a los usuarios. Al tener volúmenes tan elevados de referencia, existían procesos muy complejos que no solo dificultaban el traslado de información sino que podían quedar totalmente aislados del flujo promocional.

Esto genero una serie de retos a resolver para el equipo de El Corte Inglés en cuanto a su sistema de gestión de promociones. Primero, era necesario encontrar una solución de datos que permitiera atender la volumetría referencial. Adicionalmente este sistema tenía que ser más ágil para poder cubrir las demandas de cambio de la política promocional y sobre todo tenia que disminuir los tiempos de proceso.

La solución se encontró a través de un camibio total de la arquitectura de datos. El nuevo modelo se desarrollo en Neo4j.

El nuevo sistema de gestión de promociones de El Corte Inglés

El reto no fue menor. La velocidad de actualización de los sistemas de promociones de El Corte inglés no permitirán que los cambios fuesen aplicables de forma automática. Podían esperarse hasta 6 horas en algunos cambios, esto significaba que algún error en la información comercial estaría activo para todos los usuarios internos y externos de la empresa. Al incorporar Neo4j como motor de la una nueva arquitectura de información, plantearon un proyecto en fases.

La primera fase estaba destinada a reproducir el proceso original, en la nueva estructura. La realidad de una empresa de estas dimensiones no permite hacer pausas operativas largas. Por lo que mantener toda la operativa mientras se realiza la transición al nuevo modelo de forma simple es fundamental. En la segunda fase, procedieron a realizar una carga instrumental de todos los datos del sistema a medida de los cambios de la nueva arquitectura.

En la tercera fase del proyecto, incorporaron una API de servicios que permitiera utilizar los datos y resultados procesados en Neo4j. Para la cuarta fase, ya no había necesidad de lidiar con millones de datos o filas, sino que se podían desarrollar los cambios de forma inmediata dentro de la estructura de datos. Permitiendo que la quinta fase fuese el desarrollo general del proyecto; Abriendo también la posibilidad de incorporar nuevas tipologías.

Sin embargo antes de poder desarrollar este proyecto, tal como ha sido descrito realizaron algunas pruebas adicionales. El reto de solucionar el aplanamiento era el norte. Con la definición de punteros de información, lograban solucionar el proceso de aplanamiento, ya que minimiza algunos cálculos y se puede acceder a la información más rápido. Pero está solución incrementaba los procesos a desarrollar. También ejecutaron pruebas de concepto. En este caso el aplanamiento de datos no era necesario, pero al almacenar y consultar de nuevo los datos era necesario desarrollarlo a través de joins y otros tipos de consulta. Con el aumento de los volúmenes de información, incrementaba el tiempo de espera de procesamiento, lo que no solucionaba uno de los problemas iniciales.

Al experimentar el proyecto en escala a través de Neo4j lograron disminuir de 6 horas a minutos el procesamiento de datos. La reconstrucción de toda la arquitectura sería la principal dificultad, pero sin duda se convirtio en la solución para el sistema de gestión de promociones de El Corte Ingles.

La solución

El proyecto de fases fue planteado en un modelo de trabajo en la nube. El equipo de desarrollo diseño una arquitectura de dos capas con diferentes agentes. Uno de ellos esta pensado para que la información sea procesada y moldeada especialmente para ser almacenada en Neo4j. A través de esto se puede obtener y calcular información directamente desde el grafo y es trasladada a los usuarios en forma de ficheros. Estos datos son enviados a través de un sistema con funciones de mensajería. La otra capa son los pluggins de JAVA, que ayudan a generar el grafo, consultarlo, realizar mantenimientos y cálculos.

Este proyecto desde una perspectiva técnica presentaba algunas dificultades. La información de El Corte Inglés estaba diseñada en otro formato. Por lo que fue necesario replicar la información a través de una herramienta de captura de datos en origen. Esa réplica de información estaba disponible en tiempo real y podía ser incorporada de inmediato al grafo. También tenían que enfrentar la dificultad que una vez, la información fuese recalculada, debía moverse y ser compartida. Este proceso fue realizado en ficheros para que los sistemas anteriores que no fueran compatibles con la solución nueva, igualmente pudieran aprovechar el resultado.

Por último, fue necesario incorporar un registro de versiones para poder contar con un historial detallado de los cambios realizados en el grafo en tiempo real. Esto permite contar con información actualizada siempre, además, ayuda a validar que la información sea correcta. La validación se desarrolla a través de procesos Ad-Hoc para que se puedan comparar en cada uno de los entornos.

El equipo de El Corte Inglés desarrollo la estructura jerárquica del grafo, para que responda a la forma en la que la información es cargada. Esto permite ampliar y modificar la jerarquía y ajustar o cambiar los nodos. Esto adicionalmente permite que el modelo sea verificado y ajustado cuando se integren nuevos nodos,

Resultados

En materia de resultados, han sido claros los logros. La nueva implementación del sistema de gestión de promociones ha evolucionado con éxito. Las promociones se calculan de forma rápida y ágil. Los tiempos de actualización de la información ha mejorado considerablemente y ya no se depende de diferentes motores de cálculo. El conocimiento sobre los datos es explicito y se cuenta con un esquema uniforme de procesamiento. Los procesos se han simplificado y con el desarrollo de esta solución en la nube, se han controlado los costes de forma efectiva.

Además se han abierto nuevos horizontes de desarrollo para atender necesidades de brand data, pricing data, product hieracrchy, documentación, y nuevos procesos. Esto permitirá que El Corte Inglés incursione en nuevas promociones de producto, pricing dinámico, recomendaciones personalizadas y más.

Esperamos que esta información fuese de utilidad para comprender un poco más sobre las potencialidades de los grafos.

Conoce más sobre los grafos en Grapheverywhere.