Thesis:

Business process tasks prediction with Multi-Attribute Transformers

Predicting the evolution of an ongoing process is a challenging task in Business Process Management (BPM). An approach from Process Mining (PM) is to use event logs from information systems as a historical source of patterns. Recurrent neural networks have shown promise in sequence prediction but have limitations. State-of-the-art models with higher accuracy consider not only activity sequences but also other event attributes. Meanwhile, Transformer-based models have become the standard in sequence modeling, processing sequences in a single step. Some studies suggest using Transformer variants for this task, focusing solely on event activity information. In this work, we propose using Transformer-based models for predicting ongoing processes in the BPM domain, incorporating Multi-Attribute Transformers to leverage activity sequences as well as performer and timing information. We evaluate various architectures for encoding and integrating these attributes and explore multi-task variants for predicting the next activity, when it will occur, and which resource(s) will be assigned to it. Moreover, we propose an encoder-decoder architecture for sequence-to-sequence (seq2seq) tasks and apply it to predict the complete trace of events following the ongoing process. We evaluate two methods to merge the representations of the encoded attributes. Our experiments on three real datasets show that Multi-attribute Transformers perform better than Transformers using only previous process activities in two out of three datasets in terms of accuracy and Damerau-levenshtein similarity.

Predecir la evolución de un proceso en curso es un desafío en la Gestión de Procesos de Negocio (BPM). Un enfoque de la Minería de Procesos (PM) es usar registros de eventos de sistemas de información como fuente histórica de patrones. Las redes neuronales recurrentes han mostrado promesa en la predicción de secuencias, pero tienen limitaciones. Los modelos de vanguardia con mayor precisión consideran no solo secuencias de actividades sino también otros atributos de eventos. Mientras tanto, los modelos basados en Transformadores se han convertido en el estándar en la modelización de secuencias, procesando secuencias en un solo paso. Algunos estudios sugieren usar variantes de Transformadores para esta tarea, centrándose únicamente en la información de actividad del evento. En este trabajo, proponemos usar modelos basados en Transformadores para predecir procesos en curso en el dominio de BPM, incorporando Transformadores Multi-Atributo para aprovechar secuencias de actividades, así como información sobre quién las realiza y cuándo. Evaluamos varias arquitecturas para codificar e integrar estos atributos y exploramos variantes multitarea para predecir la próxima actividad, cuándo ocurrirá y qué recurso(s) se asignará(n) a ella. Además, proponemos una arquitectura de codificador decodificador para tareas de secuencia-a-secuencia (seq2seq) y la aplicamos para predecir la traza completa de eventos siguiendo el proceso en curso. Evaluamos dos métodos para fusionar las representaciones de los atributos codificados. Nuestros experimentos en tres conjuntos de datos reales muestran que los Transformadores Multi-Atributo tienen un mejor desempeño que los Transformadores que usan solo actividades de procesos anteriores en dos de los tres conjuntos de datos evaluados con accuracy y similitud de Damerau-levenshtein.