Thesis: Estrategia de Interpretación de Agentes DRL Aplicados a Redes Ópticas Elásticas
| datacite.subject.fos | Engineering and technology::Electrical engineering, Electronic engineering, Information engineering::Electrical and electronic engineering | |
| datacite.subject.fos | Engineering and technology::Electrical engineering, Electronic engineering, Information engineering::Communication engineering and systems | |
| datacite.subject.fos | Engineering and technology::Electrical engineering, Electronic engineering, Information engineering::Telecommunications | |
| dc.contributor.department | Departamento de Electrónica | |
| dc.contributor.guia | Jara Carvallo, Nicolas Alonso | |
| dc.coverage.spatial | Campus Casa Central Valparaíso | |
| dc.creator | Bermúdez Cedeno, Jorge | |
| dc.date.accessioned | 2025-12-09T16:11:16Z | |
| dc.date.available | 2025-12-09T16:11:16Z | |
| dc.date.issued | 2025-11-11 | |
| dc.description.abstract | La creciente complejidad de las redes ópticas elásticas (Elastic Optical Networks, EONs) y la necesidad de operar en entornos altamente dinámicos han impulsado el uso de técnicas basadas en inteligencia artificial, particularmente el Aprendizaje por Refuerzo Profundo (Deep Reinforcement Learning, DRL), como solución para problemas de gestión de recursos. Sin embargo, una de las principales barreras para su implementación práctica radica en su naturaleza de “caja negra”, es decir, la dificultad para interpretar y justificar las decisiones tomadas por estos modelos. En este contexto, la presente tesis propone un marco metodológico que permite dotar de interpretabilidad a agentes DRL aplicados al problema RSA (Routing and Spectrum Allocation), uno de los desafíos centrales en redes ópticas modernas. El enfoque desarrollado se basa en el uso de aprendizaje por imitación para entrenar clasificadores interpretables (como regresión lineal, regresión logística, árboles de decisión y bosques aleatorios) que emulan las políticas de decisión del agente DRL. Esta estrategia de tres etapas —entrenamiento del agente, imitación y análisis interpretativo— permite descomponer el comportamiento del modelo original en elementos comprensibles, identificando patrones, reglas y factores determinantes en la selección de rutas y asignación de espectro. El marco, además, integra un simulador que reproduce condiciones dinámicas de red, incluyendo impedimentos de la capa física y restricciones de calidad de transmisión (QoT), lo que permite evaluar los modelos en escenarios realistas. Los resultados experimentales revelan que el subproblema de enrutamiento presenta mayor complejidad que la asignación espectral, evidenciado por una menor precisión en las predicciones de los clasificadores. Asimismo, todos los modelos imitadores tienden a reproducir consistentemente la elección de la primera ruta disponible, en línea con heurísticas tradicionales, mientras que la selección de rutas secundarias presenta un patrón más aleatorio, lo que sugiere una menor estructuración en esas decisiones por parte del agente. En cuanto a la importancia de características, se identificó que el tamaño del bloque espectral influye significativamente en la política del agente, mientras que atributos como el par origen-destino tienen escasa incidencia. Además, los clasificadores basados en árboles de decisión destacaron la relevancia de las bandas centrales del espectro como zonas preferidas por el agente, posiblemente por su mayor flexibilidad operativa. Este trabajo no solo permite interpretar modelos DRL en términos comprensibles, sino que también sienta las bases para construir versiones más ligeras, auditables y eficientes de estos agentes, facilitando su integración en entornos productivos y su validación en contextos críticos. El marco propuesto representa una contribución concreta al desarrollo de redes ópticas inteligentes y transparentes, promoviendo el uso de inteligencia artificial explicable en sistemas de telecomunicaciones avanzados. Finalmente, la investigación abre nuevas líneas de trabajo, como el diseño de modelos híbridos que combinen reglas interpretables con agentes DRL, y la extensión del enfoque a otros problemas de control y planificación en redes de próxima generación. | es |
| dc.description.abstract | The increasing complexity of elastic optical networks (EONs) and the need to operate in highly dynamic environments have driven the use of artificial intelligence-based techniques, particularly Deep Reinforcement Learning (DRL), as a solution to resource management problems. However, one of the main barriers to its practical implementation lies in its "black box" nature—that is, the difficulty in interpreting and justifying the decisions made by these models. In this context, this thesis proposes a methodological framework that enables the interpretability of DRL agents applied to the Routing and Spectrum Allocation (RSA) problem, one of the central challenges in modern optical networks. The developed approach is based on the use of imitation learning to train interpretable classifiers (such as linear regression, logistic regression, decision trees, and random forests) that emulate the decision policies of the DRL agent. This three-stage strategy—agent training, imitation, and interpretive analysis—allows the original model's behavior to be broken down into understandable elements, identifying patterns, rules, and determining factors in route selection and spectrum allocation. The framework also integrates a simulator that reproduces dynamic network conditions, including physical layer impediments and quality of transmission (QoT) constraints, enabling the evaluation of models in realistic scenarios. Experimental results reveal that the routing subproblem is more complex than spectrum allocation, evidenced by lower accuracy in the classifiers' predictions. Furthermore, all imitation models tend to consistently reproduce the choice of the first available route, in line with traditional heuristics, while the selection of secondary routes exhibits a more random pattern, suggesting less structure in these decisions by the agent. Regarding the importance of features, the spectral block size was found to significantly influence the agent's policy, while attributes such as the source-destination pair have little impact. Furthermore, decision tree-based classifiers highlighted the relevance of the central spectrum bands as areas preferred by the agent, possibly due to their greater operational flexibility. This work not only allows for the interpretation of DRL models in understandable terms but also lays the groundwork for building lighter, auditable, and more efficient versions of these agents, facilitating their integration into production environments and their validation in critical contexts. The proposed framework represents a concrete contribution to the development of intelligent and transparent optical networks, promoting the use of explainable artificial intelligence in advanced telecommunications systems. Finally, the research opens new avenues of work, such as the design of hybrid models that combine interpretable rules with DRL agents, and the extension of the approach to other control and planning problems in next-generation networks. | en_US |
| dc.description.degree | Doctorado en Ingeniería Electrónica | |
| dc.description.sponsorship | ANID | |
| dc.driver | info:eu-repo/semantics/doctoralThesis | |
| dc.format.extent | 81 páginas | |
| dc.identifier.doi | 10.71959/m8y7-tc65 | |
| dc.identifier.uri | https://cris.usm.cl/handle/123456789/4218 | |
| dc.identifier.uri | https://doi.org/10.71959/m8y7-tc65 | |
| dc.language.iso | es | |
| dc.publisher | Universidad Técnica Federico Santa María | |
| dc.rights | Attribution-NonCommercial-NoDerivatives 4.0 International | en |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0/ | |
| dc.subject | EON | |
| dc.subject | Machine Learning | |
| dc.subject | Interpretability | |
| dc.subject.ods | 9 Industria, innovación e infraestructura | |
| dc.title | Estrategia de Interpretación de Agentes DRL Aplicados a Redes Ópticas Elásticas | |
| dspace.entity.type | Tesis |
Política de Privacidad 
