Thesis:

Multi-agent Deep Rainforcement Learning for Efficient Multi-Timescale Bidding of a Hybrid Power Plant in Day-Ahead and Real-Time Markets

La licitación efectiva en múltiples productos eléctricos bajo incertidumbre permite una participación más rentable para plantas híbridas con recursos variables y sistemas de almacenamiento, apoyando la descarbonización. Este estudio aborda la licitación eficiente de una planta fotovoltaica con sistema de almacenamiento (PV-ESS) en mercados eléctricos multi-escalas temporales, ofreciendo energía y servicios auxiliares (AS). El sistema de gestión energética (EMS) maximiza las ganancias mediante licitaciones en los mercados de día siguiente y tiempo real, asegurando la entrega adecuada de los productos adjudicados. Dado que el problema es un programa estocástico multi-etapa, se presenta un marco novedoso de aprendizaje por refuerzo profundo multiagente (MADRL). Dos agentes basados en redes neuronales multivista recurrentes (MVANNs) mapean observaciones a acciones, utilizando información del mercado, generación solar, energía almacenada y tiempo. Con el supuesto de tomador de precios y simulación basada en datos históricos, se ajustan simultáneamente los pesos de las MVANNs con una función de recompensa acumulativa. Se compara el MADRL con métodos robustos y estocásticos de dos etapas. Los resultados, con resolución de un minuto para un año de operación, muestran mayores ganancias, ingresos menos variables y mejor provisión de productos, con menores desequilibrios energéticos.

Effective bidding on multiple electricity products under uncertainty enables more profitable participation for hybrid plants with variable resources and storage systems, supporting decarbonization. This study addresses efficient bidding of a photovoltaic plant with an energy storage system (PV-ESS) in multi-timescale electricity markets, providing energy and ancillary services (AS). The energy management system (EMS) maximizes profits by bidding in day-ahead and real-time markets while ensuring adequate delivery of awarded products. Given that the problem is a multi-stage stochastic program, a novel multi-agent deep reinforcement learning (MADRL) framework is presented. Two agents based on multi-view recurrent neural networks (MVANNs) map observations to actions using information from the market, solar generation, stored energy, and time. Under the price-taker assumption and simulation based on historical data, the MVANNs’ weights are simultaneously adjusted with a cumulative reward function. The MADRL is compared against two-stage robust and stochastic methods. Results, at one-minute resolution for one year of operation, show higher profits, less variable incomes, and better provision of awarded products, with smaller energy imbalances.