Self-improving generative artificial neural network for pseudorehearsal incremental class learning

Deep learning models are part of the family of artificial neural networks and, as such, they suffer catastrophic interference when learning sequentially. In addition, the greater number of these models have a rigid architecture which prevents the incremental learning of new classes. To overcome these drawbacks, we propose the Self-Improving Generative Artificial Neural Network (SIGANN), an end-to-end deep neural network system which can ease the catastrophic forgetting problem when learning new classes. In this method, we introduce a novel detection model that automatically detects samples of new classes, and an adversarial autoencoder is used to produce samples of previous classes. This system consists of three main modules: a classifier module implemented using a Deep Convolutional Neural Network, a generator module based on an adversarial autoencoder, and a novelty-detection module implemented using an OpenMax activation function. Using the EMNIST data set, the model was trained incrementally, starting with a small set of classes. The results of the simulation show that SIGANN can retain previous knowledge while incorporating gradual forgetfulness of each learning sequence at a rate of about 7% per training step. Moreover, SIGANN can detect new classes that are hidden in the data with a median accuracy of 43% and, therefore, proceed with incremental class learning.

Los modelos de aprendizaje profundo forman parte de la familia de redes neuronales artificiales y, por lo tanto, sufren interferencias catastróficas al aprender secuencialmente. Además, la mayoría de estos modelos presentan una arquitectura rígida que impide el aprendizaje incremental de nuevas clases. Para superar estas desventajas, proponemos la Red Neuronal Generativa Artificial Automejorable (SIGANN), un sistema integral de redes neuronales profundas que puede mitigar el problema del olvido catastrófico al aprender nuevas clases. En este método, introducimos un novedoso modelo de detección que detecta automáticamente muestras de nuevas clases y utiliza un autocodificador adversarial para generar muestras de clases anteriores. Este sistema consta de tres módulos principales: un módulo clasificador implementado mediante una Red Neuronal Convolucional Profunda, un módulo generador basado en un autocodificador adversarial y un módulo de detección de novedades implementado mediante una función de activación OpenMax. Utilizando el conjunto de datos EMNIST, el modelo se entrenó incrementalmente, comenzando con un pequeño conjunto de clases. Los resultados de la simulación muestran que SIGANN puede retener conocimientos previos a la vez que incorpora un olvido gradual de cada secuencia de aprendizaje a una tasa de aproximadamente el 7 % por paso de entrenamiento. Además, SIGANN puede detectar nuevas clases ocultas en los datos con una precisión media del 43 % y, por lo tanto, proceder con el aprendizaje incremental de clases.