Towards Physical Plausibility in Neuroevolution Systems

Abstract

A utilização generalizada e crescente de Aprendizagem Computacional (AC) resulta num consumo significativo de energia nas etapas de treino e inferência. Uma redução apenas marginal no consumo energético tem o potencial de levar a poupanças energéticas substanciais, beneficiando assim tanto as partes interessadas (e.g., empresas, utilizadores) como o meio ambiente.A otimização de modelos de Redes Neuronais Artificiais constitui uma abordagem promissora para a redução de consumo energético. A utilização de uma abordagem evolutiva para afinar esses modelos a problemas específicos oferece uma plataforma versátil. Além disso, ao integrar considerações sobre o consumo energético de um dado modelo no processo evolutivo, é possível pavimentar de forma eficiente o caminho no sentido de modelos energicamente eficientes.Neste trabalho, propomos abordagens novas integradas no Fast Deep Evolutionary Network Structured Representation (Fast-DENSER), que visam encontrar modelos energicamente eficientes. Incorporámos uma nova abordagem para medir o consumo energético de uma Rede Neuronal Profunda durante a fase de inferência. Esta métrica foi introduzida em funções de aptidão multiobjetivo de modo a conduzir a evolução no sentido de modelos energicamente mais eficientes. Para além disso, também introduzimos uma nova estratégia de mutação que permite a reutilização de módulos de camadas com probabilidade inversa ao seu uso de energia, (re)introduzindo assim conjuntos eficientes de camadas num modelo. Promomos também a introdução de uma camada de saída adicional conectada a uma camada intermediária de um modelo de Rede Neuronal Profunda e o posterior particionamento em dois modelos separados de modo a obter modelos de menor dimensão, porém de precisão semelhante e de consumo energético inferior. Até onde sabemos, nenhum trabalho prévio utiliza uma abordagem semelhante. Desenvolvemos uma estratégia que permite inicializar o Fast-DENSER com modelos previamente treinados de modo a iniciar o processo evolutivo com modelos precisos e evoluí-los de modo a serem mais eficientes em termos energéticos.Os resultados obtidos pelas nossas propostas mostram que é possivel reduzir o consumo de energia de Redes Neuronais Artificiais sem comprometer o seu desempenho preditivo. Concretamente, podemos obter modelos que consomem menos 19.50 W (19.5%) do que um modelo de referência, tendo uma precisão mais elevada que este por 0.2%. O melhor modelo encontrado em relação à energia consome menos 29.18 W (29.2%), tendo uma diminuição mínima no desempenho (menos de 1%).

The widespread and increasing usage of Machine Learning (ML) results in significant power consumption in training and inference steps. Even a marginal reduction in power consumption holds the potential for substantial energy savings, benefiting stakeholders (e.g., companies, end users) and the environment.Optimizing Artificial Neural Network (ANN) models is a promising avenue for curbing power consumption. Employing an evolutionary approach to tailor these models to specific problems offers a versatile framework. Furthermore, by integrating considerations of model power usage into this evolutionary process, the pathway toward power-efficient models can be efficiently paved.In this work, we propose novel approaches integrated into Fast Deep Evolutionary Network Structured Representation (Fast-DENSER), which aim at finding power-efficient models. We have incorporated a new approach to measure the power consumption of a Deep Neural Network (DNN) model during the inference phase. This metric has been embedded into multi-objective fitness functions to steer the evolution towards more power-efficient DNN models. We also introduce a new mutation strategy that allows the reuse of modules of layers with inverse probability to the power usage of a module, thus (re)introducing efficient sets of layers in a model. We propose the introduction of an additional output layer connected to an intermediate layer of a DNN model and posterior partitioning into two separate models to obtain smaller but similarly accurate models that utilize less power. To the best of our knowledge, no prior works employ a similar approach. We developed a strategy that allows initializing Fast-DENSER with a previously trained model to start the evolution with already accurate models and evolve them towards power-efficient models.The results obtained by our proposals show that we can reduce the power consumption of the ANNs without compromising their predictive performance. In concrete, we can obtain models that consume less 19.50 W (19.5%) than a baseline model whilst having an accuracy higher by 0.2%. The best model found regarding power consumes less 29.18 W (29.2%) whilst having a tiny decrease in performance (less than 1%).