Please use this identifier to cite or link to this item: http://repositoriosenaiba.fieb.org.br/handle/fieb/1187
Full metadata record
DC FieldValueLanguage
dc.contributor.advisorNascimento, Erick Giovani Sperandio-
dc.contributor.authorReis Junior, Amilton Sales-
dc.date.accessioned2022-04-02T18:34:35Z-
dc.date.available2022-04-02T18:34:35Z-
dc.date.issued2021-07-07-
dc.identifier.citationREIS JUNIOR, Amilton Sales; NASCIMENTO, Erick Giovani Sperandio (orientador). NEVOPT: desenvolvimento de um otimizador de hiperparâmetros baseado em algoritmos evolucionários para modelos de redes neurais artificiais. Salvador, BA, 2021. 65 f. Dissertação (Mestrado em Modelagem Computacional e Tecnologia Industrial) - Centro Universitário SENAI CIMATEC, Salvador, 2021.pt_BR
dc.identifier.urihttp://repositoriosenaiba.fieb.org.br/handle/fieb/1187-
dc.description.abstractO ajuste de hiperparâmetros é uma etapa fundamental durante o desenvolvimento de uma rede neural artificial (RNA). Um pesquisador que queira utilizar uma RNA em sua pesquisa, durante a criação de um modelo, geralmente passa considerável parte do tempo experimentando e buscando os melhores hiperparâmetros (quantidade de camadas, quantidade de neurônios por camada, função de ativação, taxa de aprendizado etc) para sua rede neural, o que pode implicar em um consumo de tempo considerável dedicado apenas a esta otimização durante a pesquisa. Algoritmos de busca como o Random Search ou Grid Search podem auxiliar esta tarefa, porém, ao passo que o Random Search depende do acaso para apresentar resultados ideais, o Grid Search torna-se, para muitos casos, inviável devido ao tempo de processamento gasto, dependendo do espaço de busca delimitado pelo pesquisador, o que consequentemente limita esta técnica, uma vez que é um algoritmo de força bruta. Alguns otimizadores de hiperparâmetros como o KerasTuner realizam a tarefa de buscar hiperparâmetros de maneira mais inteligente, porém ainda dependem que a arquitetura de redes neurais seja definida previamente pelo especialista. Assim posto, o presente trabalho tem como objetivo apresentar uma abordagem para um otimizador de hiperparâmetros para RNAs, especificamente Multi-layer Perceptron (MLP), Long-Short Term Memory (LSTM), Gated Recurrent Unit (GRU) e Convolutional Neural Networks (CNN), composto por um sistema integrado comparativo que contém os algoritmos evolucionários Artificial Immune Systems (AIS), Particle Swarm Optimization (PSO) e Genetic Algorithm (GA). O otimizador desenvolvido foi aplicado a conjuntos de dados de casos previamente publicados e a problemas amplamente conhecidos, visando avaliar sua capacidade de encontrar um conjunto otimizado de hiperparâmetros de forma automática. Para problemas de regressão, foram selecionados dois benchmarks. O primeiro consiste de um problema de previsão de velocidade do vento e o segundo se refere a um problema de previsão de níveis de ozônio troposférico. O otimizador também foi avaliado e aplicado ao problema amplamente conhecido de classificação de dígitos escritos a mão do Modified National Institute of Standards and Technology (MNIST) e ao problema de classificação de peças de roupa do fashionMNIST. Para esses problemas de regressão e classificação, foram encontrados melhores resultados quando comparados ao Random Search e melhores, ou equiparáveis, ao KerasTuner e aos encontrados na literatura.pt_BR
dc.description.abstractHyperparameter tuning is a fundamental step during the development of an artificial neural network (ANN). A researcher who wants to use an ANN in your research, during the creation of a model, usually spends considerable part of the time experimenting and looking for the best hyperparameters (number of layers, number of neurons per layer, activation function, learning rate, etc.) your neural network, which can imply a considerable time consumption dedicated just to this optimization during the search. Search algorithms like Random Search or Grid Search can help with this task, however, while Random Search depends on chance to deliver optimal results, Grid Search becomes, for many cases, unfeasible due to the processing time spent, depending on the search space delimited by the researcher, which consequently limits this technique, since it is a brute force algorithm. Some hyperparameter optimizers like KerasTuner perform the task of fetching hyperparameters more intelligently, but still depend that the architecture of neural networks is previously defined by the specialist. Thus, the present work aims to present an approach to a hyperparameter optimizer for ANNs, specifically Multi-layer Perceptron (MLP), Long-Short Term Memory (LSTM), Gated Recurrent Unit (GRU) and Convolutional Neural Networks (CNN), composed of an integrated comparative system that contains the evolutionary algorithms Artificial Immune Systems (AIS), Particle Swarm Optimization (PSO) and Genetic Algorithm (GA). The developed optimizer was applied to sets of data from previously published cases and widely known problems, with a view to evaluate its ability to find an optimized set of hyperparameters in a automatic. For regression problems, two benchmarks were selected. The first consists of a wind speed prediction problem and the second refers to a tropospheric ozone level prediction problem. The optimizer was also evaluated and applied to the well-known problem of sorting handwritten digits of the Modified National Institute of Standards and Technology (MNIST) and the problem of fashionMNIST clothing rating. For these regression problems and classification, better results were found when compared to Random Search and better, or comparable, to KerasTuner and those found in the literature.pt_BR
dc.language.isoptpt_BR
dc.publisherCentro Universitário SENAI CIMATECpt_BR
dc.rightsembargadopt_BR
dc.rights.uri"Todos os direitos reservados. É permitida a reprodução parcial ou total desta obra, desde que citada a fonte e que não seja para venda ou qualquer fim comercial."pt_BR
dc.subjectAprendizado profundopt_BR
dc.subjectRedes neuraispt_BR
dc.subjectAlgoritmos evolucionáriospt_BR
dc.subjectOtimização de hiperparâmetrospt_BR
dc.titleNEVOPT: desenvolvimento de um otimizador de hiperparâmetros baseado em algoritmos evolucionários para modelos de redes neurais artificiaispt_BR
dc.title.alternativeNEVOPT: development of a hyperparameter optimizer in artificial evolutionary model modelspt_BR
dc.typedissertaçãopt_BR
dc.embargo.terms1825 diaspt_BR
dc.publisher.countrybrasilpt_BR
dc.publisher.departamentCentro Universitário SENAI CIMATECpt_BR
dc.publisher.programPrograma de Pós-Graduação Stricto Sensupt_BR
dc.publisher.initialsSENAI CIMATECpt_BR
dc.subject.cnpqSistemas complexospt_BR
dc.contributor.refereesMoreira, Davidson Martins-
dc.contributor.refereesSilva Neto, Antônio José da-
Appears in Collections:Dissertações de Mestrado (PPG MCTI)

Files in This Item:
There are no files associated with this item.


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.