| Description: |
Рассматривается задача определения гиперпараметров нейронной сети в контексте построения двумерной карты местности. Целью работы является анализ существующих методов оптимизации гиперпараметров, а также разработка улучшенного подхода к определению гиперпараметров на основе достоинств и недостатков существующих методов. В качестве гиперпараметров рассматриваются скорость обучения, коэффициент регуляризации, размер мини-батча, вероятность дропаута, сдвиг и растяжение, применяемые в пакетной нормализации. Среди существующих методов подбора гиперпараметров были рассмотрены случайный поиск, поиск по сетке (вариация параметров), Байесовская оптимизация, эволюционная оптимизация, оптимизация на основе градиентов и спектральный метод. На основе исследуемых методов был предложен подход, который увеличивает производительность и качество работы алгоритма. Целевая функция оптимизируется в области, описываемой простыми ограничениями на нижнюю и верхнюю границу, гиперпрямоугольник, а переменные решения ограничены целочисленными значениями. Алгоритм основывается на исходной модели целевой функции, а затем выбирает новые точки для оценки, пытаясь сбалансировать исследование неизвестных значений и уже найденных. Одноцелевая задача оптимизации для выбора новой точки решается простым генетическим алгоритмом. Критерием остановки является максимально допустимое число оценок или установленный временной порог. Оценка целевой функции реализуется с помощью очереди задач. Применение метода оптимизации без производных позволяет сократить вычислительные потери за счет оптимизации целевой функции в области, описываемой простыми ограничениями на нижнюю и верхнюю границу. При этом точность алгоритма оказывается выше, чем при использовании случайного поиска, байесовской и спектральной оптимизации. This article describes an approach for solving the task of finding hyperparameters of an artificial neural network, which is used for making a 2D land map. The main goal of research was an analysis of methods for finding hyperparameters and creating a better method for solving this task, which would be based on existing methods. We considered on various hyperparameters such as velocity of training, coefficient of regularization, size of batch, probability of drop out, shifting, used for batch normalization. Among existing methods for finding hyperparameters we considered on the random search method, searching by grid, the Bayesian optimization, the evolution algorithm, the optimization, based on gradients, and the spectral method. As a result, we created a new method for finding hyperparameters which showed a better result in most of the use cases, which we have (mostly for middle European part of Russia). The main idea of the method for finding hyperparameters is consisted in an approach for optimization of the quality function with a simple condition for lower and upper limits and a demand that the value of the function needed to be an integer number. This task may be solved with a simple genetic algorithm. Using the optimization algorithm without evaluating derivatives gives decreasing time complexity of the algorithm without losing quality of the algorithm. In many cases the quality of result was better than results of existing methods. |