Preview

Цифровая трансформация

Расширенный поиск

Влияние гиперпараметров нейронной сети на её численную обусловленность

Полный текст:

Аннотация

В данной работе рассмотрена задача оценивания численной обусловленности многослойного персептрона, прогнозирующего временные ряды методом скользящего окна. Рассмотрена работа прогностического персептрона при различных наборах гиперпараметров, в частности, при различном количестве нейронов на разных слоях нейронной сети, а также при использовании тех или иных функций активации. Выявлены основные факторы, влияющие на обусловленность нейронной сети, а также особенности её работы при различных функциях активации. Предложены формулы для оценки чисел обусловленности отдельных компонентов прогностического персептрона и самой нейронной сети в целом. Проведён сравнительный анализ результатов обучения прогностического персептрона при различных гиперпараметрах на примере смоделированных временных рядов. Сформулированы условия, обеспечивающие лучшую устойчивость и обусловленность нейронной сети.

Об авторе

С. В. Шолтанюк
Белорусский государственный университет
Беларусь

Ассистент кафедры компьютерных технологий и систем ФПМИ

пр. Независимости, д. 4, 220030 , г. Минск



Список литературы

1. Sengupta, B. How Robust are Deep Neural Networks [Electronic resource] / B. Sengupta, K.J. Friston // arXiv.org e-Print archive – Mode of access: https://arxiv.org/abs/1804.11313. – Date of access: 02.02.2020. – (Preprint / arXiv:1804.11313).

2. Godfellow, I.J. Explaining and Harnessing Adversarial Examples [Electronic resource] / I.J. Goodfellow, J. Shlens, C. Szegedy // International Conference on Learning Representations: proceedings of 3rd International Conference, San Diego, 7-9 May 2015 // arXiv.org e-Print archive – Mode of access: https://arxiv.org/abs/1412.6572. – Date of access: 02.02.2020. – (Preprint / arXiv:1412.6572v3).

3. Maas, A.L. Rectifier Nonlinearities Improve Neural Network Acoustic Models // A.L. Maas, A.Y. Hannun, A.Y. Ng // International Conference on Machine Learning: proceedings of 30th International Conference, Atlanta, 16-21 June 2013 // Stanford Artificial Intelligence Laboratory – Mode of access: https://ai.stanford.edu/~amaas/papers/relu_hybrid_icml2013_final.pdf. – Date of access: 02.02.2020.

4. Trefethen, L. N. Numerical Linear Algebra / L.N. Trefethen, D. Bau. – Philadelphia : Society for Industrial and Applied Mathematics, 1997. – 390 p.

5. Duchi, J. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization / J. Duchi, E. Hazan, Y. Singer // Journal of Machine Learning Research – 2011. – Vol. 12 – P. 2121–2159.

6. Шолтанюк, С. В. Сравнительный анализ нейросетевой и регрессионных моделей прогнозирования временных рядов / С. В. Шолтанюк // Цифровая трансформация. – 2019. – № 2 (7). – С. 60–68.


Для цитирования:


Шолтанюк С.В. Влияние гиперпараметров нейронной сети на её численную обусловленность. Цифровая трансформация. 2020;(1):43-50.

For citation:


Sholtanyuk S.V. Influence of the Neural Network Hyperparameters on its Numerical Conditioning. Digital Transformation. 2020;(1):43-50. (In Russ.)

Просмотров: 67


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2522-9613 (Print)
ISSN 2524-2822 (Online)