AlexNet

Общая конфигурация слоёв нейронной сети AlexNet (справа) в сопоставлении с сетью LeNet (слева)

AlexNet (англ. AlexNet) — архитектура свёрточной нейронной сети, предложенная канадским исследователем Алексеем Крижевским (англ. Alex Krizhevsky), которая победила в соревновании 2012 года по распознаванию изображений из онлайн-базы ImageNet. Инновационная конфигурация и широкое использование для обучения возможностей аппаратной части на основе графических процессоров позволила сети AlexNet обойти своих ближайших конкурентов со значительным отрывом.

Краткая информация

Оригинальная архитектура нейронной сети AlexNet включает в себя восемь основных слоёв, из которых пять являются свёрточными. В качестве активаторов были выбраны функции ReLU вместо функций на основе гиперболического тангенса, которые являлись де-факто стандартом в ту эпоху. Замена гиперболических тангенсов на ReLU позволило ускорить обучение сети примерно в шесть раз. Кроме этого, на временных затратах сказалась удачная компоновка AlexNet, которая позволяла запускать обучение сети на нескольких графических картах одновременно. Для избежания эффекта переобучения был задействован целый комплекс средств, одним из основных элементов которого стало расширение данных (англ. data augmentation) с помощью сдвинутых и отзеркаленных изображений. Всего в составе AlexNet для распознавания было задействовано около 60 млн параметров и 650 тысяч нейронов.

Источники

• Бычков, А. Г.; Киселёва, Т. В.; Маслова, Е. В. Использование свёрточных нейронных сетей для классификации изображений // Информационные технологии : журн. — 2023. — С. 39–49. — УДК 004.93. — DOI:10.57070/2304-4497-2023-1(43)-39-49.
• Черников, А. Д. Глубокое обучение и свёрточные нейронные сети в компьютерном зрении. Роль глубокого обучения и свёрточных нейронных сетей в автоматической диагности и мониторинге заболеваний // «Вестник науки» : журн. — 2023. — Сентябрь (№ 9). — Т. 66. — С. 201–208.
• Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. ImageNet Classification with Deep Convolutional Neural Networks : [англ.] // Advances in Neural Information Processing Systems 25. — 2012. — P. –. — ISBN 9781627480031.

Одним из источников, использованных при создании данной статьи, является статья из википроекта «Руниверсалис» («Руни», руни.рф) под названием «AlexNet», расположенная по адресу: — «https://руни.рф/index.php/AlexNet» Материал указанной статьи полностью или частично использован в Циклопедии по лицензии CC BY-SA. Всем участникам Руниверсалиса предлагается прочитать «Обращение к участникам Руниверсалиса» основателя Циклопедии и «Почему Циклопедия?».