Скрытый слой

Пример скрытых слоев в глубокой нейронной сети

Скрытый слой, в искусственных нейронных сетях — набор искусственных нейронов, который обрабатывает входные данные, полученные от входных слоев, перед их передачей на выходной слой.

Общие сведения[править]

Скрытые слои могут формировать короткую последовательность, в которой каждый скрытый слой получает данные от предыдущего слоя и передаёт их следующему. Примером нейронной сети, использующей скрытый слой, является нейронная сеть с прямой связью^[1]. Простейшие примеры встречаются в многослойных перцептронах (MLP), как показано на рисунке^[2].

Скрытые слои преобразуют входные данные из входного слоя в выходной. Это достигается путем применения так называемых весов к входным данным и пропускания их через так называемую функцию активации, которая вычисляет входные данные на основе входных данных и веса. Это позволяет искусственной нейронной сети изучать нелинейные взаимосвязи между входными и выходными данными^[2].

На начальном этапе обучения нейронной сети веса нейронов могут быть назначены случайным образом, а в дальнейшем настроены и откалиброваны с помощью обратного распространения ошибки^[3].

Ограничения[править]

Большое количество скрытых слоев с точки зрения имеющейся сложности может вызвать так называемое переобучение, когда сеть подгоняет веса до уровня, когда она даёт хорошие результаты на обучающей выборке и неудовлетворительные — на новых данных. В противоположной ситуации, когда количество скрытых слоев меньше, чем имеющаяся сложность, может возникнуть недообучение, и системе может быть сложно справиться с поставленной задачей^[4].

Источники[править]

↑ Antoniadis, Panagiotis Hidden Layers in a Neural Network | Baeldung on Computer Science. Baeldung (March 18, 2024). Проверено 2 мая 2024.
↑ 2,0 2,1 Zhang Aston, Lipton Zachary 5.1. Multilayer Perceptrons // Dive into deep learning. — Cambridge New York Port Melbourne New Delhi Singapore: Cambridge University Press. — .
↑ Rouse, Margaret Hidden Layer. Techopedia (2018-09-05). Проверено 2 мая 2024.
↑ Effects of Hidden Layers on the Efficiency of Neural Networks Muhammad Uzair, Noreen Jamil IEEE 23rd Multitopic Conference

Машинное обучение и data mining ↑ [+]
Задачи	Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение Перенос обучения Многоклассовая классификация
Обучение с учителем	Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамбли моделей Бэггинг Бустинг Random forest Метод релевантных векторов
Кластерный анализ	Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift
Снижение размерности	Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE
Структурное прогнозирование	Графовая вероятностная модель Байесовская сеть Скрытая марковская модель CRF
Выявление аномалий	Метод k-ближайших соседей Локальный уровень выброса
Графовые вероятностные модели	Байесовская сеть Марковская сеть Скрытая марковская модель
Нейронные сети	Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации Сигмоида Softmax Радиально-базисная функция Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть Долгая краткосрочная память Управляемый рекуррентный блок Свёрточная нейронная сеть U-Net Автокодировщик Скрытый слой
Обучение с подкреплением	Марковский процесс Уравнение Беллмана Жадный алгоритм Q-обучение SARSA Temporal difference (TD)
Теория	Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения Алгоритм искусственной стаи рыб
Журналы и конференции	NeurIPS ICML ML JMLR ArXiv:cs.LG

Концепции

Модели

Компании

Категория · Шаблон

Одним из источников, использованных при создании данной статьи, является статья из википроекта «Руниверсалис» («Руни», руни.рф) под названием «Скрытый слой», расположенная по адресу:

—	https://руни.рф/Скрытый_слой

Материал указанной статьи полностью или частично использован в Циклопедии по лицензии CC BY-SA.

Всем участникам Руниверсалиса предлагается прочитать «Обращение к участникам Руниверсалиса» основателя Циклопедии и «Почему Циклопедия?».

[1] Antoniadis, Panagiotis Hidden Layers in a Neural Network | Baeldung on Computer Science. Baeldung (March 18, 2024). Проверено 2 мая 2024.

[:0-2] 2,0 ^2,1 Zhang Aston, Lipton Zachary 5.1. Multilayer Perceptrons // Dive into deep learning. — Cambridge New York Port Melbourne New Delhi Singapore: Cambridge University Press. — ISBN 978-1-009-38943-3.

[3] Rouse, Margaret Hidden Layer. Techopedia (2018-09-05). Проверено 2 мая 2024.

[4] Effects of Hidden Layers on the Efficiency of Neural Networks Muhammad Uzair, Noreen Jamil IEEE 23rd Multitopic Conference

[1]

[2]

[3]

[4]

Скрытый слой

Общие сведения[править]

Ограничения[править]

Источники[править]

Навигация

Поиск