Перенос обучения

Общая схема переноса обучения с одного набора данных на другой

4.4.1. Перенос обучения в нейронных сетях // Дарья Лебедева (17 мар. 2024 г.) [6:14]

Лекция 4. Перенос обучения // ИУ5 (27 апр. 2022 г.) [28:22]

Перенос обучения или трансферное (переносное) обучение (англ. transfer learning) — один из индуктивных методов машинного обучения нейронных сетей, суть которого заключается в тренировке сети на одном наборе данных, а применении уже обученной модели на совершенно другом.

Такая схема позволяет не только ускорить обучение, но и улучшить результаты классификации или ожидаемого прогноза^[1].

Краткая информация[править]

В задачах, решаемых параллельно, перенос обучения позволяет нейронным сетям обмениваться друг с другом стратегией, которая может быть общей для всех подзадач. В дополнение к этому, с применением переноса обучения сам процесс тренировки каждой сети можно начинать не с нуля^[2].

Функционал переноса обучения реализован в ряде программных пакетов и библиотек, таких как статистический пакет Tensorflow, библиотеки языка «Питон» Tlib^[3], Adapt, библиотека языка C++ PyTorch C++ API^[4] или тулбокс математического пакета Matlab Domain-Adaptation-Toolbox^[5].

Источники[править]

↑ Девис, 2024, Transfer Learning и его роль в Few-Shot Learning
↑ Грессер, Кенг, 2024, Метаобучение и многозадачное обучение
↑ How to Effectively Use TLlib for Transfer Learning англ. (2011-01-11). Проверено 24 октября 2024.
↑ Transfer Learning on Dogs vs Cats Dataset using Libtorch and OpenCV англ.. Проверено 24 октября 2024.
↑ A domain adaptation toolbox англ.. Проверено 24 октября 2024.

Литература[править]

Девис, Джеймс Обучение с малым количеством данных. — М. : «», 2024.
Грессер, Лаура; Кенг, Ван Лун Глубокое обучение с подкреплением: : теория и практика на языке Python. — М. : «», 2024. — 416 с.

Машинное обучение и data mining ↑ [+]
Задачи	Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение Перенос обучения Многоклассовая классификация
Обучение с учителем	Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамбли моделей Бэггинг Бустинг Random forest Метод релевантных векторов
Кластерный анализ	Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift
Снижение размерности	Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE
Структурное прогнозирование	Графовая вероятностная модель Байесовская сеть Скрытая марковская модель CRF
Выявление аномалий	Метод k-ближайших соседей Локальный уровень выброса
Графовые вероятностные модели	Байесовская сеть Марковская сеть Скрытая марковская модель
Нейронные сети	Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации Сигмоида Softmax Радиально-базисная функция Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть Долгая краткосрочная память Управляемый рекуррентный блок Свёрточная нейронная сеть U-Net Автокодировщик
Обучение с подкреплением	Марковский процесс Уравнение Беллмана Жадный алгоритм Q-обучение SARSA Temporal difference (TD)
Теория	Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения
Журналы и конференции	NeurIPS ICML ML JMLR ArXiv:cs.LG

Одним из источников, использованных при создании данной статьи, является статья из википроекта «Руниверсалис» («Руни», руни.рф) под названием «Перенос обучения», расположенная по адресу:

—	«https://руни.рф/index.php/Перенос_обучения»

Материал указанной статьи полностью или частично использован в Циклопедии по лицензии CC BY-SA.

Всем участникам Руниверсалиса предлагается прочитать «Обращение к участникам Руниверсалиса» основателя Циклопедии и «Почему Циклопедия?».

[Девис—2024—Transfer_Learning_и_его_роль_в_Few-Shot_Learning—-1] Девис, 2024, Transfer Learning и его роль в Few-Shot Learning

[Грессер,_Кенг—2024—Метаобучение_и_многозадачное_обучение—-2] Грессер, Кенг, 2024, Метаобучение и многозадачное обучение

[3] How to Effectively Use TLlib for Transfer Learning англ. (2011-01-11). Проверено 24 октября 2024.

[4] Transfer Learning on Dogs vs Cats Dataset using Libtorch and OpenCV англ.. Проверено 24 октября 2024.

[5] A domain adaptation toolbox англ.. Проверено 24 октября 2024.

[1]

[2]

[3]

[4]

[5]

Перенос обучения

Краткая информация[править]

Источники[править]

Литература[править]

Навигация

Поиск