TwiddleLab / Искусственный интеллект / Внутри глубокого обучения
Как читать кривые обучения
Что ты узнаешь
- Кривая обучения показывает потерю по эпохам на обучающих и на валидационных данных.
- Переобучение: обучающая продолжает падать, а валидационная поворачивает вверх. Ранняя остановка сохраняет модель из самой низкой точки валидации.
- Недообучение: обе остаются высокими. Слишком большая скорость обучения: кривые скачут. Наклон кривой это скорость обучения.
Как идёт урок
Твоя модель обучалась всю ночь. Две линии на графике. Хорошие новости или плохие?
Видны только первые 15 эпох. Дорисуй остальную оранжевую линию.
Вот вся ночь. Где нужно было остановить обучение?
Валидационная потеря ниже всего около эпохи 20. После этого модель становится лучше на обучающих данных и хуже на новых.
Четыре модели, четыре истории. Подпиши каждый график.
Кривые обучения, ранняя остановка, недообучение.
Каждый запуск обучения даёт эти две линии. Читать их первый навык отладки.
Останови обучение вживую, когда валидационная ниже всего.
Нажми «Старт», следи за оранжевой линией, нажми «Стоп». Попадание в пределах 3 эпох побеждает.
Какая скорость обучения дала серую кривую?
Пробуй скорости обучения, пока твоя фиолетовая кривая не совпадёт.
Назначь исправление каждой сломанной модели.
Математика: наклон кривой это скорость обучения.
Найди точку, где обучение почти остановилось.
Какая модель переобучается?
У модели C обучающая потеря продолжает падать, а валидационная поворачивает вверх после эпохи 20. A здоровая, B недообучается.
Скоростной раунд: шесть графиков, по шесть секунд.
Нажми на диагноз, пока не кончилось время.
Предыдущий урок: Инициализация и взрыв градиентов · Следующий урок: Проект: почини сломанную сеть · Часть курса: Внутри глубокого обучения
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
