TwiddleLab / Искусственный интеллект / Внутри глубокого обучения

Борьба с переобучением

Урок 7 из 10 · 7 мин · Бесплатно, без аккаунта

Что ты узнаешь

• Большая сеть может запомнить обучающие данные: ноль ошибки на обучении, большая ошибка на новых данных.
• Регуляризация мешает запоминать. Затухание весов добавляет к потере λ × (сумма квадратов весов).
• Dropout выключает случайные нейроны на каждом шаге. Слишком сильная регуляризация недообучает: найди λ, где ошибка на новых данных самая низкая.

Начать урок

Как идёт урок

1. Огромная сеть запоминает каждое обучающее фото. Больше данных можно достать не всегда. Можно ли затруднить запоминание?

   Сначала ставка: две кривые, обученные на тех же 10 точках.

2. Обучи большую сеть на 10 точках, потом проверь её.

   20 нейронов, 10 обучающих точек. Нажми «Обучить», потом «Показать новые данные».

3. Бери с сети плату за большие веса. Опусти ошибку на новых данных ниже 0,45.

   λ (лямбда) это цена за единицу квадрата веса.

4. Ещё один приём: выключать случайные нейроны при обучении.

   Выбери долю dropout. Опусти ошибку на новых данных ниже 0,42.

5. Оба приёма это регуляризация.

   Они меняют немного ошибки на обучении на гораздо меньшую ошибку на новых данных.

6. Какие идеи сокращают разрыв между обучением и новыми данными?

   Больше данных и отражённые или повёрнутые копии (аугментация данных) дают больше закономерностей для обучения. Dropout и затухание весов мешают запоминать. Больше эпох и больше нейронов дают больше места для запоминания.

7. Найди лучший штраф: λ с самой низкой ошибкой на новых точках.

   Каждое опробованное λ оставляет точку на маленьком графике. Потом нажми «Проверить».

   Ошибка на новых точках: 0,78 при λ 0, 0,42 при 0,3, 0,38 при 1, 0,64 при 3. λ = 1 это дно долины.

8. Математика: штраф сдвигает минимум.

   Одна ошибка, (w − 4)², минимальна при w = 4. Добавь штраф 1 × w² и найди новое дно.

9. Какая из этих подгонок переобучилась?

   Подгонка B проходит через каждую обучающую точку (ошибка 0), но промахивается мимо новых (0,78). Подгонка A слишком плоская: она недообучилась. Подгонка C сбалансированная.

10. До и после: твоё исправление.

    Переключайся между сетью без штрафа и с твоим λ.

Предыдущий урок: Умные шаги: моментум и Adam · Следующий урок: Инициализация и взрыв градиентов · Часть курса: Внутри глубокого обучения

Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.