TwiddleLab / Искусственный интеллект / Внутри глубокого обучения

Проект: отладь сломанную сеть

Урок 10 из 10 · 8 мин · Бесплатно, без аккаунта

Что ты узнаешь

• Отлаживай по порядку: прочитай кривые, проверь столбики градиентов, поменяй одну ручку, обучи снова и сравни.
• Потеря взрывается: уменьши скорость обучения. Запоминает: регуляризация или ранняя остановка. Ровно с самого начала: ищи исчезающие градиенты.
• Частые ошибки в коде: слишком большая скорость обучения и данные, которые никогда не перемешивают.

Начать урок

Как идёт урок

1. Три сети, три отчёта об ошибке от твоей команды. Исправь их до демо.

   Начни с догадки про сеть 3, ту, что никогда не учится.

2. Сопоставь каждый отчёт об ошибке с его панелью.

3. Сеть 3 ровная. Посмотри на её столбики градиентов.

   Нажми на столбик, чтобы увидеть его значение, потом «Проверить».

   Слой 8 получает 0,5, слой 7 0,125, слой 6 0,03, слой 5 0,008. Ранние слои почти не получают вины: исчезающий градиент.

4. Чек-лист отладки.

   Инженеры, которые обучают сети, каждый день следуют какой-то версии этого.

5. Почини сеть 1: её потеря взрывается.

   Меняй только скорость обучения.

6. Почини сеть 2: она запоминает.

   Используй штраф весов, dropout или оба. Слишком много, и она перестанет учиться.

7. Почини сеть 3: перестрой её слои, чтобы учился каждый слой.

   Переключай слои между сигмоидой и ReLU и выбери начальные веса.

8. Запиши свой чек-лист по порядку.

9. Код: в скрипте обучения коллеги две ошибки. Найди и исправь их.

   Нажми на строку, чтобы рассмотреть её.

10. Новый запуск. Какая одна ручка его исправит?

    Обучающая потеря продолжает падать, а валидационная поворачивает вверх: переобучение. С ним борется dropout (или штраф весов, или более ранняя остановка).

11. День демо: запусти все три исправленные сети.

Предыдущий урок: Читаем кривые обучения · Часть курса: Внутри глубокого обучения

Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.