TwiddleLab / Курсы / Искусственный интеллект
Внутри глубокого обучения
Загляни в глубокую сеть: обратное распространение, оптимизаторы и почему обучение ломается.
Лучше после: Учимся на данных, Векторы и матрицы
Уроки
- Много нейронов, много ручек (5 мин): Слой это группа нейронов, которые читают одни и те же входы.
- Функции активации (7 мин): Слои без изгиба дают только прямую линию, сколько их ни складывай.
- Обратное распространение: вина идёт назад (7 мин): Обратное распространение начинается с ошибки и посылает вину назад, слой за слоем.
- Цепное правило в сети (7 мин): Сеть это цепочка маленьких шагов. У каждого шага есть местная скорость: насколько быстро двигается его выход, когда двигается вход.
- Мини-батчи и шум (7 мин): Мини-батч это маленькая случайная группа примеров для одного шага. Эпоха это один проход по всем данным.
- Шаги поумнее: инерция и Adam (7 мин): В узкой долине простой градиентный спуск идёт зигзагом: шаг, достаточный для дна, слишком велик для стенок.
- Борьба с переобучением (7 мин): Большая сеть может запомнить обучающие данные: ноль ошибки на обучении, большая ошибка на новых данных.
- Инициализация и взрывающиеся градиенты (7 мин): Проход назад через слой умножает вину на его местную скорость. На многих слоях скорости перемножаются.
- Как читать кривые обучения (7 мин): Кривая обучения показывает потерю по эпохам на обучающих и на валидационных данных.
- Проект: отладь сломанную сеть (8 мин): Отлаживай по порядку: прочитай кривые, проверь столбики градиентов, поменяй одну ручку, обучи снова и сравни.
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
