TwiddleLab / Искусственный интеллект / Внутри глубокого обучения
Мини-батчи и шум
Что ты узнаешь
- Мини-батч это маленькая случайная группа примеров для одного шага. Эпоха это один проход по всем данным.
- Шагов за эпоху = примеры ÷ размер батча. Маленькие батчи дают много дешёвых шумных шагов; все данные дают мало точных.
- SGD обучает на маленьких случайных батчах. Сначала перемешай данные, иначе батчи не будут честными выборками.
Как идёт урок
1000 фото зверушек. Чтобы сделать один шаг, должна ли сеть посмотреть на все?
Каждый вариант использует каждое фото ровно один раз. Меняется только размер батча на шаг.
Один аккуратный шаг или двадцать быстрых?
Запусти оба. Каждый использует те же 1000 фото.
Найди размер батча, при котором ошибка опустится ниже 0,1 за один проход.
Попробуй несколько размеров. Шарик делает один шаг на батч.
Батчи по 10 или 50 дают 100 или 20 шагов, каждый честная догадка о настоящем направлении. Твой размер сохранён для гонки.
Батчи, эпохи и SGD.
Эти слова есть в каждом журнале обучения, который тебе встретится.
Это обучение заканчивается далеко от дна. Найди исправление.
Посмотри на ленту фото. Потом попробуй три исправления.
60 000 фото, батчи по 100. Сколько шагов в одной эпохе?
Шагов за эпоху = примеры ÷ размер батча = 60 000 ÷ 100 = 600.
Какой размер батча описывает каждое свойство?
Математика: опрос это мини-батч избирателей.
Скольких людей должен спросить каждый опрос, чтобы 19 опросов из 20 попадали в пределах 5 пунктов от правды?
Какая кривая получена с батчами по 1 фото?
С одним фото на шаг каждый шаг доверяет одному примеру, поэтому ошибка скачет. Кривая C делает всего 3 шага: по одному за эпоху с полным батчем.
Посоревнуйся с ботом полного батча своим размером батча.
По три эпохи. Побеждает самая низкая ошибка.
Предыдущий урок: Цепное правило в сети · Следующий урок: Умные шаги: моментум и Adam · Часть курса: Внутри глубокого обучения
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
