TwiddleLab / Искусственный интеллект / Внутри глубокого обучения

Обратное распространение: вина идёт назад

Урок 3 из 10 · 7 мин · Бесплатно, без аккаунта

Что ты узнаешь

• Обратное распространение начинается с ошибки и посылает вину назад, слой за слоем.
• Вина веса = вина на его конце × сигнал на его проводе. Эта вина это градиент веса.
• Провод, по которому идёт 0, или нейрон с выключенным ReLU вины не получает. Один шаг обучения сдвигает каждый вес на −lr × его вина.

Начать урок

Как идёт урок

1. Сеть угадала 9. Ответ был 5. Какие из её ручек виноваты?

   Начни с трёх проводов, ведущих к догадке.

2. Сдвинь каждый последний провод на +1. Какой сильнее всего двигает догадку?

   Нажми на провод к догадке. Его вес на миг вырастет на 1.

3. Теперь отправь вину до самого начала.

   Нажимай «Шаг», чтобы двигать вину на один слой назад за раз.

4. Это обратное распространение ошибки.

   Каждый вес получил свою вину за один проход назад.

5. Нажми на каждый провод, который не получает никакой вины.

   Числа вины скрыты. Используй сигналы.

   По проводу от h3 идёт 0, поэтому его вина 4 × 0 = 0. ReLU у h3 выключен, поэтому через него не идёт никакая вина к двум проводам, которые его питают.

6. Один шаг обучения: приведи новую догадку в промежуток от 4,5 до 5,5.

   Каждый вес сдвигается против своей вины, на размер шага lr × вина.

   При lr 0,015 каждый вес сдвигается на 0,015 × его вина, и новая догадка 4,66. Большие шаги проскакивают.

7. Расставь один шаг обучения по порядку.

   Цикл повторяется: после шага 4 он снова начинается с 1.

8. Код: почему бы просто не сдвигать каждый вес и не смотреть на ошибку?

   Посчитай запуски обоими способами, как шаги цикла в коде.

9. Новая сеть угадала 2. Ответ был 6. Какой вес получит самую большую вину?

   Вина каждого веса −4 × его сигнал: −12, −4, 0 и −8. Самая большая по модулю −12, на проводе с 3. Отрицательная вина значит: прибавь этот вес.

10. Обучи сеть своим размером шага.

    Нажми «Шаг обучения» пять раз и смотри на догадку.

Предыдущий урок: Функции активации · Следующий урок: Цепное правило в сети · Часть курса: Внутри глубокого обучения

Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.