TwiddleLab / Искусственный интеллект / Внутри глубокого обучения

Цепное правило в сети

Урок 4 из 10 · 7 мин · Бесплатно, без аккаунта

Что ты узнаешь

• Сеть это цепочка маленьких шагов. У каждого шага есть местная скорость: насколько быстро двигается его выход, когда двигается вход.
• Цепное правило: скорость всей цепочки равна произведению местных скоростей.
• Backprop перемножает скорости от ошибки назад. У выключенного ReLU скорость 0, и он останавливает вину.

Начать урок

Как идёт урок

1. Эта ручка стоит в четырёх шагах от ошибки. Насколько её поворот меняет ошибку?

   w питает z, z питает a, a питает y, а y даёт ошибку.

2. Шестерёнки: B крутится в 3 раза быстрее A, C в 2 раза быстрее B.

   Поверни A так, чтобы C сделала ровно 12 оборотов.

3. Сеть это тоже цепочка. Сдвинь w и следи за колебанием.

   Смотри, насколько двигается каждое значение.

4. Собери общую скорость: перемножай от ошибки назад.

   Нажимай на скорости на звеньях, начиная рядом с ошибкой.

5. Это цепное правило.

   Это то же правило, что у шестерёнок, применённое к каждому весу сети.

6. Теперь w = −1. Какое звено не пускает к w никакую вину?

   При z = −2 ReLU выдаёт 0 и остаётся 0 при маленьких сдвигах, поэтому его скорость 0. Произведение 2 × 0 × 3 × (−4) равно 0: w не получает вины.

7. Одна скорость в этой цепочке неверная. Найди и исправь её.

   Цепочка та же, что раньше: w = 1, значит, y = 6.

8. Математика: (3x + 1)² тоже цепочка из двух шестерёнок.

   Найди x, при котором общая скорость равна 24.

9. Четыре местные скорости: 0,5, 3, 1 и 4. Какая общая скорость от w до ошибки?

   Цепное правило перемножает местные скорости: 0.5 × 3 × 1 × 4 = 6.

10. Сделай свою цепочку с общей скоростью ровно 24.

    Брось скорость на каждое из четырёх звеньев. Меньше ходов, больше звёзд.

Предыдущий урок: Обратное распространение: вина течёт назад · Следующий урок: Мини-батчи и шум · Часть курса: Внутри глубокого обучения

Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.