TwiddleLab / Искусственный интеллект / Внутри глубокого обучения
Функции активации
Что ты узнаешь
- Слои без изгиба дают только прямую линию, сколько их ни складывай.
- Функция активации изгибает сумму каждого нейрона. ReLU оставляет положительные и превращает отрицательные в 0.
- Изгибы складываются: несколько нейронов ReLU с правильными весами могут нарисовать горбы, плато и ступеньки. Сигмоида сжимает в промежуток от 0 до 1.
Как идёт урок
Этой зверушке лучше всего при 20 градусах. Может ли сеть выучить этот горб?
Каждая синяя точка показывает, насколько она довольна при одной температуре.
Два слоя, без изгиба. Проведи линию через оба кольца.
Смотри на формулу, пока крутишь ручки.
Знакомься: ReLU. Он оставляет положительные и превращает отрицательные в 0.
Один нейрон с ReLU. Сделай его плоским до 10 градусов, а потом пусть поднимется до 10 к 20 градусам.
Три изогнутых нейрона. Дай каждому вес, чтобы нарисовать горб.
Их изгибы на 10, 20 и 30 градусах. Выход их складывает.
У изгиба есть название: функция активации.
Каждый нейрон складывает свои входы, а потом функция активации изгибает результат.
Какие нейроны твоего горба выключены?
Три раунда, три температуры. Нажми на каждый нейрон, который выдаёт 0, потом «Проверить».
Математика: что из этого всегда даёт прямую?
Линейная функция внутри линейной всё равно линейная. Разложи их и посмотри на каждый график.
3(2x + 1) = 6x + 3, (x + 4) × 5 − 2 = 5x + 18, 2(3x) = 6x, x/2 + 7: все прямые. У ReLU и |x| есть угол, x × x изгибается.
Этот нейрон использует ReLU. Что он выдаст?
Сумма: 3 × 2 + 2 × (−4), плюс смещение 1.
Сумма 6 − 8 + 1 = −1. ReLU превращает любое отрицательное в 0, поэтому нейрон выдаёт 0.
Значок форм: нарисуй три новые формы теми же тремя изгибами.
Нажимай на вес, чтобы менять его (от −2 до 2). Повтори серую форму.
Предыдущий урок: Много нейронов, много ручек · Следующий урок: Обратное распространение: вина течёт назад · Часть курса: Внутри глубокого обучения
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
