TwiddleLab / Искусственный интеллект / Как машины видят и слышат
Фильтры учатся сами
Что ты узнаешь
- В настоящей сети фильтры никто не пишет. Они начинаются со случайных чисел, а обучение их подстраивает: это обученные фильтры.
- Многие обученные фильтры в итоге похожи на фильтры краёв, которые придумывают люди.
- Человек всё ещё выбирает гиперпараметры: размер фильтра, число фильтров, скорость обучения, эпохи.
- У фильтра 3 × 3 на цветной картинке 3 × 3 × 3 = 27 весов, значит, у 16 таких 432.
Как идёт урок
Фильтр краёв уже был сделан вручную. У настоящих моделей зрения их тысячи. Кто придумывает их?
Вот 8 фильтров читателя цифр до обучения. Нажми на те, что похожи на искатель краёв, потом «Проверить».
Обучи его. Протяни через 30 эпох настоящего записанного обучения.
Одна эпоха это один проход по 1400 рукописным цифрам.
Обучение заново изобрело твои фильтры? Положи каждый ручной фильтр на его самого похожего обученного близнеца.
Перетащи карточку на обученный фильтр, потом «Проверить».
Края это самая дешёвая подсказка, чтобы различать штрихи, поэтому обучение толкает часть фильтров к искателям краёв. Их никто не просил: они появляются, потому что снижают ошибку.
Два вида чисел.
Нажми, чтобы открыть.
Фильтры, числа которых получены обучением, это обученные фильтры: градиентный спуск подталкивает их, как любой вес.
Выборы, которые человек делает до обучения, вроде размера фильтра, числа фильтров и скорости обучения, это гиперпараметры.
Когда остановить обучение? Поставь метку там, где ошибка на тесте перестаёт падать.
Синяя: ошибка на обучающих цифрах. Оранжевая: ошибка на тестовых цифрах, на которых модель не училась.
Ошибка на тесте говорит, как модель справляется с новыми цифрами. Когда она перестаёт падать, лишние эпохи лишь лучше подгоняют обучающие цифры. Сколько эпох запускать, это гиперпараметр.
Игра: самая маленькая модель. Добейся 90% на тестовых цифрах с наименьшим числом фильтров.
Выбери гиперпараметры и нажми «Обучить». Каждый запуск это настоящее записанное обучение.
Математика: в слое 16 фильтров 3 × 3 на цветной картинке (3 числа на пиксель). Сколько весов в его фильтрах?
У каждого фильтра есть один вес на каждое число, на которое он смотрит: 3 × 3 пикселя × 3 цвета = 27. Шестнадцать фильтров: 16 × 27 = 432 (плюс по одному смещению на каждый, их мы тут не считаем).
Вот читатель цифр. Нажми на каждую часть, которую обучение находит само.
Потом «Проверить».
Обучение подстраивает веса: числа внутри фильтров и выходные веса. Размер фильтра, число фильтров, пулинг, скорость обучения и эпохи задают до обучения: это гиперпараметры.
Дуэль: обученные фильтры против ручных.
Сравни точность на тесте для 1, 2, 4 и 8 фильтров.
Предыдущий урок: Пулинг: отдаляемся · Следующий урок: Читаем цифры · Часть курса: Как машины видят и слышат
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
