TwiddleLab / Искусственный интеллект / Учимся на данных

Обучение, тест и не подглядывать

Урок 4 из 11 · 7 мин · Бесплатно, без аккаунта

Что ты узнаешь

• Модель учится на обучающей выборке, а оценивают её на тестовой, которую она никогда не видела.
• Для выбора настроек бери валидационную выборку. Тест открывай один раз, в конце.
• Переобучение: зубрёжка обучающих примеров, включая странные, и худшие результаты на новых.
• Если тестовые примеры просочились в обучение или влияют на выбор, тестовая оценка перестаёт говорить правду.

Начать урок

Как идёт урок

1. Кто-то выучил ответы вчерашней контрольной. Предмет выучен?

   Тот же вопрос для дерева. Все 30 изученных зверушек оно определило верно. Перетащи метку: сколько оно наберёт на 30 новых? Потом «Проверить».

2. Дай ему две контрольные.

   Тяни ползунок времени или нажми «Пуск»: сначала изученные зверушки, потом 30 новых.

3. Сколько вопросов разрешить дереву?

   Двигай предел и смотри на обе оценки.

4. Сжульничай на контрольной.

   Экзаменационные зверушки заперты в сейфе. Перетащи лист контрольной на учебный стол и дай дереву его выучить. Потом выпусти дерево в мир.

5. Эти слова использует любая команда машинного обучения.

   Нажми, чтобы открыть.

   Обучающая выборка это то, на чём модель учится: закрашенные точки.

   Валидационная выборка это вторая партия, по которой выбирают настройки, например сколько вопросов разрешить.

   Тестовая выборка остаётся в сейфе до самого конца. Это настоящий экзамен, используется один раз.

   Сначала раздели, а потом никогда не пускай тестовых зверушек в обучение. Иначе тест перестанет говорить правду.

6. Один взгляд в сейф.

   Выбери число вопросов по валидационной оценке, потом один раз открой сейф. Победа при 80% или больше на тесте.

7. Раздели 10 фото зверушек: 8 для учёбы, 2 для теста.

   Осторожно: некоторых зверушек сфотографировали дважды. Перетащи каждое фото в стопку или нажми на него, потом на стопку. Потом «Проверить».

8. Код: разбиение это срез.

   После перемешивания программа режет список в одном месте. Тяни ножницы, чтобы 20% зверушек ушли в тест. Потом «Проверить».

9. Команда описывает, как она тестировала. Нажми на каждую привычку, через которую утекает тест.

   Нажимай на заметки, потом «Проверить».

10. Выпусти обе свои модели.

    Твой жулик из шага 4 и твоя честная модель из шага 6. Нажми «Выпустить обе».

Предыдущий урок: Двадцать вопросов: деревья решений · Следующий урок: Точность может врать · Часть курса: Учимся на данных

Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.