TwiddleLab / Искусственный интеллект / Учимся на данных
Проект: стань дата-сайентистом
Что ты узнаешь
- Конвейер: данные, разбиение, модель, оценка, отчёт.
- Утечка данных делает оценки слишком хорошими, чтобы быть правдой: убирай столбцы, которые известны только после ответа.
- Выбирай по валидации, тестируй один раз, проверяй группы, ставь порог под задачу.
- Карточка модели говорит, что модель делает, как её проверяли и где она ошибается.
Как идёт урок
Парку дикой природы нужно приложение, которое называет зверушек на фото посетителей. Ты дата-сайентист. С чего начать?
С данных. Выбери набор данных для проекта и нажми «Проверить».
Прежде всего разложи столбцы.
Перетащи заголовок каждого столбца в «признак», «метка», «утечка» или «мусор». Потом «Проверить».
Сколько положить в сейф?
Двигай, какую часть данных запереть для финального теста.
kNN или дерево решений?
Попробуй оба на валидационной стопке. Потом нажми на того, кого возьмёшь дальше, и «Проверить».
Ты запускаешь конвейер.
Нажми, чтобы открыть его части.
Конвейер: данные, разбиение, модель, оценка, отчёт. Каждый настоящий проект проходит эти шаги.
Утечка данных: столбец или привычка, через которые ответ пробирается в обучение. Оценки выглядят лучше правды.
Карточка модели сообщает, что модель делает, как её проверяли и где она ошибается.
Классика: 85% на запечатанном тесте.
Настрой модель на валидации кнопками - и +. Потом открой сейф. Нужно 85% или больше на тесте.
Оцени по группам.
Нажми кнопку и смотри на оценку модели для каждой группы.
Испытание: редкий класс, 3 из 100.
Тяни линию, пока полнота не станет хотя бы 0,8, а точность хотя бы 0,5. Потом «Проверить».
Код: конвейер это короткая программа.
Расставь строки в том порядке, в каком их выполняет программа. load, fit, check и report это выдуманные помощники.
Модель напарника набирает 99%. Выясни почему.
Нажми на столбец, чтобы выключить его. Оставь модели только честные столбцы и нажми «Проверить».
В твоей карточке модели есть строка «Где ошибается». Что туда записать?
Заполни свою карточку модели.
Нажимай на каждую строку. Она заполнится по тому, что сделано в проекте.
Предыдущий урок: Как лента выбирает: рекомендации · Часть курса: Учимся на данных
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
