TwiddleLab / Искусственный интеллект / Учимся на данных
Точность может врать
Что ты узнаешь
- Когда один вид редкий, модель может набрать высокую точность (accuracy), всегда называя частый вид.
- Матрица ошибок делит ответы на пойманные, пропущенные, ложные тревоги и верно отпущенные.
- Ложноположительный ответ это ложная тревога, ложноотрицательный это пропуск. Что хуже, зависит от задачи.
Как идёт урок
Модель проверяет 100 зверушек на светлячковую оспу с точностью 95%. Доверишь ей найти больных?
По-настоящему больны 5 из 100. Перетащи метку: скольких из них она найдёт? Потом «Проверить».
Запусти модель на 95%.
Нажми «Запуск» и смотри, как она проверяет всех 100 зверушек.
Разложи 12 проверенных зверушек по четырём коробкам.
На каждой карточке что на самом деле и что сказала модель. Перетащи её в коробку или нажми на карточку, потом на коробку. Потом «Проверить».
У этих четырёх коробок есть имена.
Нажми, чтобы открыть.
Сетка 2 на 2 это матрица ошибок: что на самом деле против того, что говорит модель.
Ложноположительный это ложная тревога: отмечена, но здорова. Ложноотрицательный это пропуск: больна, но не отмечена.
Когда один вид редкий, это дисбаланс классов. Точность может выглядеть отлично, хотя пропущен каждый редкий случай.
Какая ошибка хуже? Зависит от задачи.
В каждой строке нажми на ошибку, которая обходится дороже. Потом «Проверить».
Обыграй ленивую модель.
Теперь проверяешь ты. У тебя 8 флажков. Отметь зверушек, которых считаешь больными, и найди хотя бы 4 из 5.
Математика: 1 из каждых 1000 платежей картой это мошенничество. Модель каждый раз говорит «не мошенничество».
Сколько из 1000 платежей она угадывает?
Два проверяющих проверили тех же 200 новых зверушек. Кого отправить в больницу?
Открой обе матрицы, потом нажми на проверяющего и «Проверить».
Заполни табель своего проверяющего.
Твои 8 флажков дали эти четыре числа. Перетащи каждое в его коробку матрицы. Потом «Проверить».
Предыдущий урок: Обучение, тест и не подглядывать · Следующий урок: Где провести черту: точность и полнота · Часть курса: Учимся на данных
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
