TwiddleLab / Искусственный интеллект / ИИ и мы: пользуемся с умом
Предвзятость: чьи это данные?
Что ты узнаешь
- Историческая предвзятость: модель учится на прошлых решениях. Если прошлое было несправедливым, модель это выучит и повторит.
- Удалить чувствительное поле мало: заместитель, например почтовый индекс, может нести ту же закономерность.
- Проверяй результаты по группам. Правило четырёх пятых отмечает группу, у которой доля успеха меньше 0,8 от доли лучшей группы.
- Исправление в данных: пересмотри несправедливые метки, потом переобучи.
Как идёт урок
Те же оценки. Тот же проект. То же письмо. ИИ принял одного и отклонил другого.
Летний лагерь по программированию отбирает заявки с помощью модели. Сделай ставку: нажми на поле, которое, по-твоему, их разделило. Потом «Проверить».
Откуда это взялось? Обучи модель и посмотри.
Она учится на 20 прошлых решениях, которые принимали люди. Зелёные прошли, оранжевые нет.
Исправь данные. Пересмотри несправедливые отказы River.
Заявки из Hill проходили с оценкой от 70. Нажми на каждый отказ River, который прошёл бы в Hill. Модель переобучается после каждого переключения.
Модель знает только то, что ей сказали прошлые решения. Когда эти решения требовали от River больше, модель научилась делать так же. Исправь метки, и исправится то, что она выучит.
У того, что сейчас исправлено, есть название.
Историческая предвзятость: обучающие данные это запись прошлых решений, и модель повторяет их закономерность, честную или нет.
Каждое прошлое решение это метка. Несправедливые метки учат несправедливую модель, даже если никто не писал несправедливого правила.
Заместитель это поле, которое заменяет другое. Один такой встретится дальше.
Лагерь удаляет поле «Школа». Какие другие сведения могут выдать школу?
Перетащи каждое сведение на дорожку.
Модели не нужно слово «Школа», если другое поле несёт ту же закономерность. Такое поле это заместитель.
Школы нет, модель переобучена, но Бену всё равно отказали. Какой столбец выдаёт школу?
Нажми на заголовок столбца, потом «Проверить».
Все заявки из Hill живут в 4010, а все из River в 4021. Модель выучила «4021 нужно больше», а это старая школьная закономерность под новым именем.
Математика: проверка четырёх пятых. Сколько заявок из River должны пройти?
Hill: принято 8 из 12, 67%. Доля группы, делённая на лучшую долю, должна быть не меньше 0,8. Сдвинь до наименьшего числа принятых из River (из 8), при котором проверка проходит, потом «Проверить».
Правило четырёх пятых пришло из правил найма в США. Это предупреждающий знак, а не доказательство: отношение меньше 0,8 говорит «присмотрись», а больше 0,8 не доказывает, что отбор честный.
Два способа исправить модель лагеря. Попробуй оба на Бене.
Потом выбери то исправление, которое действительно работает, и нажми «Проверить».
Если спрятать поле, спрячется слово, а не закономерность. Исправленные метки убирают закономерность, которую выучила бы модель.
Модель банка никогда не видит происхождение человека, но использует домашний адрес. Может ли она всё равно быть предвзятой?
Если люди одного происхождения в основном живут в определённых районах, адрес несёт эту закономерность. Модель может быть несправедливой, ни разу не видя поля происхождения.
До и после. Пропусти четыре новые заявки через обе модели.
Старая модель училась на исходных решениях, исправленная на твоих пересмотренных данных.
Предыдущий урок: Где ИИ уже есть · Следующий урок: Галлюцинации и проверка фактов · Часть курса: ИИ и мы: пользуемся с умом
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
