TwiddleLab / Искусственный интеллект / ИИ и мы: пользуемся с умом
Безопасность и согласование
Что ты узнаешь
- Согласование: добиться, чтобы ИИ делал то, чего люди на самом деле хотят, а не только то, что буквально сказано в правилах.
- Ограничитель это правило или проверка, которая останавливает вредные ответы. Списки слов легко обойти: та же просьба, новые слова.
- Красная команда: нарочно атаковать свою систему, чтобы найти дыры раньше других.
- Настоящая безопасность строится слоями: обучение на примерах хорошего поведения, обученные проверяющие, тесты до выпуска и люди, и всё равно она не идеальна.
Как идёт урок
Школьный чат-бот никогда не должен помогать списывать. Напиши правило.
Твоё правило это фильтр слов: любая просьба с одним из твоих 3 слов блокируется. Заполни фильтр, потом «Проверить».
Проверь правило на 10 настоящих просьбах.
Пять просят помочь списать, пять честные. Нажми «Запуск».
Теперь перейди на другую сторону. Сможешь протащить списывание мимо собственного фильтра?
Отправляй переписанные просьбы на фильтр. Протащи 3 за 5 попыток.
У того, что сейчас было, есть названия.
Ограничитель: правило или проверка, которая останавливает вредные ответы. Твой фильтр слов был таким.
Красная команда: нарочно атаковать свою систему. Компании, которые делают ИИ, нанимают красные команды перед каждым большим выпуском.
Согласование: сделать так, чтобы модель хотела того, что мы имеем в виду, а не просто слушалась слов правила. Поэтому модели ещё и обучают на множестве примеров хороших и плохих ответов, оценённых людьми.
Учи на примерах: должен ли школьный бот помогать с каждой просьбой?
Модели учатся поведению на примерах, размеченных людьми. Разметь эти 8. Перетащи каждую на дорожку.
Такие метки, собранные тысячами, учат модель смыслу за правилом. Это ловит переписанные просьбы, которые пропускает список слов, хотя никогда не все.
Обученный проверяющий ставит каждой просьбе счёт. Где провести линию блокировки?
Двигай линию. «Проверить», когда заблокированы хотя бы 4 из 5 просьб о списывании и не больше 1 честной.
Каждая проверка безопасности меняет одну ошибку на другую: пропускать плохие просьбы или блокировать хорошие. Строже не значит само собой лучше.
Как лаборатории ИИ проверяют модель до выпуска?
Расставь пять этапов по порядку.
Лаборатории публикуют отчёты о безопасности больших моделей с такими шагами. Красные команды и поэтапные выпуски ловят проблемы, но новые всё равно появляются после запуска, поэтому наблюдение не прекращается.
Код: та же идея защищает приложения. Кто-то украл твой пароль. Какой слой всё ещё его остановит?
Нажми на него, потом «Проверить».
Эшелонированная защита: когда один слой не сработал, другой держит. Безопасность ИИ складывает слои так же.
Почему список запрещённых слов не может сделать чат-бот безопасным?
Правила о словах не могут поймать намерение. Это задача согласования в миниатюре: мы хотим, чтобы модель понимала, что мы имеем в виду.
Прокрути всё заново: сначала только твой фильтр, потом слои, которые читают смысл.
10 просьб плюс все 8 переписанных красной командой. Нажми «Повтор».
Предыдущий урок: Работа и будущее · Следующий урок: Проект: свод правил для ИИ · Часть курса: ИИ и мы: пользуемся с умом
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
