TwiddleLab / Искусственный интеллект / Генеративный ИИ: создаём новое
Можно ли распознать сгенерированное?
Что ты узнаешь
- ИИ-детектор даёт оценку, и честные работы пересекаются с ИИ-работами. Поймать больше подделок всегда значит обвинить больше честных людей, как с точностью и полнотой.
- Маленькие доли ошибок складываются: 5% от 600 честных сочинений это 30 ложно обвинённых учеников.
- Водяной знак, поставленный генератором, или подпись на файле это гораздо более сильное доказательство, но только если инструмент их добавляет.
- Одна оценка детектора это не доказательство. Добавь проверку человеком.
Как идёт урок
ИИ-детектор учителя помечает твоё сочинение как написанное ИИ. А писалось оно без всякого ИИ. Как так вышло?
Сначала догадка.
Настрой порог детектора: поймай большинство ИИ-сочинений, не обвиняя честных учеников.
Каждое сочинение на линии и выше помечается. Оранжевые точки это обвинённые честные ученики.
Заполни карточку детектора при пороге 60.
Перетащи каждое число в его клетку. Считай по точкам.
При пороге 60 детектор ловит 79 из 100 ИИ-сочинений и пропускает 21. Он ошибочно помечает 2 из 100 честных сочинений и пропускает остальные 98.
Детекторы угадывают. Водяные знаки ставят нарочно.
Эта разница решает, сколько стоит пометка.
Сильное или слабое доказательство, что работа сделана ИИ?
Перетащи каждый сигнал в коробку.
Гладкий текст, редкие слова и высокие оценки детектора бывают и у честной работы. Водяной знак или подписанные учётные данные инструмент добавляет нарочно, поэтому их находка гораздо более сильное доказательство.
Детектор ошибочно помечает 5% честных сочинений. Школа проверяет 600. Сколько учеников обвинят?
Нажми на свой ответ, потом «Проверить».
5% от 600 = 0.05 × 600 = 30. Маленькая доля ошибок превращается во множество настоящих учеников, когда проверяют много сочинений.
Один текст пришёл от чат-бота, который ставит водяной знак. Какой?
Просканируй тексты, потом нажми «Этот» под своим выбором и «Проверить».
Водяной знак в тексте склоняет генератор к секретному списку зелёных слов. Обычный текст попадает в список примерно в половине случаев; текст с водяным знаком гораздо выше. Сильный пересказ может его смыть.
Код: подписанный файл показывает, менял ли его кто-то. Сломай подпись, потом почини.
Поменяй один пиксель и смотри на хеш. Потом верни его.
Детектор говорит, что сочинение «на 90% ИИ». Какой вывод можно сделать?
Честные и ИИ-сочинения пересекаются на шкале оценок, поэтому высокая оценка может быть у честного сочинения. Справедливому решению нужны другие доказательства: черновики, разговор с учеником или водяной знак.
Напиши школьные правила почестнее.
Задай порог и выбери дополнительные проверки. Дойди до цели и сравни со старыми правилами.
Предыдущий урок: Авторское право и согласие · Следующий урок: Проект: придумай генератор зверушек · Часть курса: Генеративный ИИ: создаём новое
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
