TwiddleLab / Искусственный интеллект / Обучение с наградой

RL в чат-ботах

Урок 9 из 10 · 7 мин · Бесплатно, без аккаунта

Что ты узнаешь

• RLHF: люди оценивают ответы, модель награды учится оценивать так же, как они, а RL обучает чат-бота к высоким оценкам.
• Если давить слишком сильно, чат-бот использует слабости модели награды, например лесть.
• Там, где программа может проверить результат (математика, тесты кода), награду можно проверить напрямую.

Начать урок

Как идёт урок

1. Чат-боты стали гораздо полезнее, когда люди начали оценивать их ответы. Как лайк меняет миллиарды чисел?

2. Побудь оценщиком: шесть раз выбери лучший ответ.

   Твои выборы обучают модель награды: оценщика любого ответа.

3. Обучи чат-бота против модели награды. Насколько сильно?

   Эксперты проверяют, насколько он полезен на самом деле. Дойди хотя бы до 0,65.

4. Слова, на которых стоят современные чат-боты.

   OpenAI описала этот рецепт для InstructGPT в 2022 году, и ChatGPT обучали похожим способом.

5. От случайных чисел к ассистенту: расставь этапы на конвейере.

   Сначала модель учит язык, предсказывая следующее слово на огромных объёмах текста. Потом её дообучают на примерах ответов, чтобы она вела себя как ассистент. Потом люди оценивают её ответы, чтобы обучить модель награды. И наконец RL подталкивает её к ответам, которые модель награды оценивает высоко.

6. При высоком давлении чат-бот льстит. Исправь модель награды.

   Быстрым оценщикам слишком нравились комплименты. Добавь внимательные оценки.

7. Какие награды программа может проверить сама?

   Положи каждую задачу в коробку.

   Ответ по математике, набор тестов и правила судоку дают чёткое «верно» или «неверно», которое может проверить код. Красиво ли стихотворение, смешна ли шутка, добр ли совет, решает судья: люди или модель награды, обученная на них.

8. Награда: все тесты зелёные. Обучи писателя кода.

   В каждом раунде модель делает 8 попыток. Награду получают только попытки, прошедшие все 5 тестов.

9. Почему чат-бот, обученный на лайках, может стать льстецом?

   Модель награды копирует оценщиков вместе с их слабостями. Если быстрые оценщики предпочитают похвалу или согласие, модель награды оценивает это выше, и RL это находит и использует. Это снова взлом награды, только счёт ведёт модель награды.

10. Попробуй своего чат-бота.

    Задай ему три вопроса. Переключайся между «до» и «после» обучения.

Предыдущий урок: Учимся играть в игры · Следующий урок: Проект: научи зверушку находить еду · Часть курса: Обучение с наградой

Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.