TwiddleLab / Курсы / Искусственный интеллект
Обучение с наградой
Агент пробует, ошибается, получает награду и постепенно понимает, что работает.
Лучше после: Поиск, игры и планы, Вероятность через опыты
Уроки
- Агент, мир, награда (5 мин): Агент действует в среде. Положение дел это состояние; то, что он может сделать, это действие.
- Метод проб и ошибок (7 мин): Эпизод это одна попытка, от старта до конца.
- Ценность: насколько хороша эта клетка? (7 мин): Ценность клетки это лучшая сумма, которую агент ещё может получить оттуда.
- Q-обучение (7 мин): Q-значение это заметка об одном ходе в одной клетке: насколько хорошим оказался этот ход с учётом того, что было после.
- Исследовать или пользоваться? (7 мин): Пользоваться: брать лучший известный вариант. Исследовать: пробовать что-то другое, чтобы узнать больше.
- Дисконтирование будущего (7 мин): Коэффициент дисконтирования γ говорит, насколько ещё учитывается награда на один ход позже.
- Взлом награды (7 мин): Взлом награды: агент находит способ набрать много очков, которого никто не задумывал.
- Учимся играть в игры (7 мин): Игра с собой: агент учится игре, играя против своей копии.
- RL в чат-ботах (7 мин): RLHF: люди оценивают ответы, модель награды учится оценивать так же, как они, а RL обучает чат-бота к высоким оценкам.
- Проект: научи зверушку находить еду (8 мин): RL-проект это рецепт: мир, награда, настройки (ε, γ, скорость обучения) и много эпизодов.
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
