TwiddleLab / Искусственный интеллект / Обучение с наградой
Проект: научи зверушку находить еду
Что ты узнаешь
- RL-проект это рецепт: мир, награда, настройки (ε, γ, скорость обучения) и много эпизодов.
- Случайные ходы помогают учиться, но стоят награды, пока идёт обучение.
- Всегда смотри на обученного агента: награду с лазейкой обязательно используют.
Как идёт урок
Твоя зверушка голодна, а мир полон колючек. Выбери мир для начала.
Потом придумай ему награды и дай зверушке учиться.
Построй свой мир.
Расставь еду, колючки, воду и камни. Соблюдай три правила справа.
Придумай награду.
Сначала всё по 0. Карта показывает, насколько хорошей становится каждая клетка.
Обучи свою зверушку Q-обучением.
Твой рецепт словами этого курса.
Каждый RL-проект выбирает это. Дальше ты настроишь последние четыре.
Насколько ей исследовать, пока она учится?
Обучи три раза с разным ε и сравни отдачи.
Зверушка друга никогда не ест. Найди лазейку.
Посмотри на неё, потом нажми на клетку, где она обхитряет свою награду.
Каждый ход на воду платит +2. Если шагать туда-сюда между двумя клетками воды, +2 приходит на каждом ходе до конца времени, гораздо больше, чем +10 за еду. Исправление: вода должна немного стоить или платить только один раз.
Классическая задача: обучи её до среднего 8 или больше.
Настрой ε, γ и скорость обучения. Последние 50 из 500 обучающих эпизодов должны дать в среднем хотя бы 8.
Для какой работы хорошую награду записать труднее всего?
Водитель должен быть безопасным, быстрым, законопослушным, плавным и вежливым одновременно. Награди скорость, и он будет гнать; награди только безопасность, и он не выедет из гаража. У шахмат и лабиринтов один чёткий исход.
Какая отдача у этого пути из 9 ходов?
Ходы с 1 по 8 стоят по -1, а ход 9 попадает на еду, +20: -8 + 20 = 12.
Карточка твоего мира.
Повтори свою обученную зверушку рядом с той, что ходит наугад.
Предыдущий урок: RL в чат-ботах · Часть курса: Обучение с наградой
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
