TwiddleLab / Искусственный интеллект / Обучение с наградой

Ценность: насколько хороша эта клетка?

Урок 3 из 10 · 7 мин · Бесплатно, без аккаунта

Что ты узнаешь

• Ценность клетки это лучшая сумма, которую агент ещё может получить оттуда.
• Правило ценности: ценность = награда лучшего хода + ценность клетки, куда он ведёт.
• Ценности расходятся назад от цели. Если каждый раз шагать к лучшему соседу, получится лучший маршрут.

Начать урок

Как идёт урок

1. Шахматист смотрит на доску и говорит: я выигрываю.

   Позиция может чего-то стоить ещё до конца игры. И клетка тоже. Какая стоит для зверушки больше?

2. Дай каждой клетке её ценность, начиная с еды.

   Нажми на клетку рядом с той, у которой уже есть ценность. Она сама посчитает свою.

3. Теперь пусть каждая клетка применяет правило одновременно.

   Нажми «Один проход» несколько раз и смотри, как расходятся ценности.

4. У того, что получилось, есть название.

   Ричард Беллман записал это правило в 1950-х. Оно в самом сердце обучения по наградам.

5. Поднимись на холм: пройди от старта до еды.

   Нажимай на клетки, отстоящие на один ход. Совпадёт ли твоя сумма с ценностью старта?

6. Передвинь еду так, чтобы старт стоил ровно 7.

   Нажми на клетку, чтобы переставить туда еду. Ценности последуют за ней.

7. Одно число на этой карте неверное. Найди его.

   Нажми на клетку, чтобы сверить её с соседями.

8. Тот же приём, новая задача: сколькими способами можно подняться по лестнице?

   Поднимаешься на 1 или 2 ступеньки за раз. Считай способы сверху вниз.

9. Какая ценность у клетки со знаком вопроса?

   Показаны только её соседи.

   Лучший сосед стоит 7. Ход туда стоит -1. Значит, ценность -1 + 7 = 6. Камень сверху это не ход.

10. Посади колючки и смотри, как меняется холм.

    Потом переключайся между «До» и «После».

Предыдущий урок: Метод проб и ошибок · Следующий урок: Q-обучение · Часть курса: Обучение с наградой

Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.