TwiddleLab / Искусственный интеллект / Обучение с наградой

Дисконтирование будущего

Урок 6 из 10 · 7 мин · Бесплатно, без аккаунта

Что ты узнаешь

• Коэффициент дисконтирования γ говорит, насколько ещё учитывается награда на один ход позже.
• Отдача = r1 + γ r2 + γ² r3 + ... : поздние награды уменьшаются в γ раз с каждым ходом.
• Маленькое γ: хватай то, что рядом. γ близко к 1: иди дальше ради чего-то большего.

Начать урок

Как идёт урок

1. Одно печенье сейчас или два завтра? Машинам тоже приходится на это отвечать.

2. Найди самое маленькое γ, при котором зверушка идёт к торту.

   С каждым ходом дальше награда учитывается в γ раз меньше. Двигай γ и следи за обоими числами.

   Торт будет на ходе 6, поэтому он учитывается как 10 × γ⁵. При γ = 0.70 это 1,68, меньше 2 у ягоды. При 0,75 это 2,37, больше 2.

3. Две зверушки, два значения γ. Где они не согласны?

   Нажми на каждую клетку, где стрелки на двух картах указывают в разные стороны.

   При γ = 0.5 торт быстро тускнеет, поэтому клетки около ягоды идут к ней. При γ = 0.9 торт почти везде всё ещё стоит больше, поэтому эти клетки идут к торту.

4. У числа, которое ты двигаешь, есть название.

   Это греческая буква гамма. Люди и животные тоже дисконтируют будущее.

5. Сколько эта награда стоит прямо сейчас?

   Ход 1 учитывается полностью, ход 2 с множителем γ, ход 3 с γ², ход 4 с γ³. Значит, 20 × 0.5³ = 20 × 0.125 = 2.5.

6. Доведи зверушку до торта, не проходя через ежевику.

   Ежевика стоит -1 за клетку. На длинном обходе её нет.

7. При γ = 0.9 через сколько ходов награда стоит меньше половины?

   Каждый столбик это 0,9 в степени n. Нажми на первый столбик ниже линии.

   Если раз за разом умножать на 0,9, число быстро уменьшается: 0.9⁷ ≈ 0.48. Такое уменьшение в одно и то же число раз на каждом шаге это экспоненциальное затухание, как у остывающей чашки или стихающего эха.

8. Настрой γ так, чтобы зверушка шла к торту: не к ягоде и не к пиру.

   Торт обгоняет ягоду, когда 10γ² > 2 (γ примерно больше 0,45), и обгоняет пир, пока 10γ² > 30γ⁸ (γ примерно меньше 0,83). На этом ползунке подходит всё от 0,45 до 0,80.

9. Гонка: три зверушки, три значения γ.

   Кто соберёт больше всех? Выбери одну, потом нажми «Гонка».

Предыдущий урок: Исследовать или пользоваться? · Следующий урок: Взлом награды · Часть курса: Обучение с наградой

Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.