TwiddleLab / Искусственный интеллект / Обучение с наградой

Исследовать или пользоваться?

Урок 5 из 10 · 7 мин · Бесплатно, без аккаунта

Что ты узнаешь

• Пользоваться: брать лучший известный вариант. Исследовать: пробовать что-то другое, чтобы узнать больше.
• Чисто жадный агент может застрять после одной неудачной попытки.
• Эпсилон-жадная стратегия: с маленьким шансом ε выбирай наугад, иначе лучшее на данный момент.

Начать урок

Как идёт урок

1. Любимая пиццерия или новая, которая только открылась?

   У зверушки та же проблема с тремя ягодными автоматами.

2. 20 рывков. Собери как можно больше ягод.

   Каждый рывок показывает, что дал автомат. Какой лучший?

3. Посмотри, как играет жадный агент.

   Он пробует каждый автомат по разу, а потом всегда дёргает тот, у которого пока лучшее среднее.

4. Добавь немного случайности: дойди до 6,5 ягоды за рывок.

   Задай ε, шанс, что рывок уйдёт случайному автомату, и нажми «Запуск».

5. У этого компромисса есть название: исследовать или пользоваться.

   С ним сталкивается каждый агент, который учится на пробах.

6. При ε = 0.2 сколько примерно из 100 рывков случайные?

   Каждый рывок случайный с шансом 0,2, поэтому из 100 рывков случайных примерно 0,2 × 100 = 20. Точное число меняется от запуска к запуску.

7. А если мир меняется?

   Выбери, кто, по-твоему, справится лучше после изменения, потом запусти.

8. Среднее автомата C за эти 10 рывков?

   Так агенты оценивают выплату автомата: сложить и поделить.

   5 рывков дали по 10, а 5 ничего: 50 ягод за 10 рывков, 50 / 10 = 5. В математике это оценка математического ожидания: настоящий шанс C 50%, поэтому в среднем он платит 0,5 × 10 = 5 за рывок.

9. Музыкальное приложение 9 раз из 10 включает любимые песни и 1 раз из 10 что-то новое. Что оно делает?

   Большую часть времени оно пользуется тем, что тебе точно нравится, а с шансом 0,1 исследует новое, чтобы лучше узнать твой вкус. Это эпсилон-жадная стратегия с ε = 0.1.

10. Сделай карточку своей стратегии.

    Выбери своё ε и посмотри, как оно себя показывает.

Предыдущий урок: Q-обучение · Следующий урок: Дисконт: будущее дешевле · Часть курса: Обучение с наградой

Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.