TwiddleLab / Искусственный интеллект / Обучение с наградой

Метод проб и ошибок

Урок 2 из 10 · 7 мин · Бесплатно, без аккаунта

Что ты узнаешь

• Эпизод это одна попытка, от старта до конца.
• Отдача это сумма наград за один эпизод.
• Стратегия говорит, какое действие выбрать в каждом состоянии. Если сохранять то, что сработало, она становится лучше.

Начать урок

Как идёт урок

1. Как стать хорошим игроком в игре, которую никто не объяснил?

   Начнём со зверушки, которая не знает вообще ничего.

2. Пусть зверушка пробует наугад.

   Каждая попытка оставляет след. Зелёные следы нашли еду.

3. Теперь пусть она запоминает свою лучшую попытку.

   Запусти по 20 попыток каждым способом и сравни суммы.

4. Три слова для того, что получилось.

   Такое обучение называют методом проб и ошибок: пробуй, сохраняй сработавшее, пробуй снова.

5. Какая отдача у этого эпизода?

   Сложи награды за все 8 ходов.

   Ходы с 1 по 7 стоят по -1 (удар тоже: он тратит ход, хотя зверушка остаётся на месте). Ход 8 попадает на еду, +10. Значит, -7 + 10 = 3.

6. Напиши свою стратегию: стрелку для каждой клетки.

   Пусть стрелки ведут от старта к еде с суммой 4.

7. В этой стратегии три плохие стрелки. Исправь их.

   С каждой клетки стрелки должны вести к еде.

   Стратегия это правило для каждой клетки, поэтому одна плохая стрелка портит каждый маршрут, который через неё проходит.

8. В коде стратегия это словарь.

   Каждая клетка это ключ, а её ход это значение. Заполни пропуск и запусти цикл.

9. Следуй этой стратегии. Где закончится эпизод?

   Вправо, вправо, вверх и снова вправо: прямо в колючки. Зверушка не думает, она просто следует стратегии.

10. Скоростной раунд: будь стратегией.

    Клетка загорается. Нажми на лучший ход из неё, пока не кончилось время.

Предыдущий урок: Агент, мир, награда · Следующий урок: Ценность: насколько хороша клетка? · Часть курса: Обучение с наградой

Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.