TwiddleLab / Искусственный интеллект / Обучение с наградой

Агент, мир, награда

Урок 1 из 10 · 5 мин · Бесплатно, без аккаунта

Что ты узнаешь

• Агент действует в среде. Положение дел это состояние; то, что он может сделать, это действие.
• После каждого действия агент получает награду: число, хорошее или плохое.
• Важна сумма наград за весь путь, а не один ход.

Начать урок

Как идёт урок

1. Собаке-роботу нужно научиться ходить. Никто не может записать, как это делать.

   Поэтому она получает очки. Попробуй на крошечном мире: еда +10, колючки -10, каждый другой ход -1.

2. Доведи зверушку до еды.

   Следи за суммой. Получится закончить с лучшей возможной суммой?

3. Куда зверушка может попасть за один ход?

   Нажми на каждую клетку, куда она может встать.

   Ход может быть вверх, вправо, вниз или влево. Камень слева закрывает один из них. Колючки это разрешённый ход с плохой наградой. Поэтому три клетки.

4. У того, во что сейчас шла игра, есть названия.

   Такое обучение по наградам называется обучением с подкреплением.

5. Робот-пылесос учится убирать. Подпиши его части.

   Он получает +1 за каждую собранную пылинку.

   Решает робот, значит, он агент. Комната с мебелью и пылью это среда. Движение вперёд это действие, а +1 за пыль это награда.

6. Какой маршрут заканчивается лучшей суммой?

   Нажми на каждый маршрут, чтобы увидеть его награды. Потом выбери один и нажми «Проверить».

   Маршрут A: шесть раз -1 и +10 в конце, сумма 4. Маршрут B самый короткий, но кончается колючками: -4 - 10 = -14. Маршрут C доходит до еды длинным путём: -10 + 10 = 0.

7. Твой маршрут против зверушки, которая ходит наугад.

   Нажми «Вперёд».

Следующий урок: Метод проб и ошибок · Часть курса: Обучение с наградой

Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.