TwiddleLab / Искусственный интеллект / Обучение с наградой
Q-обучение
Что ты узнаешь
- Q-значение это заметка об одном ходе в одной клетке: насколько хорошим оказался этот ход с учётом того, что было после.
- Q-обучение: после каждого хода сдвигай заметку к награде + лучшей заметке в новой клетке.
- Скорость обучения говорит, насколько далеко заходит каждый сдвиг. Через много эпизодов лучшие заметки прочерчивают лучший маршрут.
Как идёт урок
В одном кафе было двадцать обедов. Оценок никто не давал, но уже ясно, что там вкусно. Как так?
Теперь зверушка на лугу, которого она не видит. Что ей записывать после каждого хода?
Пройди по шагам первый эпизод зверушки.
Она не видит луг. После каждого хода она обновляет одну заметку: треугольник, который указывает, куда она пошла.
Теперь сделай одно обновление вручную.
Цель это то, сколько этот ход, как сейчас выяснилось, стоит. Заметка сдвигается на полпути туда.
Пусть она учится много эпизодов.
Следи за отдачами и стрелками её лучших заметок.
Это Q-обучение.
Q от слова quality, качество: качество хода в клетке.
Твой ход вслепую: иди по заметкам к еде.
Карта скрыта, но заметки обученной зверушки нет.
Расставь один шаг Q-обучения по порядку.
Цикл выполняется на каждом ходе, снова и снова.
Обновлению нужны две вещи, которые даёт ход: награда и новая клетка. Поэтому порядок такой: посмотреть, выбрать ход, получить награду и новую клетку, найти там лучшую заметку, потом сдвинуть старую.
В 2015 году программа DeepMind так выучила 49 аркадных игр.
Она видела только пиксели экрана и счёт. Подпиши части.
Пиксели экрана это состояние, движения джойстика это действия, изменение счёта это награда, а программа это агент. Заметок было слишком много для таблицы, поэтому их оценивала нейросеть: глубокая Q-сеть.
Какая новая заметка?
Цель -1 + 6 = 5. Старая заметка 2, значит, разрыв 3. Половина разрыва 1,5, и 2 + 1,5 = 3,5.
Проверь эксперта: брось его куда угодно.
Эта зверушка тренировалась 500 эпизодов. Нажми на клетку, чтобы бросить её туда.
Предыдущий урок: Ценность: насколько хороша клетка? · Следующий урок: Исследовать или пользоваться? · Часть курса: Обучение с наградой
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
