TwiddleLab / Искусственный интеллект / Как работают языковые модели
Больше контекста, точнее догадка
Что ты узнаешь
- Слова, на которые модель может оглянуться, это её контекстное окно. Окно побольше даёт догадки получше.
- Таблице подсчётов нужна строка для каждого сочетания: словарь в степени размера окна. Почти все строки остаются пустыми.
- С большим окном модель-счётчик может только копировать обучающий текст. Настоящие модели вместо этого учат закономерности.
Как идёт урок
Два робота посчитали одну и ту же песню. Один пишет лучше. Какой?
Нажми «Писать» у каждого робота несколько раз, потом нажми на того, чьи строки осмысленнее.
Разница: робот A оглядывается на 1 слово, робот B на 2.
Крути окно от 1 до 5 слов. Смотри, что он пишет и что происходит с его таблицей.
Насколько большой становится таблица?
Двигай метку к своей догадке и нажми «Проверить».
Вот что нашлось.
Нажми, чтобы открыть.
На сколько слов оглядывается модель, это её контекстное окно.
Модель-счётчик, которая оглядывается на несколько слов, это n-граммная модель. Её таблице нужно строк: словарь в степени окна, и почти все строки пустые.
Со слишком большим окном она запоминает и копирует: то самое переобучение из первого курса. Хорошая модель обобщает: пишет новый текст, который всё равно осмыслен.
Золотая середина: пусть твой робот пишет новые связные строки.
Выбери окно и нажми «Писать». Победа, если за раз выйдет 2 или больше зелёных строк.
Кто написал? Перетащи каждую строку к её роботу.
Окно 1, твой робот и окно 4 написали по нескольку строк. Потом «Проверить».
Математика: 50 слов, окно 3. Собери число строк.
Перетащи плитки в основание и степень и нажми «Проверить». Смотри на башню.
Робот с окном 6 прочитал одну песню. Нажми на каждую строку, которую он скопировал.
Сравни его строки с песней, нажми на копии и «Проверить».
Загадка: разбери слово strawberry на части.
Настоящие модели не используют таблицы слов. Так что же они читают?
Предыдущий урок: Подсчёт уже модель · Следующий урок: Токены: как модель читает · Часть курса: Как работают языковые модели
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
