TwiddleLab / Искусственный интеллект / Как работают языковые модели
Что происходит, когда жмёшь «Отправить»
Что ты узнаешь
- Приложение заворачивает твоё сообщение вместе со скрытой инструкцией и всем чатом до этого. Другой памяти у модели нет.
- Текст становится токенами, токены строками чисел (сетка с формой: токены × числа), а слои с вниманием их перемешивают.
- Модель оценивает каждый следующий токен, выбирает один с учётом температуры, добавляет его и запускается снова: это авторегрессионный цикл.
- У её контекстного окна есть конец. Старые сообщения выпадают, а с ними и то, что в них было.
Как идёт урок
Ты набираешь "Why is the sky blue?" и жмёшь «Отправить». Через секунду появляются слова.
Что случилось за эту секунду? Нажми на станцию, которая, по-твоему, работает первой.
Проследи своё сообщение до конца.
Нажми «Пуск» или тяни ползунок. Останавливайся где угодно и трогай. Первая станция это «Обёртка»: совпало со ставкой?
Ответ называет тебя Ada. Имя прозвучало всего один раз, раньше.
Нажми на "Ada" в ответе, чтобы увидеть, куда оно смотрит.
Преврати вопрос в числа.
Перетащи каждый токен на доску. Каждый станет строкой из 8 чисел.
Модель выбирает первое слово ответа.
Поставь температуру пониже и выбери несколько раз. Потом поставь повыше и выбери снова.
У каждой части пути есть имя.
Нажми, чтобы открыть.
Приложение отправляет модели один длинный текст: скрытая инструкция, чат до этого, твоё новое сообщение. Это единственная память модели.
Текст становится токенами, токены сеткой чисел с формой: токены × числа. Слои с вниманием перемешивают сетку.
Модель оценивает каждый следующий токен, выбирает один, добавляет и запускается снова. Подавать свой же вывод обратно на вход это авторегрессионный цикл.
Задай форму сетки: 13 токенов по 8 чисел.
Тяни угол сетки и нажми «Проверить».
Бот забыл твоё имя. Найди, что сломано.
Нажимай на станции, чтобы заглянуть внутрь. Исправь сломанный переключатель, отправь снова и нажми «Проверить».
Игра с окном: когда он забудет "Call me Captain"?
Выбери длину чата и нажми «Тест». Найди самый длинный чат, в котором бот всё ещё зовёт тебя Captain, за как можно меньшее число тестов. Потом «Проверить».
Код: собери цикл, который пишет ответ.
Перетащи три блока в цикл while. Два блока лишние. Запусти, загляни в вид на Python и нажми «Проверить».
Мифы о чат-ботах.
Каждая карточка правда или неправда?
Твой цикл пишет весь ответ.
Запусти собранный цикл. Один запуск модели на токен.
Предыдущий урок: От автодополнения к ассистенту · Следующий урок: Проект: генератор имён для зверушек · Часть курса: Как работают языковые модели
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
