TwiddleLab / Искусственный интеллект / Как работают языковые модели
Температура: скучно или безумно
Что ты узнаешь
- Температура меняет форму столбиков перед выбором: низкая делает самую большую долю ещё больше, высокая выравнивает.
- При температуре 0 модель всегда берёт верхнее слово. Это жадное декодирование, и оно может зациклиться.
- Выбор случаем это сэмплирование. За много вращений каждое слово выпадает примерно с частотой своей доли.
- Разным задачам нужна разная температура: фактам холодная, идеям потеплее, но никогда не слишком горячая.
Как идёт урок
Та же модель, тот же вопрос, три ответа: скучный, нормальный и чепуха.
Нажми на ручку, которую, по-твоему, крутили.
Это была температура. Крути её и смотри на колесо.
Двигай от 0 до 2. Колесо, столбики и строка текста меняются сразу. Попробуй оба края.
Крути при температуре 0, потом при 1.
Крутни каждое колесо три раза и сравни.
Три имени для увиденного.
Нажми, чтобы открыть.
Сэмплирование значит выбирать следующее слово случаем, по размеру его доли.
Температура сначала меняет доли: ниже 1 большие растут, выше 1 выравниваются.
При 0 всегда берётся самая большая доля: жадное декодирование. Безопасно для фактов, но текст может повторяться.
Три задачи, три температуры.
Задай температуру для каждой задачи и нажми «Запуск». Звезда за каждую хорошо сделанную задачу. Набери все три.
При какой температуре написана эта строка?
Двигай метку и нажми «Проверить».
Будь регулятором: сделай колесо горячим.
Тяни доли так, как выглядит колесо при температуре 1,8. Потом «Проверить».
Математика: крутни раз, десять раз, тысячу раз.
Смотри, как часто выпадает каждое слово по сравнению с его долей.
Бот-викторина должен каждый раз отвечать на 7 × 8. Задай ему температуру.
Двигай ползунок и нажми «Проверить». Будет десять попыток.
Твоя карточка температуры.
Твои настройки из игры и то, что они написали. Нажми «Поделиться».
Предыдущий урок: Как модель учится: меньше удивления · Следующий урок: Почему она выдумывает · Часть курса: Как работают языковые модели
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
