TwiddleLab / Курсы / Искусственный интеллект
Как работают языковые модели
Посмотри, как чат-бот выбирает каждое следующее слово, читает токенами и распределяет внимание.
Лучше после: Как думает нейросеть
Уроки
- Угадай следующее слово (5 мин): Языковая модель смотрит на уже написанные слова и даёт каждому возможному следующему слову вероятность.
- Подсчёт уже модель (7 мин): Самая простая языковая модель считает, какое слово идёт за каким. Это биграммная модель.
- Больше контекста, точнее догадка (6 мин): Слова, на которые модель может оглянуться, это её контекстное окно. Окно побольше даёт догадки получше.
- Токены: как модель читает (7 мин): Модель читает токены: кусочки текста, которые могут быть словом, частью слова или одной буквой.
- Слова как точки (7 мин): Модель превращает каждый токен в список чисел, его эмбеддинг. Два числа дают точку на карте.
- Внимание: какие слова важны (7 мин): Внимание позволяет каждому слову посмотреть на другие и решить, какие помогают ему обрести смысл.
- Как модель учится: меньше удивления (7 мин): Модель учится чтением: угадай следующее слово, увидь настоящее, измерь удивление, подтолкни веса. Это предобучение.
- Температура: скучно или безумно (7 мин): Температура меняет форму столбиков перед выбором: низкая делает самую большую долю ещё больше, высокая выравнивает.
- Почему она выдумывает (7 мин): Когда модель выдумывает что-то правдоподобное, это называется галлюцинацией.
- От автодополнения к ассистенту (7 мин): Базовая модель только продолжает документы. На вопрос викторины она может написать ещё вопросов.
- Что происходит, когда жмёшь «Отправить» (9 мин): Приложение заворачивает твоё сообщение вместе со скрытой инструкцией и всем чатом до этого. Другой памяти у модели нет.
- Проект: генератор имён для зверушек (8 мин): Твой генератор это языковая модель на буквах: считай пары (или тройки), потом сэмплируй колесом.
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
