TwiddleLab / Искусственный интеллект / Как работают языковые модели

Токены: как модель читает

Урок 4 из 12 · 7 мин · Бесплатно, без аккаунта

Что ты узнаешь

• Модель читает токены: кусочки текста, которые могут быть словом, частью слова или одной буквой.
• Токенизатор собирают слияниями: сливают самую частую пару соседей, снова и снова (byte-pair encoding).
• Частые слова становятся одним токеном. Редкие слова, опечатки и менее распространённые языки распадаются на много кусочков и стоят дороже.
• Буквы прячутся внутри токенов, поэтому считать буквы модели трудно, а коду легко.

Начать урок

Как идёт урок

1. Модель, которая пишет сочинения, ошиблась в числе букв r в strawberry. Почему?

   Сделай ставку: перетащи метку на число кусочков, которые, по-твоему, видит модель.

2. Смотри, как токенизатор собирается из букв.

   Каждое слияние склеивает самую частую пару соседей в тексте. Тяни ползунок или нажми «Пуск».

3. После 4 слияний: какая пара склеится следующей?

   Нажми на пару, которая, по-твоему, встречается чаще всего, и «Проверить».

4. Так читает любой чат-бот.

   Нажми, чтобы открыть.

   Кусочки называются токенами. Токен может быть целым словом, частью слова или одной буквой.

   Программа, которая режет текст на токены, это токенизатор. Его собирают из слияний: склей самую частую пару, повтори. Это называется byte-pair encoding.

   Настоящие токенизаторы хранят примерно от 50 000 до 200 000 токенов. Модель видит только номера токенов, а не буквы.

5. Гонка токенизаторов: обгони машину BPE.

   У тебя 6 слияний. Склеивай пары, пока чату зверушек не понадобится столько же плиток, сколько у машины, или меньше.

6. Один токен или несколько?

   Перетащи каждое слово в стопку. Каждый бросок показывает, как его режет токенизатор побольше. Потом «Проверить».

7. Сломай свой токенизатор, потом чуть-чуть почини.

   Найди слово, которое твои слияния режут на 6 кусочков или больше. Потом добавь к нему одно слияние и нажми «Проверить».

8. Код: будь Python и посчитай буквы r.

   Python смотрит на каждую букву. Нажми на каждую r и «Проверить».

9. Разрежь "unbelievable" по списку слияний.

   Применяй слияния по порядку в уме, потом нарисуй разрезы и нажми «Проверить».

10. Гонка: твой токенизатор против большого.

    Набери своё имя или нажимай на слова. Меньше плиток, значит победа. Сыграй хотя бы три слова.

Предыдущий урок: Больше контекста, точнее догадка · Следующий урок: Слова как точки · Часть курса: Как работают языковые модели

Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.