TwiddleLab / Искусственный интеллект / Как работают языковые модели
Слова как точки
Что ты узнаешь
- Модель превращает каждый токен в список чисел, его эмбеддинг. Два числа дают точку на карте.
- Слова из похожих предложений оказываются рядом: близко значит похоже.
- Направления на карте могут что-то значить: от man к woman примерно тот же шаг, что от king к queen, на игрушечной карте. В настоящих моделях сотни чисел, и это работает лишь приблизительно.
Как идёт урок
Для модели cat и kitten два разных токена. Как ей понять, что они похожи?
Вот карта слов. Нажми туда, где, по-твоему, место слову "kitten".
Смотри, как карта обучается.
Каждое слово начинает со случайных чисел. Обучение стягивает вместе слова из похожих предложений. Тяни ползунок или нажми «Пуск».
Новое слово: glorp. Куда оно идёт?
Прочитай, как используется glorp, и перетащи его на карту. Его ближайшие слова загорятся. Потом «Проверить».
У карты есть имя.
Нажми, чтобы открыть.
Числа, которые ставят слово на место, это его эмбеддинг. Здесь два числа дают точку; настоящие модели используют сотни или тысячи чисел на токен.
Близкие точки значат похожие слова: они встречаются в похожих предложениях. Никто не вписывает значения вручную.
Эта карта сплющена до 2D, чтобы её было видно, и сделана вручную для урока.
Охота на ближайшего соседа.
Слово светится: нажми на ближайшее к нему слово, пока не кончилась полоска. Шесть раундов.
Предскажи карту: перетащи каждое слово в его облако.
Слова скрыты. Брось каждое туда, где оно, по-твоему, находится, и оно улетит на настоящее место. Потом «Проверить».
Проведи стрелку от man к woman. Потом перенеси её к king.
Нарисуй стрелку, перетащи её хвост на king и посмотри, куда показывает голова. Потом «Проверить».
Математика: king - man + woman, с настоящими числами.
Каждое слово это точка, значит, и стрелка из угла. Перетащи три стрелки на сетку, хвост к голове, начиная с king. Потом «Проверить».
Вот твой glorp. Какое слово его ближайший сосед?
Нажми на слово, потом «Проверить».
Загадка: куда идёт "bank"?
Крути регулятор от берега реки (river bank) к банковскому счёту (bank account). Смотри на точку "bank".
Предыдущий урок: Токены: как модель читает · Следующий урок: Внимание: какие слова важны · Часть курса: Как работают языковые модели
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
