TwiddleLab / Искусственный интеллект / Как работают языковые модели
Внимание: какие слова важны
Что ты узнаешь
- Внимание позволяет каждому слову посмотреть на другие и решить, какие помогают ему обрести смысл.
- У каждой стрелки есть вес внимания. Веса от одного слова в сумме дают 100%.
- Одно слово может значить разное: внимание подмешивает соседей, и "bank" сдвигается к реке или к деньгам.
- Внимание это мягкий поиск: вместо одного точного ключа оно берёт взвешенную смесь всего.
Как идёт урок
The trophy didn't fit in the suitcase because it was too big. Что было слишком большим?
Нажми на слово, которое означает "it".
Нарисуй, куда смотрит "it".
Тяни столбики: толще стрелка, больше внимания. В сумме 100%. Потом «Проверить», чтобы увидеть стрелки модели.
Теперь сделай "too small".
Нажми на пунктирное слово и поменяй его. Смотри на самую толстую стрелку.
Это и есть внимание.
Нажми, чтобы открыть.
В каждом слое каждое слово спрашивает остальных: кто здесь помогает мне обрести смысл? Это внимание.
Насколько слово смотрит на другое, это вес внимания. Веса одного слова в сумме дают 100%.
Модель подмешивает слова, на которые смотрит, поэтому один и тот же токен в разных предложениях может значить разное.
Помнишь "bank", застрявший между рекой и деньгами?
Запусти внимание на каждом предложении и смотри, как двигается точка "bank".
Головоломки внимания: пять предложений.
Нажми туда, куда оранжевое слово смотрит больше всего. Потом появятся его стрелки. Сможешь 5 из 5?
Сделай одно слово важнее.
Увеличивай, насколько "cold" важно для "it", пока оно не получит примерно половину внимания. Потом «Проверить».
Код: словарь против внимания.
Найди "cat", потом "kitten". Каждый раз жми «Запуск» с обеих сторон.
The cup fell off the shelf and it shattered.
Поставь стрелки от "it" и нажми «Проверить».
Блиц: куда оно смотрит?
Три предложения, по несколько секунд. Перетащи оранжевое слово на слово, на которое оно указывает.
Предыдущий урок: Слова как точки · Следующий урок: Как модель учится: меньше удивления · Часть курса: Как работают языковые модели
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
