TwiddleLab / Искусственный интеллект / Как работают языковые модели

Подсчёт уже модель

Урок 2 из 12 · 7 мин · Бесплатно, без аккаунта

Что ты узнаешь

• Самая простая языковая модель считает, какое слово идёт за каким. Это биграммная модель.
• Раздели каждое число на сумму по строке, и получишь вероятности: 3 из 6 это 50%.
• Здесь обучение это просто подсчёт, а сэмплирование это вращение колеса, нарезанного по столбикам.
• Поменяй обучающий текст, и модель поменяется вместе с ним.

Начать урок

Как идёт урок

1. Откуда машина может взять свои столбики? Можно просто посчитать.

   Вот крошечная песня. Нажми на слово, которое, по-твоему, чаще всего идёт сразу после "love".

2. Смотри, как машина читает песню по два слова.

   Каждая пара соседей бросает камешек в строку своего первого слова. Тяни ползунок или нажми «Пуск».

3. Теперь обучаешь ты: посчитай четыре клетки.

   Нажми на каждое слово сразу после подчёркнутого "i" или "the". Каждое нажатие бросает камешек. Потом «Проверить».

4. Пусть пишут подсчёты. Крути колесо для каждого следующего слова.

   Колесо нарезано по строке последнего слова: больше камешков, больше доля. Крути, пока не получатся две строки.

5. Только что собрана настоящая языковая модель.

   Нажми, чтобы открыть.

   Модель, которая смотрит на одно слово, чтобы угадать следующее, это биграммная модель. «Би» значит два: она работает с парами.

   Каждое число, делённое на сумму строки, это вероятность: 3 из 6 это 50%. Строки подсчётов превращаются в столбики.

   Для этой модели обучение это просто подсчёт. Писать значит сэмплировать: крутить колесо, где у высоких столбиков доли больше.

6. Преврати камешки в доли.

   После "the": rain 3 камешка, sun 1. Тяни столбики к правильным процентам и нажми «Проверить».

7. Заставь песню петь твоё слово.

   Собирай строки из плашек со словами и добавляй их в песню, пока после "love" самым высоким не станет "me". Меньше строк, больше звёзд.

8. Код: та же таблица это словарь.

   Перетащи три плитки в программу в правильном порядке, нажми «Запуск», потом «Проверить». Одна плитка лишняя.

9. Посчитай: насколько вероятно "love" после "i"?

   Двигай метку к доле и нажми «Проверить».

10. До и после: исходная песня против твоего ремикса.

    Крутни оба колеса по три раза. Что теперь идёт после "love"?

Предыдущий урок: Угадай следующее слово · Следующий урок: Больше контекста, точнее догадка · Часть курса: Как работают языковые модели

Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.