TwiddleLab / Искусственный интеллект / Генеративный ИИ: создаём новое
Генерация музыки и голоса
Что ты узнаешь
- Звук режут на короткие кусочки, аудиотокены, часто по 50 в секунду.
- Модель следующего токена продолжает музыку или речь так же, как чат-бот продолжает текст, с настройкой температуры.
- Для клонирования голоса нужно всего несколько секунд чьего-то голоса, поэтому знакомый голос в телефоне не доказательство.
- Защищайся вторым каналом или семейным кодовым словом.
Как идёт урок
Нескольких секунд твоего голоса может хватить, чтобы его клонировать. Как машина учится говорить как ты?
Сначала догадка.
Продолжи мелодию по одному токену-ноте, как сделала бы модель.
Столбики показывают шансы модели для следующей ноты. Добавь 4 ноты, которые она считает вероятными.
Пусть модель напишет 12 нот. Найди температуру, живую, но не безумную.
Низкая температура всегда выбирает фаворита. Высокая пропускает редкие ноты.
Звук становится аудиотокенами, и модель предсказывает следующий.
Тот же приём, что пишет текст, пишет музыку и речь.
Текстовая модель и звуковая: что у них общего?
Перетащи каждую фишку в столбец.
Обе это модели следующего токена с температурой, обученные на огромных данных. Отличаются только токены: кусочки слов или короткие кусочки звука.
Три звонка знакомыми голосами. Будь в безопасности в каждом.
Любой из этих голосов может быть клонирован. Нажми на то, что сделаешь.
Математика: модель использует 50 звуковых токенов в секунду. Сколько токенов в 3-минутной песне?
3 минуты = 180 секунд, и 180 × 50 = 9000 токенов. Поэтому моделям музыки нужны длинные контекстные окна.
При температуре около 0 какую ноту модель каждый раз выбирает после F?
Нажми на столбик, потом «Проверить».
Температура меняет шансы как p^(1/T). Когда T уменьшается к 0, самый большой шанс полностью побеждает, поэтому модель всегда выбирает G, столбик 37%.
Твой дуэт: модель продолжает твою мелодию на твоей температуре.
Нажми «Пуск» и продолжай.
Предыдущий урок: Из текста в картинку · Следующий урок: Авторское право и согласие · Часть курса: Генеративный ИИ: создаём новое
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
