TwiddleLab / Искусственный интеллект / Как машины видят и слышат
Звук это тоже картинка
Что ты узнаешь
- Микрофон измеряет давление воздуха тысячи раз в секунду. Каждое измерение это отсчёт; сколько их в секунду, это частота дискретизации.
- Разрежь звук на короткие кусочки, разложи каждый на высоты тона, сложи столбцы рядом: получится спектрограмма.
- Спектрограмма это картинка, поэтому те же фильтры и сети, что видят, могут и слышать.
- 1 секунда при 16 000 отсчётов в секунду это 16 000 чисел.
Как идёт урок
Говоришь «Hey», и телефон просыпается. Звук это просто дрожание воздуха. Может ли он быть картинкой?
Эти три картинки это три звука. Нажми на ту, которая, по-твоему, свист, потом «Проверить».
Сначала звук в числа. Как часто микрофон должен измерять?
Повышай число отсчётов на колебание, пока точки не пойдут за волной.
Теперь числа в картинку. Нарежь голос на кусочки.
Нажми «Запуск». «Пуск» тоже работает.
Слова для этого.
Нажми, чтобы открыть.
Каждое измерение волны это отсчёт. Отсчётов в секунду, это частота дискретизации: для речи обычно 16 000.
Кусочки, превращённые в столбцы высот тона, дают спектрограмму: время по горизонтали, высота вверх, громкость как яркость.
Это картинка, поэтому фильтры из этого курса могут находить в ней узоры, например слово.
Нарисуй звук: свист, который поднимается.
Рисуй на пустой спектрограмме и нажми «Пуск», чтобы его услышать.
Сопоставь каждую картинку с её звуком.
Можно их послушать, потом перетащи каждую картинку к её названию и нажми «Проверить».
Свист близок к одной чистой высоте, поэтому это одна линия. Удар барабана короткий и шумный, он на миг покрывает много высот: столбец. У голоса есть основная высота и много её кратных: параллельные полосы.
Шумная комната, 3 секунды. Найди момент, когда кто-то говорит «hey».
Нажми на картинку, потом «Проверить».
На спектрограмме голос виден как несколько полос друг над другом. Барабан это набор столбцов, свист одна линия.
Математика: телефон записывает 3 секунды при 16 000 отсчётов в секунду. Сколько это чисел?
Частота дискретизации × секунды = отсчёты. 16 000 × 3 = 48 000 чисел, по одному на измерение.
Игра: твой свист теперь слово пробуждения. Настрой детектор.
Он должен просыпаться на все 3 твоих звука и никогда на остальные.
Предыдущий урок: Обманываем зрение модели · Следующий урок: Лица, камеры и справедливость · Часть курса: Как машины видят и слышат
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
