TwiddleLab / Искусственный интеллект / Генеративный ИИ: создаём новое
Из текста в картинку
Что ты узнаешь
- Подписи и картинки обучают попадать рядом друг с другом на одной общей карте, текстово-картиночном эмбеддинге.
- Ведение тянет каждый шаг очистки к месту промпта. Слишком слабое не учитывает слова, слишком сильное перебарщивает.
- Близость на карте измеряют косинусом угла между стрелками.
- В обратную сторону чат-модель режет фото на кусочки: каждый кусочек становится токеном картинки рядом со словами.
Как идёт урок
Пишешь 'a fluffy blue critter in the snow' и получаешь ровно это. Как слова управляют помехами?
Поставь каждую подпись рядом с её картинкой на общей карте.
Перетащи подпись в гнездо под картинкой, которую она описывает.
Повышай ведение, пока картинка не будет следовать словам, всё ещё выглядя естественно.
Сила ведения задаёт, насколько сильно каждый шаг очистки тянется к промпту.
Общая карта слов и картинок плюс ведение.
Так промпт управляет диффузионной моделью.
Собери промпт, который сделает целевую зверушку.
Нажми на одно слово в каждом ряду. Генератор перерисовывает по ходу.
В обратную сторону: чат-модель читает фото токенами. Сделай ровно 16.
Фото режется на квадратные кусочки. Каждый кусочек становится одним токеном.
Математика: какая подпись ближе всего к картинке?
Нажми на каждую подпись, чтобы посчитать её косинус с картинкой. Выбери самый большой, потом «Проверить».
b: (4 · 3 + 3 · 4) ÷ (5 · 5) = 24 ÷ 25 = 0.96, самый большой косинус, значит, самый маленький угол. a даёт 23 ÷ 25.5 = 0.90, а c даёт 11 ÷ 25.5 = 0.43.
Какую картинку сделал промпт 'a spiky green critter in the snow'?
Нажми на неё, потом «Проверить».
Каждое слово промпта сдвигает его место на карте, поэтому хороший результат совпадает во всех трёх: шерсть, цвет и место.
Ранние модели картинок часто рисовали шесть пальцев или кривые буквы. Почему?
Диффузионная модель выучивает узоры пикселей, а не факты вроде «пять пальцев». Руки и буквы сильно различаются от картинки к картинке, поэтому ранние модели правильно передавали вид, но ошибались в числе или написании. Новые модели справляются гораздо лучше благодаря большему количеству данных и большим текстовым энкодерам.
Аврал в студии: выполни три заказа клиентов.
Прочитай каждый заказ, собери промпт, задай ведение, потом «Сгенерировать».
Предыдущий урок: От чистого шума к картинке · Следующий урок: Генерация музыки и голоса · Часть курса: Генеративный ИИ: создаём новое
Уроки интерактивные и работают на JavaScript. Включи его, чтобы играть.
