Что такое диффузионные модели — генерация изображений

Диффузионные модели работают в два этапа: прямой процесс (добавление шума к изображению до полного разрушения) и обратный процесс (модель учится восстанавливать изображение из шума). При генерации модель начинает со случайного шума и постепенно «очищает» его, руководствуясь текстовым описанием. Latent Diffusion (используется в Stable Diffusion) работает в сжатом латентном пространстве, что значительно ускоряет генерацию. Диффузионные модели вытеснили GAN в генерации изображений благодаря лучшей стабильности обучения и качеству.