DALL-E、Stable Diffusion 等 20+ 图像生成模型综述

二、任务场景

2.1. 无条件生成

无条件生成是指生成模型在生成图像时不受任何额外条件或约束的影响。模型从学习的数据分布中生成图像,而不需要关注输入条件。

2.2. 有条件生成

有条件生成是指生成模型在生成图像时受到额外条件或上下文的影响。这些条件可以是类别标签、文本描述、特定属性等。有条件生成广泛应用于需要模型理解并满足特定条件的任务。例如,给定文本描述,生成与描述相符的图像;或者在生成特定类别的图像时,提供类别标签。

2.2.1. 类别条件生成

类别条件生成是非常常见的一种场景,也有许多相关的任务,其中 ImageNet 是最常见的一种,ImageNet 常用于图像分类任务,每个图像都有一个类别标签,总共有 1000 个类别。在图像生成领域,可以指定对应的类别标签,然后让模型按照类别生成图像。

如下图所示为基于 ImageNet 训练后,按类别生成的图像结果(来自 ViT-VQGAN):

9.1. DALL-E mini 模型概述

如下图所示,DALL-E mini 中作者使用 VQ-GAN 替代 dVAE,使用 Encoder + Decoder 的 BART 替代 DALL-E 中 Decoder only 的 Transformer。

训练过程:

将图像输入进VQGAN-Encoder,得到image encoder vector,将图像对应的文本输入进bert encoder-decoder模型,得到根据文本预测得到的图像encoding,计算image encoder vector与预测图像encoding的loss,从而更新VQGAN-Encoder、Bert

推理过程:

将文本输入进Bert,得到预测的多个候选image encoder vector,通过VQGAN-Decoder得到多个解码后的图像,利用CLIP计算解码后的图像与文本之间的最小距离对应的图像,当成输出

图片

在推理过程中,不是生成单一的图像,而是会经过采样机制生成多个 latent code,并使用 VQ-GAN 的 Decoder 生成多个候选图像,之后再使用 CLIP 提取这些图像的 embedding 和文本 embedding,之后进行比对排序,挑选出最匹配的生成结果。

文生图模型演进:AE、VAE、VQ-VAE、VQ-GAN、DALL-E 等 8 模型

DALL-E、Stable Diffusion 等 20+ 图像生成模型综述

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-09 21:52:06       4 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-09 21:52:06       5 阅读
  3. 在Django里面运行非项目文件

    2024-07-09 21:52:06       4 阅读
  4. Python语言-面向对象

    2024-07-09 21:52:06       4 阅读

热门阅读

  1. 【框架】ABP(ASP.NET Boilerplate Project)

    2024-07-09 21:52:06       7 阅读
  2. SQL Server集成服务(SSIS):数据集成的瑞士军刀

    2024-07-09 21:52:06       7 阅读
  3. LVS+Keepalived群集

    2024-07-09 21:52:06       8 阅读
  4. 精准控制:Eureka服务续约间隔配置全指南

    2024-07-09 21:52:06       10 阅读
  5. 部署LVS-DR群集

    2024-07-09 21:52:06       11 阅读
  6. WordPress禁止用户注册某些用户名

    2024-07-09 21:52:06       13 阅读
  7. go内存返还系统相关代码

    2024-07-09 21:52:06       10 阅读