Title: Muse: Text-To-Image Generation via Masked Generative Transformers From Google Research. ICML 2023.
Highlight
作者提出了一种在离散token空间下的掩码建模任务上训练的图像生成模型MUSE。
和diffusion model以及自回归模型相比的优势是，MUSE生成因为使用了离散tokens和并行decoding，所以更加efficient。
Model
如图1所示，MUSE包含几个子模型，首先是有两个VQGAN模型，用来做tokenizer。将输入图像编码为离散化的tokens同时可以解码回原始的图像。一个是用来处理256x256分辨率的低分辨率图，另一个用来处理 512x512 分辨率的高分辨率图。
第一个VQGAN用来处理低分辨率图像，下采样16倍，得到16x16大小的tokens, 第二个用来处理高分辨率图像，下采样8倍，得到64x64大小的tokens。
离散tokens编码的好处是可以忽略掉low-level的噪声，并且可以让我们使用ce loss来预测masked tokens。
然后是一个base masked image model。输入一个序列的部分被masked的低分辨率tokens，然后预测每个masked tokens的边际分布，conditioned on the unmasked tokens和text embeddings(frozen T5-XXL encoder)。
训练阶段，随机将一部分image tokens masked掉然后用特殊的[MASK] token来代替。
inference阶段，mask prediction 使用迭代的方式来提升质量。具体的，每预测一步mask tokens，都会选出置信度最高的一部分tokens保留下来当作接下来step的没被mask的tokens。这样迭代几次会提升质量，base model用了24步，超分模型用了8步。
然后是一个superres的transformer model将（unmasked）低分辨率tokens转换为高分辨率tokens，受控于text embeddings。
作者发现直接预测512x512分辨率的图会导致模型更关注一些low-level的细节而不是large-scale语义。因此作者用了一个超分模型，如图2所示。
Decoder Finetuning
为了提升VQGAN decoder的能力，作者添加了更多的残差层和channel数来finetune，同时保持encoder fixed。
Experiments
Thoughts
一个VQGAN + masked transformer + 超分 做图像生成的工作。