BiGR – 统一条件生成图像的模型框架，增强生成质量和表示能力-AI下载

BiGR – 统一条件生成图像的模型框架，增强生成质量和表示能力

作者：AI下载发布时间：2025-01-31

BiGR是什么

BiGR是一种新型的条件图像生成模型，用紧凑的二进制潜在代码进行生成训练，增强图像的生成质量和表示能力。作为首个在同一框架内统一生成和判别任务的模型，BiGR在保持高生成质量的同时，能有效地执行视觉生成、辨别和编辑等多种视觉任务。BiGR的设计包括掩码标记预测和二进制转码器，用加权二进制交叉熵损失进行训练，重建掩码标记。BiGR的灵活性和可扩展性在不同的视觉应用中表现出色，无需针对特定任务进行结构更改或参数微调。

BiGR主要功能

图像生成：BiGR能生成高质量、高分辨率的图像，支持从低分辨率到高分辨率的图像生成。视觉辨别：模型能区分不同的图像类别，提供强大的特征提取能力，有助于图像识别和分类任务。图像编辑：包括修复损坏的图像（inpainting）、扩展图像内容（outpainting）、及根据特定类别条件编辑图像内容。零样本泛化：BiGR能在没有特定任务结构变化或参数微调的情况下，零样本地执行多种视觉任务，如图像插值和丰富化。

BiGR技术原理

二进制分词器：将图像转换为一系列二进制代码，代码是图像的压缩表示形式。掩码建模机制：在训练过程中，部分二进制代码被掩盖，模型需要学习如何根据未掩盖的代码预测掩盖的部分。二进制转码器：将连续的特征转换为伯努利分布的二进制代码，用在图像生成。熵序采样方法：在图像生成过程中，根据预测的伯努利分布概率的熵大小决定解掩盖标记的顺序，提高生成效率。平均池化：在模型的中间层应用平均池化获取图像的全局表示，用在视觉辨别任务。加权二进制交叉熵损失（wBCE）：用在训练模型，重建被掩盖的标记，优化生成和辨别任务的性能。

MoE++ – 昆仑万维和北大联合推出的混合专家架构

Granite 3.0 – IBM推出用于企业级应用的系列AI模型

Project Turntable – Adobe推出可旋转操作2D矢量图像的AI工具

OmniAI – AI文档处理平台，支持多格式批量处理和信息提取

TaskWeaver – 微软推出代码优先的AI智能体框架

Stable Diffusion 3.5 – Stability AI最新开源的图像生成模型

Mochi 1 – Genmo推出的开源高质量AI视频生成模型

Claude 3.5 Haiku – Anthropic推出的响应最快的AI模型

PUMA – 多粒度策略统一的多模态大语言模型