猫眼电影记者 郭炳生 报道w3u7903ejky2ywls

OpenAI 的 GPT-4o 在图像理解、生成和编辑任务上展现了顶级性能。流行的架构猜想是：

Tokens → [Autoregressive 模型] → [Diffusion 模型] → 图像像素

该混合架构将自回归与扩散模型的优势结合。Salesforce Research、马里兰大学、弗吉尼亚理工、纽约大学、华盛顿大学的研究者在最新的研究（统一多模态模型 BLIP3-o）中也采用了自回归 + 扩散框架。

论文标题：BLIP3-o: A Family of Fully Open Unified Multimodal Models—Architecture, Training and Datase论文地址：https://arxiv.org/pdf/2505.09568v1GitHub 代码：https://github.com/JiuhaiChen/BLIP3o模型权重：https://huggingface.co/BLIP3o/BLIP3o-Model在线演示：https://huggingface.co/spaces/BLIP3o/blip-3o预训练：https://huggingface.co/datasets/BLIP3o/BLIP3o-Pretrain-Long-Caption指令微调：https://huggingface.co/datasets/BLIP3o/BLIP3o-60k

在这个框架里，自回归模型先生成连续的中间视觉特征，用以逼近真实图像表示，进而引出两个关键问题：

真实特征来源 (Ground-truth features)：用 VAE 还是 CLIP 将图像编码为连续特征？特征对齐方式：使用 MSE 损失，还是借助扩散模型（Flow Matching）来对齐预测与真实特征？

统一多模态下的图像生成

研究者考察两种图像编码–解码范式：

VAE：将图像编码为 low level 像素特征，以获得更好的重建质量。但 VAE 编码器在处理更高分辨率输入时，会生成更长的向量序列，从而增加训练过程中的计算负担。CLIP + Diffusion：先将图像映射到 high level 语义特征，再通过扩散模型重建真实图像。在实际操作过程中，会先用 CLIP 得到图像特征，然后基于 CLIP feature 训练一个扩散模型来重建图像。该方法好处是无论输入图像分辨率如何，每张图像都可编码为固定长度的连续向量 （比如长度为 64 的向量），这种编码方式能有较好的图像压缩率；但需要额外训练来使扩散模型适配不同的 CLIP 编码器。

针对自回归模型预测的视觉特征与 VAE/CLIP 提供的真实特征，有两类训练目标：

MSE：对预测特征与真实特征计算均方误差Flow Matching：基于自回归模型生成的预测特征，通过流匹配损失训练一个 Diffusion Transformer，用 Diffusion Transformer 的输出值来逼近 CLIP 或 VAE 特征

结合不同的编码–解码架构与训练目标，共有三种设计选择：

CLIP + MSE：最小化预测表征与 CLIP 真实表征之间的 MSE， 比如 Emu2、SeedX。在生成图片的时候，自回归模型生成视觉特征，基于这个视觉特征，使用一个扩散模型来解码图片。CLIP + Flow Matching：以自回归模型预测的视觉特征为条件，使用流匹配损失来训练 Diffusion Transformer，以预测真实的 CLIP 表征。在生成图片的时候，自回归模型生成视觉特征，基于这个视觉特征，Diffusion Transformer 生成一个 CLIP feature，然后再基于这个 CLIP feature，使用一个轻量的扩散模型来解码图片。整个过程涉及两次扩散过程，第一次生成 CLIP feature，第二次生成真实图片。VAE + Flow Matching：以自回归模型预测的视觉特征为条件，使用流匹配损失来训练 Diffusion Transformer，以预测真实的 VAE 表征。在生成图片的时候，自回归模型生成视觉特征，基于这个视觉特征，Diffusion Transformer 生成一个 VAE feature， 由 VAE 解码器来生成真实图片。

Caption: 在统一多模态模型中，图像生成有三种设计方案。所有方案均采用自回归 + 扩散框架，但在图像生成组件上各有不同。对于流匹配损失，保持自回归模型冻结，仅微调图像生成模块 (Diffusion Transformer)，以保留模型的语言能力。

下图对比了这三种方案在相同设置下的表现，证明CLIP + Flow Matching能在提示对齐、图像多样性与视觉质量之间取得最佳平衡。

Caption: 不同方案的对比

研究者发现将图像生成集成到统一模型时，自回归模型对语义级特征（CLIP）的学习比对像素级特征（VAE）的学习更为高效。同时，将流匹配 (Flow Matching)作为训练目标能够更好地捕捉图像分布，从而带来更丰富的样本多样性和更出色的视觉质量。同时有两个阶段的扩散过程，相对于传统的一个阶段的扩散模型，将图像生成分解成了两个阶段，第一阶段自回归模型和 diffusion transformer 只负责生成语义特征，第二阶段再由一个轻量的扩散模型来补全 low-level 特征，从而大幅减轻训练压力。

统一图像理解与生成

通过 CLIP 编码器，图像理解与图像生成共用同一语义空间，实现了两者的统一。

研究者采用顺序训练（late fusion）而非联合训练（early fusion），原因在于：

可以冻结自回归模型，保留其图像理解能力；把全部训练资源集中在图像生成模块，避免多任务间的相互干扰。

caption：联合训练（early fusion）同时更新理解和生成模块，顺序训练 （late fusion）先独立调优「理解」，再冻结骨干只训练「生成」。

BLIP3-o：统一多模态模型

基于上述对比，研究者选定CLIP + Flow Matching与顺序训练 (late fusion)，构建了 4B 和 8B 参数的 BLIP3-o：

预训练数据：25M 开源图文 + 30M 专有图像图像字幕 (caption)：均由 Qwen-2.5-VL-7B-Instruct 生成，平均 120 token；为增强对短提示的适应，还额外混入～10%（6M）的短字幕（20 token）4B 参数开源模型：纯 25M 开源图文对，及～10%（3M）短字幕指令微调：GPT-4o 生成 60K 条高质量示例，显著提升提示对齐和视觉美感

所有代码、模型、数据均陆续开源中，欢迎试用！

Caption: BLIP3-o 可视化示例

研究者发现：

模型能迅速调整至 GPT-4o 风格，提示对齐 (instruction following) 和视觉质量均大幅提升。

caption：图像理解表现

Caption: 图像生成的基准性能与人工评估

结论

本文首次系统地探索了结合自回归与扩散架构的统一多模态建模，评估了三个关键维度：图像表示（CLIP 特征 vs. VAE 特征）、训练目标（流匹配 vs. MSE）和训练策略（early fusion vs. 顺 late fusion）。实验结果表明，将 CLIP 嵌入与流匹配损失相结合，不仅加快了训练速度，也提升了生成质量。

基于这些发现，本文推出了 BLIP3-o, 一系列先进的统一多模态模型，并通过 BLIP3o-60k 6 万条指令微调数据集，大幅改善了提示对齐效果和视觉美感。研究者还正在积极开展该模型的应用研究，包括迭代图像编辑、视觉对话和逐步视觉推理。

  时事1：挠脚心くすぐり漫画网站

  05月26日,云南镇雄山体滑坡：已搜寻到10名失联人员,

　　“这么多年来，我让你们查石子陵的消息，而你们竟连蛛丝马迹都没有发现，一群废物！”管事咆哮，如一头怒狮般，与不久前卑躬屈膝的样子大相径庭，无比威猛。

,梅花十三❌🐻黄漫扒衣服。

  05月26日,刘建超访问美国,

　　四大族的人坐不住了，这些人若是死去，那么他们在高层次领域内的洞天福地就没有人守护了，到时候会丢掉，将损失惨重。

,做瑜伽的妈妈林雅卿小说免费阅读,原神3D同人18video网站,JMComicron网页版链接分享。

  时事2：小P孩与大人做爰HD

  05月26日,浙江队外援奥乌苏：中超风格多变 我找到了自己的节奏,

　　(四)组织了“同享书香情，共筑中国梦”图书大集“六一”庆祝活动。本次活动为全体队员提供了自由交换、交易图书的平台，让学生手中的书籍流动起来，使学生在形式多样的图书流通中合理置换，学会资源共享，共同享受读书的快乐，让每一个孩子度过了一个别样的“六一”儿童节。

,男男无码H黄肉动漫在线观看,雷电将军女裸体❌自慰喷水,欧美巨大粗爽AV在线观看。

  05月26日,西康高铁秦岭太兴山隧道进口至一号斜井区间顺利贯通,

　　还有二十天的时间，村人都开始忙碌了起来，有人准备战斗，有人安排撤退的事宜，还有人在苦修、悟法。

,调教她的尿孔(H),荫蒂被男人添的好舒服a视频,男女啪啪做爰高潮全过有多重打法。

  时事3：美女裸体被❌吸乳羞羞视频

  05月26日,中国不仅电动汽车在世界火了，就连汽车运输船也跟着圈粉,

　　尊敬的音乐学院和、同志们、朋友们：

,娜美吃路飞棍子漫画在线观看,Free❌❌❌国产天美MD视频,男男军警裸J照无遮挡。

  05月26日,花旗与上海银行携手为境外来华人士提供便捷支付方案,

　　生活点点滴滴，环保从我做起，支持低碳生活，拒绝污染环境!让我们把这句话铭记于心吧!

,18➕无码➕高潮➕,点不下W看网站,tk散兵漫画丨VK。

  时事4：卡芙卡被❌吸乳脱内内免费网站

  05月26日,酸嘢、糖葫芦还能配广西“公文包” 蔓越莓下一步是要学“南普”吗？,

　　岁月的清风轻轻地翻开了x年金秋的书页，温煦的秋阳送来了又一个丰收的季节。我们刚刚送走了一大批播撒过奋斗与拼搏、收获了成功和喜悦的x届高中毕业生，又满怀希望地迎接来了你们——x级的高一新生。带着青春的蓬勃朝气，揣着满怀的激情与渴望，携着家人的殷殷嘱托，你们来了，你们激情澎湃、英姿勃发地来了，来到了永中这块成就梦想和孕育英才的沃土。

,龙卷被爆❌羞羞漫画网站,吴梦梦在线AV无码播放,女生❌狂揉❌喷水视频。

  05月26日,春节申遗成功,

　　“柳神，我知道你一定能听到我的话，也相信你可以庇护村子，请你守护这里。”小不点大眼纯净，对着焦黑的柳木轻语。

,西村妮娜家政的电影,胸大美女,黑人狂躁刘亦菲40分钟。