猫眼电影记者 孙漫 报道w3u7903ejky2ywls

允中 发自 凹非寺量子位 | 公众号 QbitAI

抛弃替代损失函数，仅需优化原始目标， 强化学习新范式来了:

消除critic和reference模型，避免KL散度约束；解决优势函数和梯度估计两个偏差。

来自阿里-高德地图的团队提出了一种相当简单的强化学习训练新方法：组策略梯度优化GPG（Group Policy Gradient）。

GPG开创性地从底层重构强化学习训练框架，仅需优化原始目标，解决已有方法偏差，提高训练效率。革新强化学习训练流程，推动智能体性能突破。

在实验中，GPG在单模态和多模态两类任务中表现遥遥领先，其极简架构与高性能表现，有望成为下一代基础模型训练的关键方法。

以下是更多GPG有关细节。

一、背景介绍

近年来，以OpenAI和DeepSeek R1为代表的LLMs模型表现亮眼，深究成功背后，是强化微调技术（RFT）联合现有强化学习方法（如PPO、GPPO）在激励模型构建严谨的推理链上发挥了关键作用。

但在面对高昂的训练成本与性能平衡，主流方法PPO也陷入巨大瓶颈，与此同时，其他研究团队也在尝试使用ReMax、GRPO等简化训练流程，并在性能上取得了很大的突破，但他们都依然存在一些问题。

研究团队认为，当前针对RL算法的优化都在围绕替代损失函数展开，但两个核心问题始终悬而未决：

1.能否绕过替代策略，直接优化原始目标函数？2.如何最大限度简化学习策略的设计？

由此，团队提出了GPG，其核心创新包括：

直接目标优化：摒弃传统替代损失函数设计，直接优化原始强化学习目标，突破算法效率瓶颈。极简训练架构：无需评论模型和参考模型支持，摆脱分布约束，为模型扩展性提供更大空间。精准梯度估计技术（AGE）：首次揭示现有方法的奖励偏差问题，提出轻量化且高精度的梯度估计方案，显著提升策略稳定性。单模态多模态任务SOTA验证：在数学推理、视觉理解、跨模态推理等任务中，GPG性能全面超越现有方法，验证其通用性与鲁棒性。

二、组策略梯度GPG方法1）方法对比

各种强化学习方法的比较，作者以最简单的形式解释：

下面是GPG方法和已有RL方法各个模块的对比：

2）GPG方法

GPG旨在解决在没有价值模型的情况下，策略梯度估计中的高方差问题。通过利用group-level的奖励，GPG稳定了训练过程并增强了强化学习训练的鲁棒性。

具体而言，GPG利用每个Group内的平均奖励来归一化奖励，从而有效降低方差。这个方法可以移除传统的价值模型，从而简化了训练过程并提高了计算效率。 GPG的名称反映了作者方法核心机制，即利用group-level的平均奖励来稳定和优化学习。

GPG的核心优化目标定义为：

作者提出的GPG方法通过组内优势函数计算梯度校正机制实现了高效稳定的策略优化。在优势函数设计上，采用组内奖励均值归一化方法

3）现有RL方法中的两个bias

优势函数中的bias

组内样本全对全错时，引入梯度估计的bias

针对组内全对/全错样本的梯度估计bias问题，GPG创新性地引入动态梯度校正因子。

实验表明该机制可使模型准确率从43.9%提升至47.8%，显著改善训练稳定性。

三、实验1）在单模态数据集上的结果

2）在多模态数据集上的结果

四、结论

在本文中，作者介绍了GPG，它有效地解决了强化微调方法（如PPO和GRPO）中现有的关键挑战。

通过将基于组内的决策动态直接纳入标准的PG方法，GPG简化了训练过程，并显著减少了计算开销，而不削弱模型效果。这一突破为训练能够进行复杂推理的先进LLM提供了更高效的框架，从而为更具资源效率和可扩展性的人工智能系统做出了贡献。

此外，团队将本文代码全面开源，希望促进技术透明化发展，也鼓励更多人参与到该项工作中来。

论文链接：https://arxiv.org/pdf/2504.02546代码链接：https://github.com/AMAP-ML/GPG

  时事1：妈妈扒下内裤让我爽了一夜电影

  05月05日,山西供电部门多举措应对降雪天气 特巡检修同步开展,

　　我国从远古的北京人开始，就已经开始使用火了。火带给人类的是光明，是美食，是温暖……但如果不注意的话，火带给我们的则是一片灰烬。此刻，各个学校经常举办消防演练。有的同学根本不当回事，慢悠悠的跑着，还边说着话：“闲着没事举行什么消防演练，又没真着火。”

,校花🌸扒腿让我C免费。

  05月05日,新时代，我在中国｜埃及小伙济宁奇妙游,

　　“多事之秋，真不知道到底出了怎样的山宝，它们争夺了两年，难道还没有结果吗？”族长石云峰怀疑。

,孽徒啊轻点灬太粗嗯太深了电影,动漫被❌到爽🔞巨乳视,❎动漫c叫疼黄。

  时事2：小心🐤入🍑🍑动漫下拉观看

  05月05日,（新春走基层）老非遗焕发新魅力 “跑驴”成苏北新春“新宠”,

　　20xx年机电工作也很繁重，我们要紧紧围绕我矿20xx奋斗目标，进一步增强责任感和紧迫感，坚持目标不变、干劲不松的要求，树立成本意识，强化机电现场安全管理和设备检修质量，精心组织生产准备，确保全年各项目标任务安全高效完成。

,挤奶自慰❌❌喷水好爽,美杜莎自己扒开屁股让男人桶,免费高清🔞❌♋性巴克。

  05月05日,广州今年将建设百个高质量就业社区（村）,

　　大家晚上好！

,自慰帮老师解开蕾丝奶罩吸乳,91丨亚洲丨国产熟女❤️,男男成人🔞高潮片。

  时事3：女被❌c🐻黄变态玩具视频

  05月05日,青岛啤酒登顶Brand Finance 2024年度全球啤酒品牌力榜单冠军,

毕业班讲话稿（精选31篇）,用丝袜怎么导精,小乔被c黄秘动漫,梅花十三去掉内裤让人摸。

  05月05日,第十四届全国冬运会速度滑冰公开组收官 共决出14枚金牌,

　　这件宝具由四十二颗兽牙组成，能合聚，可分散，进攻手段多样，防不胜防。

,扒开甘雨❌狂揉❌难受3d动漫,得吃官网免费入口,含羞草未满禁止观看。

  时事4：申鹤被爆♡❌3D动漫

  05月05日,一边向以色列供武一边援助加沙 美国行径遭国际社会广泛批评,

　　九年级每位教师都很辛苦，特别是现在这样一个大背景下，既要搞好教学常规工作，又要完成升学目标，如何在这样的形势下继续把工作做好，是对我们这一届九年级团队的智慧和能力的考验。学校将毕业班工作交托付 给了 我们 ，将20x年的中考重任托付给了我们 ， 我们一定竭尽全力。我坚信我们一定可以成功。这不仅仅是明年中考创造辉煌的问题，更将对学校长远的发展产生积极而深远的影响。

,巨茎少年与少妇,福瑞裸体脱裤子涩涩,王者荣耀姬小满身材。

  05月05日,怎样算是良好睡眠？如何提高睡眠质量？中医专家详解,

　　回顾一年来的工作，值得肯定的成绩主要有：

,FreeHD18❌❌❌3D漫画,欧美模特自慰,关晓彤一级大黄毛片。