猫眼电影记者 詹天佑 报道w3u7903ejky2ywls

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

既能提升模型能力，又不显著增加内存和时间成本，LLM第三种Scaling Law被提出了。

对于1.6B模型，能实现性能接近4.4B模型，内存占用仅为后者的1/22，延迟增加量为1/6。

并且可直接应用于现有模型（如Qwen-2.5），无需从头训练。

这就是阿里通义团队提出的PARSCALE。

目前LLMs的优化主要有两种思路：参数扩展（如GPT-4）和推理时间扩展（如DeepSeek-R1），但会增加内存和时间成本。

阿里通义团队提出的新范式受CFG（无分类器引导）双路径推理机制的启发。

他们将CFG的并行思想从 “生成阶段的推理优化” 扩展为 “训练和推理全流程的「计算缩放」”。

让我们来扒一扒技术细节。

将CFG的并行思想扩展到计算缩放PARSCALE对于CFG双路径的灵感迁移

CFG 通过同时运行有条件生成（输入提示词）和无条件生成（不输入提示词）两条路径，再通过加权平均融合结果，提升生成质量（如文本相关性、图像细节精准度）。

其核心在于利用并行计算（两次前向传播）增强模型决策的多样性和准确性，而无需增加模型参数。

研究人员观察到CFG的有效性可能源于计算量的增加（两次前向传播），而非单纯的条件引导。

由此提出假设：并行计算的规模（如路径数量）可能是提升模型能力的关键因素，而非仅依赖参数规模或推理时间的串行扩展（如生成更多token）。

CFG用2条并行路径提升性能，PARSCALE则将路径数量扩展为P条（如P=8），并通过可学习的输入变换和动态聚合，使并行计算成为一种可扩展的 “计算缩放” 范式。下图展示了PARSCALE方法。

PARSCALE改进的并行计算框架

1、输入层：可学习的多路径输入变换

核心改进是将CFG的固定双路径扩展为P条可学习的并行路径，每条路径通过可训练的前缀嵌入生成差异化输入。

前缀嵌入生成：为每个并行路径引入可训练的前缀向量（维度与输入嵌入一致），拼接在原始输入前，形成路径专属输入。KV缓存区分：在Transformer的注意力层中，不同路径的键（K）和值（V）缓存相互独立，确保各路径的计算互不打扰，增强输出多样性。

2、计算层：并行前向传播

并行执行：将P个差异化输入同时输入模型，利用GPU的并行计算能力，一次性完成P路前向传播，生成P个输出流。效率优势：通过批量矩阵运算实现P路并行，计算效率随P线性增长，共享模型主体参数，仅增加前缀嵌入等少量可训练参数。

3、输出层：动态加权聚合

通过多层感知机（MLP）动态计算各路径输出的聚合权重，替代 CFG 的固定权重机制：若某路径输出与当前输入语义匹配度高，MLP 会为其分配更高权重。

PARSCALE更高效

PARSCALE vs. 参数扩展

当P=8时，1.6B参数模型在HumanEval的性能（Pass@1=39.1%）接近4.4B参数模型（Pass@1=45.4%），但内存占用仅为后者的1/22，延迟增加量为1/6。

在GSM8K数学推理任务中，P=8使1.8B模型性能提升34%（相对基准），显著高于参数扩展的增益。

两阶段训练策略

阶段1：用传统方法预训练模型至收敛（1Ttokens）。

阶段2：冻结主体参数，仅训练前缀嵌入和聚合权重（20Btokens，占总数据的 2%）。

P=8模型在GSM8K上提升34%，且与从头训练效果相当，证明少量数据即可激活并行路径的有效性。且该策略使训练成本降低约 98%

适配现有模型

研究团队在Qwen-2.5-3B模型上进行持续预训练和参数高效微调（PEFT），仅调整前缀和聚合权重。

结果显示，在代码生成任务（HumanEval+）中PEFT 方法使Pass@1提升15%，且冻结主体参数时仍有效，证明动态调整 P 的可行性。

PARSCALE通过可学习的多路径输入、动态聚合权重、全流程并行优化，将CFG的 “双路径启发” 升级为一种通用的计算缩放范式。

感兴趣的朋友可到官方查看更多细节～

论文链接：https://arxiv.org/abs/2505.10475代码地址：https://github.com/QwenLM/ParScale参考链接：https://x.com/iScienceLuvr/status/1923262107845525660

— 完 —

  时事1：18➕电影

  06月04日,全国台联第三十届台胞青年冬令营海外营开营,

　　这不是错觉，而是真实的，小不点稍微一用力，五脏六腑间发出阵阵山洪决堤般的声音，声势惊人，且在散发宝辉，不断震颤，释放强大的气息。

第一百三十七章 大胜,久久国产精品99久久久久久。

  06月04日,宁夏回族自治区十三届人大二次会议开幕,

　　“你吃我？”金色巨鸟斜睨，瞳孔宛若金色的漩涡，极为恐怖，竟要将人的灵魂吞进去。

,美杜莎被到爽被爆视频,被捆绑在床调教玩弄什么感觉,纲手的秘密同人。

  时事2：亚洲AV㊙️尤物猫在线观看

  06月04日,黑龙江黑河：零下30℃！消防员入冰水进行冰域救援技术训练,

　　4、在教室里，不准私拉电线，不得擅自使用电器设备。

,91亚洲码,女明星裸乳被爆❌白浆的视,医生从奶罩摸进去了H。

  06月04日,广州公安举行开训动员大会,

　　六年一班：李思菡、聂一涵、周宇彤、杨智强、王楠。 六年二班：朱城弘、衣欣茹、王蕾、王焯、刘昊

,被主人各种玩具姿势C到爆漫画,柳智敏疯狂❌喷水自慰,t66y技术讨论区2024。

  时事3：女同学求我让我🌿她一下小说

  06月04日,雨雪天气，公众在户外活动时应注意什么？,

　　它能抗过去吗？那样柔嫩的一根枝条，晶莹剔透，怎么看都很柔弱，而雷电却那么的狂暴，黑色闪电交织，就是精铁也要劈成尘埃啊。

,男生露jiji秘免费网站,打屁股 和 鞭打 网站,海贼王女帝汉库克被海军汉化版。

  06月04日,2024年世界记者大会在首尔开幕 中国新闻代表团与会,

　　平等的社会往往可以塑造平等的人格，而只有平等的人格才会形成一个平等的社会。而这一切平等的追求，都是建立在修身之上的。我们不应再抱怨差距，要做的是相信自己，提高自己，超越自己，跨上更高的平等的台阶。让我们，从今天起，怀着尊重的态度看世界，秉着平等的心与人交往。我们的内心将处处万物生长，百花齐放，像司马光所说的：“平而后清，清而后明”的和谐大同，清明太平的盛世，也就真正的到来了。

,国产精品国产自产拍高清AV,八重神子拿萝卜奖励视频,少妇与子亂伦在线看。

  时事4：千仞雪3D同人18❌AV网站

  06月04日,绿色“一带一路”十周年创新理念与实践案例（二）,

　　今年7月11日，国务院决定，在全国建立农村最低生活保障制度。这是一件划时代的事件，充分体现了党和国家对农村贫困群众基本生活的极大关心，是继取消农业税后出台的又一重大惠农政策。不断推进和完善农村低保工作的健康发展，是践行“三个代表”重要思想的具体体现，是贯彻落实好科学发展观、构建社会主义和谐社会、建设社会主义新农村的需要，是解决“三农”问题的重要步骤和措施，同时，也是促进城乡统筹发展、维护社会稳定的重要保障，是顺民意、得民心的一项重要事业。我区的各乡镇、各有关部门要提高认识，从实践“三个代表”重要思想、落实科学发展观、构建社会主义和谐社会的高度，充分认识做好这项工作的重要意义，切实增强责任感和使命感，采取有力措施，把这项惠及贫困群众的好事抓紧抓实，让农民群众得到实实在在的利益，切身感受到党和政府的关怀和温暖。

,佐助被鸣人脱裤子撅起来调教,雷电将军爆乳18禁🔞网站,4399成人黄A片。

  06月04日,国台办评瑙鲁与台湾“断交”：对有关国家顺应大势作出正确抉择表示赞赏,

　　金色光幕破开，石昊的右手探了进去，几乎触到了那鲲鹏符骨，这让众人齐变色。

,阿蕾奇诺裸体被❌涩涩动漫,免费熊片胖熊自慰Gay,㊙️入口宅男导航。