猫眼电影记者 皮兴胜 报道w3u7903ejky2ywls

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

既能提升模型能力，又不显著增加内存和时间成本，LLM第三种Scaling Law被提出了。

对于1.6B模型，能实现性能接近4.4B模型，内存占用仅为后者的1/22，延迟增加量为1/6。

并且可直接应用于现有模型（如Qwen-2.5），无需从头训练。

这就是阿里通义团队提出的PARSCALE。

目前LLMs的优化主要有两种思路：参数扩展（如GPT-4）和推理时间扩展（如DeepSeek-R1），但会增加内存和时间成本。

阿里通义团队提出的新范式受CFG（无分类器引导）双路径推理机制的启发。

他们将CFG的并行思想从 “生成阶段的推理优化” 扩展为 “训练和推理全流程的「计算缩放」”。

让我们来扒一扒技术细节。

将CFG的并行思想扩展到计算缩放PARSCALE对于CFG双路径的灵感迁移

CFG 通过同时运行有条件生成（输入提示词）和无条件生成（不输入提示词）两条路径，再通过加权平均融合结果，提升生成质量（如文本相关性、图像细节精准度）。

其核心在于利用并行计算（两次前向传播）增强模型决策的多样性和准确性，而无需增加模型参数。

研究人员观察到CFG的有效性可能源于计算量的增加（两次前向传播），而非单纯的条件引导。

由此提出假设：并行计算的规模（如路径数量）可能是提升模型能力的关键因素，而非仅依赖参数规模或推理时间的串行扩展（如生成更多token）。

CFG用2条并行路径提升性能，PARSCALE则将路径数量扩展为P条（如P=8），并通过可学习的输入变换和动态聚合，使并行计算成为一种可扩展的 “计算缩放” 范式。下图展示了PARSCALE方法。

PARSCALE改进的并行计算框架

1、输入层：可学习的多路径输入变换

核心改进是将CFG的固定双路径扩展为P条可学习的并行路径，每条路径通过可训练的前缀嵌入生成差异化输入。

前缀嵌入生成：为每个并行路径引入可训练的前缀向量（维度与输入嵌入一致），拼接在原始输入前，形成路径专属输入。KV缓存区分：在Transformer的注意力层中，不同路径的键（K）和值（V）缓存相互独立，确保各路径的计算互不打扰，增强输出多样性。

2、计算层：并行前向传播

并行执行：将P个差异化输入同时输入模型，利用GPU的并行计算能力，一次性完成P路前向传播，生成P个输出流。效率优势：通过批量矩阵运算实现P路并行，计算效率随P线性增长，共享模型主体参数，仅增加前缀嵌入等少量可训练参数。

3、输出层：动态加权聚合

通过多层感知机（MLP）动态计算各路径输出的聚合权重，替代 CFG 的固定权重机制：若某路径输出与当前输入语义匹配度高，MLP 会为其分配更高权重。

PARSCALE更高效

PARSCALE vs. 参数扩展

当P=8时，1.6B参数模型在HumanEval的性能（Pass@1=39.1%）接近4.4B参数模型（Pass@1=45.4%），但内存占用仅为后者的1/22，延迟增加量为1/6。

在GSM8K数学推理任务中，P=8使1.8B模型性能提升34%（相对基准），显著高于参数扩展的增益。

两阶段训练策略

阶段1：用传统方法预训练模型至收敛（1Ttokens）。

阶段2：冻结主体参数，仅训练前缀嵌入和聚合权重（20Btokens，占总数据的 2%）。

P=8模型在GSM8K上提升34%，且与从头训练效果相当，证明少量数据即可激活并行路径的有效性。且该策略使训练成本降低约 98%

适配现有模型

研究团队在Qwen-2.5-3B模型上进行持续预训练和参数高效微调（PEFT），仅调整前缀和聚合权重。

结果显示，在代码生成任务（HumanEval+）中PEFT 方法使Pass@1提升15%，且冻结主体参数时仍有效，证明动态调整 P 的可行性。

PARSCALE通过可学习的多路径输入、动态聚合权重、全流程并行优化，将CFG的 “双路径启发” 升级为一种通用的计算缩放范式。

感兴趣的朋友可到官方查看更多细节～

论文链接：https://arxiv.org/abs/2505.10475代码地址：https://github.com/QwenLM/ParScale参考链接：https://x.com/iScienceLuvr/status/1923262107845525660

— 完 —

  时事1：火影之乱婬大筒木辉夜

  06月05日,地铁安检“试喝一口”引发的官司,

　　“族长爷爷，它是什么啊？”小石昊问道。

,裸体爆乳羞羞❌网站视频。

  06月05日,江西九江“网红”夜市人气旺 夜间经济火热,

　　我发誓：我要从今天开始，珍惜每一天，做好每件事，从点滴做起，规范习惯，一心向学，脚踏实地，奋力拼搏，自强不息，决不做班级的耻辱，决不跌出年级432名，我自信，我能行，壮志凌云，誓创第一，誓争一流!我自信，踏平坎坷千条路;我自豪，跨越艰难万重山。身经百战无惧色，狭路相逢我最强，海阔无边天做岸，山登绝顶我为峰。"

,unity触摸18+手游下载,18禁♂自慰18cm甩啊甩,🌿我～慢点～好爽好大～男男。

  时事2：被主人打屁股调教 撅高

  06月05日,文化氤氲正当时,

　　这虽然是一个镇，但无论是石村还是狈村等，一年半载也不会有人来，百余里的山路被原始老林所阻，有猛禽、有毒虫、有凶兽，非常危险。

,секс高清видео出水,妲己被🈲️黄漫扒衣服,www.猎奇另类.com。

  06月05日,第十四届全国冬运会速度滑冰公开组收官 共决出14枚金牌,

　　一座神庙发光，宛若是以一块又一块金子筑成，沐浴在霞辉中，神圣无比，它位于雨族最深处，光雨飞洒。

,空钟离被空c到高潮,爽好大快深点视频网站合租,精品国产乱码久久久久久动漫。

  时事3：白丝梦莉裸乳被爆❌白浆

  06月05日,盲人门球在中国：光芒汇聚于此,

　　领导就是责任，时时处处要勤政当先，率先垂范。在工作中要突出一个“真”字，在作风上做到一个“实”字，要针对工作差距和薄弱环节，切实研究解决存在的突出问题，拿出强硬的措施和办法，统筹兼顾，重点突破，全面推进。尤其是工作进度慢、任务重、欠账大的村，村支部书记、村委会主任要亲自抓、全力抓，千方百计加快进度，集中力量抓好落实。一是靠实领导责任，要做好分工，进一步明确乡领导干部在分管工作、联系村和挂靠项目方面的责任，形成千金重担大家挑、人人肩上有压力的工作格局;二是要靠实村、单位责任。各村、各单位“一把手”要切实担负起抓落实的责任，对因部属不周、落实不力造成全局工作被动的，要坚决追究领导的责任。三是靠实目标责任，进一步完善目标管理责任体系。在目标的运行、考核和奖惩等各环节上，按照科学、合理、可操作的要求，做到深化、细化和优化，使之管有主体、查有目标、靠有标准、奖有依据，真正起到激励先进、督促后进、推动工作的目标。

,啊用力嗯轻一点苏新皓视频,胡列娜乖乖趴下撅起打屁股,女性向❌片在线观看silklabo。

  06月05日,中菲合作遣返近200名在菲从事离岸博彩中国公民,

　　银辉四射，小不点不再答言，双臂展动，划出一轮月亮，璀璨夺目，银辉流淌，宛若九天上的神月真实地降落。

,国产成年妇视频,美女露私㊙️部位裙底,男男Gay做受XXXⅩ106。

  时事4：爱爱动态图后入式120秒试看

  06月05日,访“深港历史文化之根”南头古城,

　　我们必须本着对历史负责、对群众负责的态度，把加快城市化进程作为现代化建设的战略措施，紧紧围绕到20xx年全市城市化水平达到45%的总目标和优化城镇布局，重点发展临沂城，加快发展各县城，积极发展小城镇的总体思路，解放思想，更新观念，创新机制，坚持高起点规划、高标准建设、高效能管理、高水平经营，尽快形成以快捷的交通、良好的环境、方便的服务、鲜明的特色为重点，以临沂城为中心，以交通干线为纽带的城镇网络体系。

,女性隐私免费观看视频的软件,女同被❌到爆爽,青少年内谢汇编。

  06月05日,江苏省侨办恭贺2024新春,

　　“小弟弟，你该不会也是这样一个天纵奇才吧，一个人横穿十几万里大荒，未曾用大人守护。”漂亮而灵动的女子笑道，拢了拢乌黑的秀发，露出如精灵般洁白晶莹的耳朵，刹那的风情，出尘动人。

,阿离被爆❌吸乳羞羞自慰,二个老头躁我一个HD,车上被粗大的内捧猛烈进出女视频。