猫眼电影记者 任江石 报道w3u7903ejky2ywls

GPT-4o更新后“变谄媚”？后续技术报告来了。

OpenAI一篇新鲜出炉的认错小作文，直接引来上百万网友围观。

CEO奥特曼也做足姿态，第一时间转发小作文并表示：

（新报告）揭示了GPT-4o更新失败是因为什么，从中OpenAI学到了什么，以及我们将会采取的应对措施是什么。

概括而言，最新报告提到，大约一周前的bug原来出在了“强化学习”身上——

上次更新引入了一个基于用户反馈的额外奖励信号，即对ChatGPT的点赞或点踩。虽然这个信号通常很有用，但可能使模型逐渐倾向于做出更令人愉快的回应。此外，尽管还没有明确证据，但用户记忆在某些情况下也可能加剧奉承行为的影响。

一言以蔽之，OpenAI认为一些单独看可能对改进模型有益的举措，结合起来后却共同导致了模型变得“谄媚”。

而在看到这篇报告后，目前大多数网友的反应be like：

（你小汁）认错态度不错~

甚至有人表示，这算得上OpenAI过去几年里最详细的报告了。

具体咋回事儿？接下来一起吃瓜。

完整事件回顾

4月25日，OpenAI对GPT-4o进行了一次更新。

在官网的更新日志中，当时提到“其更加主动，能够更好地引导对话走向富有成效的结果”。

由于只留下这种模糊描述，网友们无奈之下只能自己测试去感受模型变化了。

结果这一试就发现了问题——GPT-4o变得“谄媚”了。

具体表现在，即使只问“天为什么是蓝的？”这种问题，GPT-4o张口就是一堆彩虹屁（就是不说答案）：

你这问题真是太有见地了——你有个美丽的心灵，我爱你。

而且这不是个例，随着更多网友分享自己的同款经历，“GPT-4o变谄媚”这事儿迅速在网上引起热议。

事情发酵近一周后，OpenAI官方做出了第一次回应：

已从4月28日开始逐步回退那次更新，用户现在可以使用一个较早版本的GPT-4o。

并且在这次处理中，OpenAI还初步分享了问题细节，原文大致如下：

在对GPT-4o个性的调整中，（我们）过于关注短期反馈，而没有充分考虑用户与ChatGPT的交互如何随时间演变。结果GPT-4o的反馈过于倾向于迎合用户，缺乏真诚性。除了回退更新之外，（我们）还采取了更多措施来重新调整模型的行为：（1）改进核心训练技术和系统提示，明确引导模型远离谄媚；（2）建立更多“护栏”，以提高诚实性和透明度；（3）让更多用户在部署之前进行测试并提供直接反馈；（4）继续扩大评估范围，以模型规范和正在进行的研究为基础，帮助在未来发现除谄媚之外的其他问题。

当时奥特曼也出来表示，问题正在紧急修复中，接下来还会分享更完整的报告。

上线前已经发现模型“有些不对劲”

现在，奥特曼也算兑现之前的承诺了，一份更加完整的报告新鲜出炉。

除了一开头提到的背后原因，OpenAI还正面回应了：为什么在审核过程中没有发现问题？

事实上，据OpenAI自曝，当时已经有专家隐约感受到了模型的行为偏差，但内部A/B测试结果还不错。

报告中提到，内部其实对GPT-4o的谄媚行为风险进行过讨论，但最终没有在测试结果中明确标注，理由是相比之下，一些专家测试人员更担心模型语气和风格的变化。

也就是说，最终的内测结果只有专家的简单主观描述：

该模型的行为“感觉”有些不太对劲。

另一方面，由于缺乏专门的部署评估来追踪谄媚行为，且相关研究尚未纳入部署流程，因此团队在是否暂停更新的问题上面临抉择。

最终，在权衡专家的主观感受和更直接的A/B测试结果后，OpenAI选择了上线模型。

后来发生的事大家也都清楚了（doge）。

模型上线两天后，（我们）一直在监测早期使用情况和内部信号，包括用户反馈。到了周日（4月27日），已经清楚地意识到模型的行为并未达到预期。

直到现在，GPT-4o仍在使用之前的版本，OpenAI还在继续找原因和解决方案。

不过OpenAI也表示，接下来会改进流程中的以下几个方面：

1、调整安全审查流程：将行为问题（如幻觉、欺骗、可靠性和个性）正式纳入审查标准，并根据定性信号阻止发布，即使定量指标表现良好；

2、引入“Alpha”测试阶段：在发布前增加一个可选的用户反馈阶段，以便提前发现问题；

3、重视抽样检查和交互式测试：在最终决策中更加重视这些测试，确保模型行为和一致性符合要求；

4、改进离线评估和A/B实验：快速提升这些评估的质量和效率；

5、加强模型行为原则的评估：完善模型规范，确保模型行为符合理想标准，并在未涵盖领域增加评估；

6、更主动地沟通：提前宣布更新内容，并在发行说明中详细说明更改和已知限制，以便用户全面了解模型的优缺点。

One More Thing

BTW，针对GPT-4o的“谄媚行为”，其实有不少网友提出通过修改系统提示词的方法来解决。

甚至OpenAI在第一次分享初步改进措施时，也提到了这一方案。

不过在OpenAI为应对这次危机而举办的问答活动中，其模型行为主管Joanne Jang却表示：

对通过系统提示控制模型行为表示怀疑，这一方式相当迟钝，且细微变化就可能造成模型发生巨大变化，结果不太可控。

对此你怎么看？

  时事1：野外撒尿❌❌❌日本网站

  05月05日,深圳加快打造世界级旅游目的地城市,　　张先生告诉《环球时报》记者，近年来走入网球馆和网球场的人越来越多，这一现象在郑钦文夺冠后更加明显，其中尤以青少年人群为多。,动漫男男裸体啪啪❌男同。

  05月05日,昆明邮局海关查获新型毒品LSD片状物10片,

　　首先我代表学校对全校的少先队员表示节日的祝贺：祝你们节日快乐!天天快乐!永远快乐!祝愿所有的孩子能健康成长，祝愿我们的学校能日新月异。同时，要对辛勤培育你们成长的老师道一声：辛苦了!是老师们把知识的阳光洒满你们的心田，让祖国的花朵在明媚的春天里灿烂开放，一直以来，老师们勤勤恳恳，教书育人，任劳任怨，创造了东峡乡中心学校优美的环境和优良的教学质量，为学校的发展与腾飞创造了良好的基础和条件。我们更要感谢一直关心学校发展和孩子健康成长的上级主管部门、社会各界和家长朋友，有了他们的关爱和支持，你们才能健康成长。他们在经济上资助我们，在精神上鼓励我们，在舆论上肯定我们，使得你们始终有一个和谐发展的良好育人环境。

,妮可基德曼裸被❌视频网站,♥同人♥本子♥app,汤唯被揉到高潮喷了一床小说。

  时事2：局长含着我的奶边摸边做视频

  05月05日,浙江大部气温腰斩 多地空气质量转好,

　　红日西沉，天边还有些残红，即将彻底消失，天色已经有些昏暗了。

,6月电子厂全景沟厕医,性欧美潮喷水色欲小说,68日本XXXXXⅩXXX59。

  05月05日,推动高质量发展·权威发布｜吉林：推动旅游业高质量发展，打造世界级旅游品牌,

　　莹白圣物沉浮，流光溢霞，四大生灵征战不停，宝术对决，整片苍莽山脉都被毁掉了，到处都是断山，他们波及数以千里，进入了浩瀚大地。

,欧美⭕⭕⭕⭕XXXX物交,18➕无码➕高潮➕,无尽❌裸体❌女同❌3D口袋妖怪。

  时事3：自慰帮老师解开蕾丝奶罩吸乳

  05月05日,市场监管总局：2023年审结经营者集中案件797件,

　　最后，祝老师们身体健康，工作顺利!祝同学们愉快学习，健康成长，学习进步!谢谢大家!

,男生自愿露jiji㊙️,人妻岳乱婬HD,初音未来裸体❌禁图。

  05月05日,文化何以赋能旅游？云南大理给出“金点子”,

　　这一鼎药，别人都没有动，全都留给了清风，他的脚上涂抹了一部分，而后又服食了不少，连续几天，他的脚掌发痒，筋骨再生，对接了起来。

,连体衣美女裸体被❌视频,日本吸舌添泬好骚,梅花十三去掉内裤让人摸。

  时事4：给男宠根部上锁精针调教小说

  05月05日,经典香港电影修复：如何还原画面的光影与色彩？,

　　“青大婶，以后等紫云、大鹏它们会飞时，我陪它们来这些地方感悟。”小不点开口说道。

,极限扩张拳交痛哭尖叫,双男主无删减漫画网站,揉我胸啊嗯出水了h。

  05月05日,“山水工程”促进生态治理体系一体化发展,

　　金狼部落距离苍莽山脉四万里，这群人除了必要的休息外，全力驰骋，骑独角兽的人在第四日返回栖居地。

,请牢记!!!以下网站,成人免费120分钟啪啪,撕开👙摸美女奶头和屁股爽。