猫眼电影
猫眼电影记者 穆加希德 报道w3u7903ejky2ywls
BrowseComp-ZH团队 投稿量子位 | 公众号 QbitAI
你以为大模型已经能轻松“上网冲浪”了？
新基准测试集BrowseComp-ZH直接打脸主流AI。
BrowseComp-ZH是一项由港科大（广州）、北大、浙大、阿里、字节跳动、NIO等机构联合发布的新基准测试集，让20多个中外主流大模型集体“挂科”：
GPT-4o在测试中准确率仅6.2%；多数国产/国际模型准确率跌破10%；即便是目前表现最好的OpenAI DeepResearch，也仅得42.9%
目前，BrowseComp-ZH的全部数据已开源发布。
研究团队直言：
为什么我们需要中文网页能力测试？
如今的大模型越来越擅长“用工具”：能连搜索引擎、能调用插件、能“看网页”。
但众多评估工具都只在英文语境下建立，对中文语境、中文搜索引擎、中文平台生态考虑甚少。
然而，中文互联网信息碎片化严重、搜索入口多样、语言表达复杂。
中文网页世界到底有多难？举几个例子你就明白了：
信息碎片化，分散在百度百科、微博、地方政府网站、视频号等多平台常见的语言结构中含有省略、典故、代指，关键词检索常常“跑偏”搜索引擎本身质量参差，信息“沉底”或“走丢”都是常事
因此，英文测试集“翻译一下”根本不够。
需要从中文语境原生设计，才能真正衡量大模型是否能在中文网页上“看得懂”、“搜得到”、“推得准”。
BrowseComp-ZH是怎么炼成的？
研究团队采用了“逆向设计法”：从一个明确、可验证的事实答案出发（如某个画种、机构、影视剧名），反向构造出多个约束条件的复杂问题，确保以下三点：
百度/Bing/Google三大搜索引擎首屏无法直接命中答案多个主流大模型在检索模式下也无法直接答对经过人工验证，问题结构清晰，且仅有唯一答案
最终，他们构建了289道高难度中文多跳检索题目，覆盖影视、艺术、医学、地理、历史、科技等11大领域
大模型集体“翻车”？DeepResearch勉强破四成，绝大多数连10%都不到
在BrowseComp-ZH的测试下，多款国内外主流大模型集体“翻车”：
尽管这些模型在对话理解、生成表达方面已展现强大实力，但在面对中文互联网的复杂检索任务时，准确率普遍低得惊人：
多数模型准确率低于10%，仅少数能突破20%OpenAI DeepResearch以42.9%位列第一，仍远未“及格”
研究者指出，这一结果说明：模型不仅需要会“查资料”，更要会“多跳推理”与“信息整合”，才能在中文互联网中真正找到答案。
四大发现，揭示中文网页任务的“模型死角”1. 仅靠记忆不行，得真本事
纯靠参数记忆（无搜索）的模型准确率往往低于10%，说明“硬背”不靠谱。
2. 有推理的模型，表现更好
DeepSeek-R1（23.2%）比DeepSeek-V3（8.7%）整整高出14.5%，Claude-3.7也比Claude-3.5提升了12.2%，推理能力成为关键变量。
3. 搜得多 ≠ 搜得准，多轮策略才是王道
具备多轮检索能力的AI搜索产品全面胜出：
DeepResearch：42.9%豆包Deep Search：26.0%Perplexity Research模式：22.6%
相比之下，只检索一次的模型（如Kimi、Yuanbao）准确率低至个位数。
4. 搜索功能“翻车”？接入反而变差
最典型的反例是DeepSeek-R1，开启搜索功能后准确率从23.2%断崖式跌至7.6%
研究指出，模型未能将网页检索信息与已有知识有效融合，反而被误导。
数据集开放！欢迎模型开发者挑战
BrowseComp-ZH的全部数据已开源发布。
研究者希望此基准测试能成为推动LLM在中文信息环境落地的试金石，助力构建真正“会用中文上网”的智能体。
下一步，他们计划扩充样本规模，拓展问答形式，并深入分析模型推理路径与失败案例。
论文地址：https://arxiv.org/abs/2504.19314代码地址：https://github.com/PALIN2018/BrowseComp-ZH
— 完 —
时事1：动漫美女❌爆奶水摇舌头
05月08日,国家统计局：2023年中国GDP超126万亿元 同比增长5.2%,
参加作协一个活动，没想到直到晚上也有事情，刚回来，更新晚了，抱歉，作揖，见谅。
,99精产国品一二三产区区别视频。05月08日,亚太快于欧美 国际航线加速复苏,
,穆桂英一夜七次高潮,欧美色❌❌❌12-18,房东玩弄我的两个奶头子。
时事2：tobu18馃憴馃憴91
05月08日,北京翰海2024秋拍预展近1500件艺术珍品,
招商信用卡逾期起诉流程是什么，多久会被起诉会坐牢吗
,色情乱婬老太婆A片视频下载,㓜交稀缺资源观看,火影忍者日向雏田装。05月08日,阿里云PolarDB斩获SIGMOD最佳论文，成功破解经典多主架构难题,
四、要清楚自己的身体健康状况，平时四肢就容易抽筋者不宜参加游泳。
,女性の粪脱粪浣肠サイト2,蛋仔ss挤牛奶冰抉,赵露思嗯灬啊灬把腿张开灬。时事3：丝瓜视频成人app❤免费
05月08日,美国总统国家安全事务助理沙利文将访华,
1、我们有优秀的毕业班教师群体
,总裁的妖精小秘H顾,艾莲到爽高潮痉挛,女人把脚扒开㊙️九色。05月08日,政务APP里能相亲，类似的“官方严选”可以再多些,
怎能甘心，怎能不怒，石子陵恨欲狂，听到这样的责备，他的眸子冷的骇人，小不点又有谁怜，怎不见他们这般关心？
,进撃の巨人h版,宝贝把腿开大让我添添你男男,国产做受❌❌❌高潮漫动。时事4：日本裸体全身㊙️无遮挡
05月08日,江西泰和小龙虾迎产销旺季 “稻虾连作”实现“种养互补”,
组合成一个班级，这就是历史，谁也无法改变的历史。历史唯物主义者的态度就应该是尊重事实，实事求是，创造辉煌。任何想游离于集体之外的想法都是不成熟的，也是不现实的。如果你真的无法融入这个集体，请你马上走开，留下的应该是热爱集体、维护集体的坚定的集体主义者，应该是具有强烈团体合作主义精神的人。
,揉⋯啊⋯嗯～出水了性瘾视频,变态撕开内衣👙吸屁股,里神楽贾海东。05月08日,两部门联合出台政策 推动中央企业创业投资基金高质量发展,
我们应该认真做眼保健操，多参加户外运动，多看看绿色。注意眼部卫生，不要用脏手摸眼睛保护眼睛。
,极品人妻婬玩弄人妻AV,PORNO93HD😍😍学生,张婉莹被弄高潮了几次。责编：方光华
审核：范爷
责编：黄宏炳
相关推荐
换一换