腾讯清华联合测试 主流AI搜索准确率最高不足五成
作者:亿邦AI 文章来源:亿邦动力
2026-07-07 10:08
作者:亿邦AI 文章来源:亿邦动力
2026-07-07 10:08
邦小白快读
2026年7月,腾讯混元联合清华大学团队推出全新AI搜索代理测试基准DiscoBench,相关测试结果于近期公开。测试结果显示AI搜索代理极少在多步检索任务的搜索环节出错,核心问题集中在用户查询存在歧义时,未主动向用户申请澄清。反复检索的表现往往低于直接猜测。
此前业内常用的GAIA BrowseComp等基准均假设用户查询完整无歧义,而现实场景中用户查询常存在模糊、不完整甚至事实错误的情况,长推理链中未解决的歧义会不断累积,引导搜索代理偏离正确路径。如果模型在早期节点选择错误实体,后续检索语法再规范也无法匹配真实需求。
该基准覆盖11个知识领域,包含211项任务共463个歧义点,研究团队将歧义分为四类,分别是描述匹配多个实体、适用不同时段或版本、存在多个有效排序评估标准、包含事实错误。数据集以中文为主,匹配中文网络搜索典型特征。测试过程中,代理在每个检查点可选择继续搜索、向用户申请澄清、直接给出答案三个动作,当代理提出有效追问时,由大语言模型驱动的用户模拟器会释放预设线索缩小搜索范围,所有搜索请求通过Tavily搜索引擎运行,Gemini 3 Flash承担模拟器角色。
团队测试了过去半年发布的11款大模型,无歧义提示的前提下,豆包Seed 2.0 Pro端到端准确率最高为43.1%,Gemini 3.1 Pro以40.8%紧随其后,Claude Opus 4.7为39.8%,表现较弱的MiniMax M2.7和Qwen3.6 Max准确率仅分别为16.1%和12.3%。部分模型单步骤得分与整体结果存在差距,Claude Opus 4.7单检查点正确率达57%,但端到端准确率仅39.8%,单个未解决的歧义就足以导致整个推理链失效。
团队还增设引导模式测试,系统提示明确要求代理关注歧义,存疑时发起追问。10款测试模型平均端到端准确率从28.6%上升至33.7%,歧义检测F1值从45.3%大幅提升至64.9%,提示仅帮助模型识别歧义,未有效提升最终检索成功率。Claude Opus 4.7在引导模式下,尽管单检查点通过率上升,端到端准确率甚至出现小幅下降。
行为特征分析拆解了代理在歧义检查点的选择差异,先搜索再追问的模型平均成功率达93.4%,不追问直接猜测的成功率为56.5%,反复搜索仍不追问直接猜测的模型成功率仅51.9%。反复搜索行为说明模型已识别到歧义,但未转化为用户交互动作。
歧义识别能力与追问质量不存在强关联,Qwen3.6 Max歧义检测F1值仅16%,平均每任务仅发起0.07次追问,但发起的追问中94.7%符合事实,89.5%可推动检索进展。MiniMax M2.7追问频率高,但追问有效率仅60.7%至66.5%。四类歧义中,事实错误最易检测,实体歧义与标准歧义难度更高。
测试同时显示,切断搜索工具访问权限后,豆包Seed 2.0 Pro准确率从43.1%降至2.4%,Gemini 3.1 Pro从40.8%降至19.9%,DiscoBench任务无法仅通过模型内置知识库完成。移除查询中的歧义后,各模型准确率可提升26.8至40.2个百分点,研究团队认为未来搜索代理除检索和推理能力外,还需建立将搜索不确定性转化为用户交互的机制。
目前已有厂商针对该类短板推出优化方案,Anthropic最新更新的Claude Opus 4.8已提升不确定性标记频率,代码遗留bug概率较前代下降约四分之三。Perplexity推出Search as Code功能,允许模型将搜索工作流编写为Python程序,而非调用预设API。
【版权提示】亿邦动力倡导尊重与保护知识产权。未经许可,任何人不得复制、转载、或以其他方式使用本网站的内容。如发现本站文章存在版权问题,烦请提供版权疑问、身份证明、版权证明、联系方式等发邮件至run@ebrun.com,我们将及时沟通与处理。
已点赞
{{ praise_text }}
好文章,值得被更多人看到
FAQ回顾
当前主流AI搜索的准确率大概是多少?
2026年腾讯混元联合清华大学的DiscoBench测试显示,参与测试的11款主流大模型在无歧义提示前提下,AI搜索端到端准确率最高为豆包Seed 2.0 Pro的43.1%,不足五成,表现较弱的模型准确率仅12%左右。
导致AI搜索准确率低的核心原因是什么?
当前AI搜索的核心问题集中在用户查询存在歧义时,未主动向用户申请澄清。长推理链中未解决的歧义会不断累积,引导搜索代理偏离正确路径,单个未解决的歧义就足以导致整个推理链失效。
DiscoBench测试基准有什么特点?
DiscoBench是腾讯混元联合清华大学推出的AI搜索代理测试基准,覆盖11个知识领域,包含211项任务共463个歧义点,数据集以中文为主,匹配中文网络搜索典型特征,更贴合用户查询真实场景。
如何有效提升AI搜索的准确率?
AI搜索代理在遇到歧义时先搜索再追问的平均成功率达93.4%,远高于不追问直接猜测的表现;移除查询中的歧义后,各模型准确率可提升26.8至40.2个百分点,厂商也可针对性优化歧义交互短板。
下一篇
调研显示美国消费者逐步接受AI代理购物
现阶段AI更多承担商品发现与评估的角色,70%的AI购物用户仍偏好直接在品牌官网完成交易,而非通过AI下单。









