中文大模型基准测评2025年3月报告

1. 关键进展与趋势：自ChatGPT发布，AI大模型历经多阶段发展，国内外均取得突破。海外呈现“一超多强”格局，国内多模态领域部分领先，通用模型持续升级，开源生态繁荣。目前，国内外第一梯队大模型在中文领域通用能力差距缩小，如随着DeepSeek - R1发布，差距从15.05%缩至7.46%。

2. 测评体系介绍：SuperCLUE是CLUE基准的进阶，具有“Live”更新、测评方式贴近用户、独立第三方等特征。其综合测评体系涵盖多领域基准，本次通用能力测评由数学推理、科学推理等六大维度构成，采用多种评价方式 。

3. 总体测评结果与分析

综合排名：o3 - mini(high)在总榜和推理任务总榜居首，国产模型表现突出，DeepSeek - R1等在关键能力维度与国际领先模型相当，部分超越。如QwQ - 32B在数学推理任务中超越众多海外模型 。

模型象限：依推理和应用能力划分四个象限，o3 - mini(high)等处于卓越领导者象限，众多模型找到各自定位。

推理与基础模型榜：推理模型总榜中，QwQ - 32B和DeepSeek - R1表现优异但与o3 - mini(high)有差距，国内头部推理模型较海外略领先；基础模型总榜里，国内头部基础模型表现好，与海外头部基础模型差距小 。

性价比与效能分析：国产推理和基础模型在性价比上优势明显。但在综合效能方面，海外推理模型领先，国内推理模型多处于中低效能区间，基础模型整体有提升空间。

成熟度与一致性验证：国内大模型在文本理解与创作上成熟度高，智能体Agent成熟度低。SuperCLUE测评成绩与Chatbot Arena及人工评估高度一致，验证了测评可靠性。

开源与小模型榜单：中文场景下国内开源模型优势大，DeepSeek系列和Qwen系列表现出色。10B级别小模型中，DeepSeek - R1 - Distill - Qwen - 7B领先；端侧5B级别小模型里，Qwen2.5 - 3B - Instruct表现惊艳 。

4. DeepSeek系列模型深度分析

模型对比：DeepSeek - R1在各项任务中领先同系列蒸馏模型，蒸馏模型在低能耗下推理实用性高。

与头部模型对比：DeepSeek - R1综合能力接近海外头部模型，数学推理和代码生成出色，但科学推理有待优化 。

第三方平台测试：联网搜索能力方面，各平台整体表现差异大，腾讯元宝领先，基础检索能力优但分析推理能力弱；稳定性测试中，不同平台、版本在回复率、准确率和推理耗时上表现不同，国外付费平台和国内付费版表现较好 。