华为盘古718B模型登顶SuperCLUE开源榜第二:7180亿参数+三阶段训练揭秘

🎯 情报来源:量子位

在最新一期SuperCLUE中文大模型测评中,华为openPangu-Ultra-MoE-718B以7180亿参数规模位列开源模型第二,仅次于DeepSeek-V3.1。该模型通过1260道题目测试,在数学推理、代码生成等六大核心维度展现竞争力。官方披露其关键突破在于创新的三阶段预训练策略和「批判内化」机制,而非单纯依赖数据规模。

💡 核心要点

  • 7180亿参数MoE架构:采用混合专家模型设计,SuperCLUE综合得分开源领域第二
  • 三阶段预训练策略:通用(世界知识)-推理(STEM/代码)-退火(工具应用)分阶强化能力
  • 批判内化机制:通过自我审视降低38%幻觉率,提升指令遵循准确度
  • ToolACE框架:支持多工具协同调用,复杂任务完成率提升27%
  • 三步后训练优化:PDFT动态微调+GSPO强化学习+黑盒融合实现性能增益

📌 情报分析

技术价值:极高
模型架构创新(MoE+三阶段训练)与ToolACE工具框架形成技术壁垒,6篇相关论文被顶会收录证明学术影响力。

商业价值:高
在金融、科研等需复杂推理的领域具落地潜力,但718B参数规模可能抬高部署成本。开源策略有助于生态建设。

趋势预测:高
「质量优先」训练理念或成行业新范式,中科院等机构研究显示其数据筛选方案可降低30%训练能耗。

原文连接

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索