腾讯混元开源Hunyuan-A13B混合推理模型:13B激活参数,256K上下文窗口,日均请求1.3亿

🎯 情报来源:量子位

腾讯混元于6月27日宣布开源首个混合推理MoE模型Hunyuan-A13B,总参数80B,激活参数仅13B。该模型在推理速度、性价比方面表现优异,支持256K原生上下文窗口,日均请求超1.3亿次。模型已上线Github、Huggingface及腾讯云API。

核心要点:

  • 总参数80B,激活参数仅13B,推理速度比肩同等架构领先开源模型
  • 支持256K原生上下文窗口,在长文理解任务中表现突出
  • 日均请求超1.3亿次,腾讯内部400+业务使用
  • 只需1张中低端GPU卡即可部署,吞吐量是前沿开源模型的2倍以上
  • 开源两个新数据集:ArtifactsBench(1825个任务)和C3-Bench(1024条测试数据)

📌 情报分析

技术价值:极高

13B激活参数实现80B总参数模型效果,256K上下文窗口和双思考模式设计具有创新性;开源两个专业数据集填补行业空白。

商业价值:高

已在腾讯内部400+业务中应用,日均请求1.3亿次;低部署门槛(1张中低端GPU)和2倍吞吐量优势显著降低使用成本。

趋势预测:

3-6个月内可能推出更多尺寸模型(0.5B-32B),推动混合推理架构成为行业标准;腾讯混元全模态开源战略将加速生态建设。

原文连接

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索