无问芯穹是全球领先的AI基础设施平台，通过创新的”M×N”中间层技术，实现多种大模型算法在多元异构芯片上的高效统一部署。作为全球首个千卡规模异构芯片混训平台，无问芯穹致力于降低大模型应用成本，提升算力利用效率，为大模型时代提供完整的软硬件协同优化解决方案。其核心亮点包括支持30+模型和10+种计算卡、算力成本可降低2-4个数量级、清华系豪华团队背景以及近10亿元投资支持。
一、工具概览与技术架构
无问芯穹（Infinigence AI，简称”无穹”）是一家成立于2023年5月的AI基础设施公司，依托行业领先且经过验证的AI计算优化能力与算力解决方案，追求大模型落地的极致能效。公司由清华大学电子工程系的精英和来自顶尖互联网/AI企业的专家组成，致力于打造”M 种模型”和”N 种芯片”间的”M×N”中间层产品，实现多种大模型算法在多元芯片上的高效、统一部署。
核心技术架构特点
异构算力统一调度：无问芯穹的核心创新在于构建了一个能够统一调度多种异构芯片的中间层系统。截止目前，Infini-AI已支持了Qwen2、GLM4、Llama3、Gemma、Yi、Baichuan2、ChatGLM3系列等共30多个模型，以及AMD、华为昇腾、壁仞、寒武纪、燧原、海光、天数智芯、沐曦、摩尔线程、NVIDIA等10余种计算卡。
千卡规模混合训练：2024年7月，无问芯穹发布了全球首个千卡规模异构芯片混训平台，千卡异构混合训练集群算力利用率最高达到了97.6%，支持包括AMD、华为昇腾、天数智芯、沐曦、摩尔线程、NVIDIA六种异构芯片在内的大模型混合训练。
软硬件联合优化：基于团队在清华大学积累的深厚技术底蕴，无问芯穹所研发的 Infini-ACC 大模型计算优化引擎通过对模型、系统以及硬件层面的系统优化，能够推动实现大模型推理速度提升 10 倍，模型存储空间降低 10 倍，部署时间降至小时级。
系统架构设计
Infini-AI云平台采用三层架构设计：
- 异构云管平台：提供算力资源的异构纳管、运维和监控能力
- 一站式AI平台（AIStudio）：以工具链形式提供便捷的算力使用接口
- 大模型服务平台（GenStudio）：提供模型即服务(MaaS)能力
二、核心功能深度解析
大模型服务平台（MaaS）
无问芯穹提供的大模型服务平台支持异构芯片推理，被称为国产”Replicate”，平台给注册用户免费提供大量Token（3B+/天）。该平台具备以下核心功能：
多模型支持：平台预置了包括Qwen系列、ChatGLM系列、Llama系列等30+主流开源大模型，用户可根据需求选择不同规模和特性的模型。
异构芯片推理：平台设计的OpenAPI调用规范中，请求显卡资源需要带上显卡Vendor信息，实际上我们还是能够从默认列表接口中获取所有的”显卡基础信息”。支持在不同品牌的AI芯片上运行相同的模型，实现真正的硬件中立性。
OpenAI兼容接口：平台想要兼容OpenAI，甚至连Token的前缀（sk-）都保持了一致，这样在一些开源软件中，是可以符合老版本OpenAI SDK或者兼容的SDK的验证规则的。
一站式AI开发平台
虚拟机服务：平台提供能够使用Docker的开发机，推测大概率使用了DinD来使用Docker。用户可以快速创建具有100GB共享内存的开发环境。
模型微调能力：大力降低微调门槛，更贴合落地需求，用户通过很低的成本和技术要求对预置大模型进行微调。
评测对比工具：提供多种大模型评测对比工具，可根据需求快速选择合适自己需求的模型，并将模型在不同的硬件环境上进行效果使用比较。
性能优化引擎
基于团队多年的学术研究积累，无问芯穹与清华大学和上海交通大学的联合团队所提出的FlashDecoding++方法，能将GPU推理提速2-4倍，还能同时支持NVIDIA和AMD的GPU。
三、用户体验与社区反馈
注册与使用流程
用户首先访问AI平台链接，使用手机号注册账号。目前没有实名认证，注册相对简单。注册后系统会自动创建API Key，用户可通过密钥管理页面获取。
实际使用体验
根据技术博主苏洋的详细试用报告：
虚拟机创建：因为是在凌晨进行测试，资源显然是充足的，所以当返回开发机列表页面后，稍等十几秒，一个100GB共享内存的，能够使用Docker的开发机就创建完毕。
模型调用体验：调用体感来看，基本是实时输出结果，虽然使用的模型比较小（0.5B的官方镜像），但是实时出整段结果还是蛮爽的。
API兼容性：平台的模型接口目前还有一个隐藏的调用方法，在控制台里，官方调用接口并没有发送包含Authorization: Bearer $API_KEY的请求头，而是使用了更简单的方法。
用户反馈汇总
正面反馈：
- 免费试用额度慷慨，日均3B+ Token使用量
- 支持多种国产AI芯片，解决生态兼容问题
- API接口设计友好，兼容OpenAI标准
- 模型推理速度快，实时响应体验好
待改进方面：
- 测试给的免费卡时比较少，估计想完成完整测试或许需要一些时间。
- 部分界面存在前端数据类型校验问题
- 企业版功能尚未完全开放
客户案例反馈
已有智谱AI、月之暗面、生数科技等大模型公司客户在Infini-AI上稳定使用异构算力，还有20余家AI Native应用创业公司在Infini-AI上持续调用各种预置模型API。
同道猎聘通过将其workflow、模型上传至平台进行托管，实现了工作流的一键上传、统一管理，相比市面上的其他方案，实现了更高的推理加速，也大幅降低了新功能上线的成本。
四、定价策略与性价比
免费试用政策
目前，平台给注册用户免费提供大量Token（3B+/天），还不用太担心计费问题。这一慷慨的免费额度为用户提供了充分的试用机会。
成本优势分析
根据无问芯穹CEO夏立雪的测算，经过优化后的算力成本，相比OpenAI可压缩2~3个数量级，未来则将会达到4个数量级。这意味着，假如一个应用方原本需要向OpenAI支付100元的token费用，经过优化，这个价格最终将会被压缩到约1分钱级别。
付费版规划
接口返回内容中还有一个public字段，推测”企业版”应该也在路上了。目前企业版具体定价尚未公开，但从免费版的慷慨程度来看，付费版的性价比值得期待。
与竞品价格对比
相比传统云厂商的AI平台服务，无问芯穹的核心优势在于：
- 异构算力的高效利用降低了硬件成本
- 软硬件联合优化提升了算力利用率
- “M×N”模式避免了单一芯片供应商的溢价
五、适用场景与目标人群
主要目标用户
大模型公司：智谱AI、月之暗面、生数科技等大模型公司客户在Infini-AI上稳定使用异构算力。这类用户需要大规模的训练和推理算力，对成本控制要求极高。
AI应用开发者：20余家AI Native应用创业公司在Infini-AI上持续调用各种预置模型API，使用无问芯穹提供的工具链开发自身业务模型。
算力提供方：传统IDC、智算中心等算力提供方可通过无问芯穹的解决方案提升算力利用率和竞争力。
最佳应用场景
大模型训练与微调：7月起，通过试训申请的用户，已可在Infini-AI上一键发起700亿参数规模的大模型训练。特别适合需要在多种芯片上进行大规模分布式训练的场景。
多模型推理服务：企业可以在同一平台上部署和调用多种不同的大模型，实现模型组合使用和A/B测试。
异构算力整合：无问芯穹依托软硬协同、多元异构技术优势，已基于多元芯片算力底座打造出Infini-AI异构云平台。该平台向下兼容多元异构算力芯片，可有效激活全国各地沉睡异构算力，现已运营的算力覆盖全国15座城市。
研发测试环境：在Infini-AI上部署AI应用的时候，就像在淘宝上购物时选择不同的尺寸、不同的颜色一样，可以把模型和芯片组合成一个套餐来使用。
不适合的情况
极小规模应用：对于月调用量很小的轻量级AI应用，使用传统的SaaS API服务可能更为经济。
对延迟极度敏感的实时应用：虽然平台性能优秀，但对于毫秒级延迟要求的场景，本地部署可能更合适。
完全依赖NVIDIA生态的项目：如果项目深度绑定NVIDIA CUDA生态且不考虑迁移，使用异构平台的必要性较低。
六、竞品对比与市场地位
主要竞争对手
华为云ModelArts：作为传统云厂商的AI平台，ModelArts在昇腾芯片上有深度优化，但在异构支持方面不如无问芯穹全面。
阿里云PAI：阿里云PAI Model Gallery支持云上一键部署DeepSeek-V3、DeepSeek-R1。在该平台上，用户可以零代码实现从训练到部署再到推理的全过程。但主要基于阿里云自有基础设施。
百度千帆ModelBuilder：百度的大模型开发平台在文心系列模型上有优势，但在开放生态方面存在局限。
核心差异化优势
技术维度：无问芯穹是全球首个可进行单任务千卡规模异构芯片混合训练的平台，具备万卡扩展性。这一技术突破在业界处于领先地位。
生态维度：无问芯穹提出的”M×N”中间层概念，在百花齐放的模型层和多元异构芯片层之间打造一个灵活兼容的中间层，实现”M种模型”和”N种芯片”间的高效、统一部署。
成本维度：夏立雪表示，今天说让大模型成本下降10000倍，就像30年前说让家家户户都通电一样。这一愿景体现了其在成本控制方面的雄心。
市场地位与发展趋势
投资认可度：成立仅16个月，无问芯穹已累计完成近10亿元融资。投资方包括社保基金中关村自主创新专项基金、启明创投、洪泰基金、联想创投、小米、软通高科等战略投资方，显示了资本市场对其技术路线的高度认可。
技术领先性：无问芯穹在本次发布会上展示了其在10种芯片上的性能优化数据，在每张卡上都显示已取得了目前行业内最优的性能优化效果。
行业影响力：自平台上线以来，已有Kimi、LiblibAI、猎聘、生数科技、智谱AI等多个大模型行业头部客户在Infini-AI异构云平台上稳定使用异构算力。
综合评价
核心优势
- 技术领先性：全球首个千卡规模异构芯片混训平台，技术实力业界领先
- 生态开放性：支持30+模型和10+种计算卡，真正实现了硬件中立和生态开放
- 成本优势明显：通过软硬件联合优化，成本相比传统方案可降低2-4个数量级
- 团队实力雄厚：清华系豪华团队，具备深厚的学术背景和产业经验
- 资本支持强劲：累计融资近10亿元，投资方阵容豪华，发展前景广阔
主要局限
- 平台相对较新：成立时间较短，部分功能和生态仍在完善中
- 技术门槛较高：异构计算的复杂性对用户的技术能力有一定要求
- 市场教育需要时间：M×N模式的理念需要更多时间被市场接受和理解
推荐指数：★★★★☆
无问芯穹作为AI基础设施领域的创新者，在技术实力、团队背景、资本支持等方面都具备显著优势。其”M×N”中间层的理念契合当前多模型、多芯片并存的行业格局，在解决算力供需矛盾、降低AI应用成本方面具有重要价值。尽管作为新兴平台仍需时间完善，但其技术领先性和发展潜力值得关注。特别推荐给需要大规模算力、追求成本优化的大模型公司和AI应用开发者。
