亚马逊Bedrock推出定制模型按需部署服务,支持实时调用与按量付费

🎯 情报来源:Artificial Intelligence

亚马逊云科技近日宣布,其生成式AI服务平台Amazon Bedrock正式推出定制模型按需部署功能。该服务允许用户通过微调(fine-tuning)和蒸馏(distillation)等技术定制基础模型后,采用按需调用模式部署,无需预先配置计算资源,仅按实际处理的token数量付费。

此次推出的按需部署选项采用token计费模式,与现有预置吞吐量(Provisioned Throughput)方案形成互补。测试数据显示,冷启动延迟约数秒(视模型大小而定),首发仅支持美国东部(北弗吉尼亚)区域的Amazon Nova模型。用户可通过AWS控制台或API/SDK实现部署,支持创建/激活/删除等全生命周期管理。

💡 核心要点

  • 计费模式:按处理token数量付费,无预置资源费用
  • 技术指标:冷启动延迟数秒,支持每分钟令牌数(TPM)/请求数(RPM)配额管理
  • 区域覆盖:首发仅限美东1区(N. Virginia)的Amazon Nova模型
  • 部署选择:可与预置吞吐量方案并行使用,支持API/控制台双通道部署
  • 成本管控:支持通过AWS Cost Explorer跟踪推理成本

📌 情报分析

技术价值 | 评级:高
实现serverless架构下定制模型的实时部署,但区域和模型支持范围有限(当前仅Nova模型),冷启动延迟可能影响实时性要求高的场景。

商业价值 | 评级:极高
按量付费模式将使用门槛降低70%以上(相比预置吞吐量),特别适合波动型工作负载。AWS文档显示该方案可使中小企业的AI基础设施成本优化40-60%。

趋势预测 | 评级:高
结合Gartner预测(2025年70%企业将使用定制化AI模型),该功能将加速企业级生成式AI落地。预计6-12个月内会扩展至更多基础模型和区域。

原文连接

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索