🎯 情报来源：Artificial Intelligence
亚马逊云科技近日宣布对SageMaker Python SDK进行重大功能升级，新增多模型推理工作流编排能力。该功能允许开发者在单一端点部署多个AI模型，并通过Python代码定义模型间的协同逻辑，显著简化复杂AI应用的部署流程。目前Amazon Search已率先采用该技术优化商品搜索排名系统，处理每日数十亿次查询请求。
据披露，新功能支持在单个ml.g5.24xlarge实例上同时部署Meta Llama 3.1 8B和Mistral 7B等大语言模型，并通过自定义编排器实现模型级联调用。测试显示，该方案可减少30%的端点管理开销，同时支持工作流组件独立扩展。
💡 核心要点
- 多模型统一部署：支持在单个SageMaker端点部署多个模型组件，减少管理成本
- Python原生工作流定义：通过CustomOrchestrator类实现自定义推理逻辑，支持同步/流式调用
- Amazon Search应用实例：已在商品搜索排名系统投入应用，处理数十亿级查询请求
- 硬件资源配置：标准测试采用2个ml.g5.24xlarge实例，支持多模态工作流
- 开发效率提升：开发环境部署速度提升40%，支持快速迭代工作流配置
📌 情报分析
技术价值：高 – 解决多模型协同推理的技术痛点，提供从开发到部署的全流程Python SDK支持（基于ml.g5.24xlarge实例测试数据）
商业价值：极高 – Amazon Search实际应用证明可提升搜索相关性，预计将拓展至零售、客服等领域（引用Vaclav Petricek对搜索算法优化的评价）
趋势预测：高 – 复合式AI系统需求激增，2024年多模型工作流部署将成企业AI基础设施标配（根据Amazon Search的规模化采用计划推断）