🎯 情报来源：机器之心
近日，CMU助理教授贾志豪团队发布了一款名为Mirage Persistent Kernel（MPK）的编译器，可自动将大语言模型（LLM）转化为优化的巨型内核，显著降低推理延迟。在单个A100-40GB GPU上，MPK将Qwen3-8B每个token的延迟从14.5毫秒降至12.5毫秒，逼近硬件理论下限。
核心要点：
- MPK将LLM推理延迟降低1.2至6.7倍，性能提升随GPU数量增加而增大。
- 通过消除内核启动开销和重叠计算与通信，实现低延迟和高吞吐量。
- 仅需几十行Python代码即可完成LLM编译，无需CUDA编程。
📌 情报分析
技术价值：极高
MPK通过细粒度任务图和事件驱动机制，解决了现有框架难以实现跨层流水线优化的问题，并将推理延迟逼近硬件极限，展示了强大的技术突破能力。
商业价值：高
该技术大幅降低LLM推理成本，提升多GPU部署效率，对云计算厂商和AI服务提供商具有重要吸引力，有望成为下一代LLM推理优化的标准工具。
趋势预测：
未来3-6个月，MPK可能扩展支持NVIDIA Blackwell等新型GPU架构，并引入动态任务图支持，进一步增强其适用性，同时吸引更多开发者参与开源贡献。