🎯 情报来源：量子位
李飞飞团队提出一种名为“嫁接”的新方法，通过直接修改预训练模型的关键组件来探索新架构设计，显著降低计算成本。该方法在DiT-XL/2和文生图模型PixArt-Σ上的实验表明，许多混合架构只需不到预训练阶段2%的算力即可实现接近原模型的性能。
核心要点：
- “嫁接”方法通过激活蒸馏和轻量级微调两阶段实现架构编辑，仅需8k样本完成初始化。
- 将PixArt-Σ中的MHA替换为Hyena-X后，生成速度提升1.43倍，质量下降不到2%。
- 并行化改造实验显示，将DiT-XL/2深度减半后生成质量优于同类深度模型。
📌 情报分析
技术价值：高
“嫁接”方法通过两阶段架构编辑法有效解决了新算子初始化和误差累积问题，在保持模型性能的同时大幅降低了计算需求（不到2%）。这一技术突破为资源受限的研究者提供了高效探索新架构的工具。
商业价值：高
该方法可显著减少企业对大规模计算资源的依赖，尤其适用于需要快速验证新想法的场景，如图像生成和视频处理领域。开源22种“嫁接”模型进一步扩大了其商业应用潜力。
趋势预测：
未来3-6个月内，“嫁接”方法可能被广泛应用于Transformer架构优化及轻量化研究，并推动更多基于预训练模型的创新架构设计。然而，由于目前实验仅限于DiT-XL/2模型，普适性仍需进一步验证。