🎯 情报来源：机器之心
近日，香港中文大学、北京大学及上海人工智能实验室联合发布了一项关于强化学习（RL）在自回归图像生成领域应用的研究。该研究首次全面比较了直接偏好优化（DPO）和组相对策略优化（GRPO）两种算法在域内和域外任务中的表现，并深入探讨了奖励模型选择和扩展策略对性能的影响。
研究以最新的Janus-Pro模型为基线，在T2I-CompBench和GenEval数据集上进行了细致评估，发现DPO在域内任务中平均性能比GRPO高出11.53%，而GRPO在域外泛化能力上表现更优，峰值提升达2.42%。
核心要点：
- DPO在域内任务（如T2I-CompBench）中表现优异，平均性能高出GRPO约11.53%，峰值提升高达7.8%。
- GRPO在域外泛化能力更强，在GenEval数据集上表现优于DPO，尤其是在使用HPS奖励模型时。
- 奖励模型的选择对DPO的泛化性能影响显著，其性能方差（0.9547）高于GRPO（0.5486），表明DPO对奖励模型更敏感。
- 不同扩展策略对两种算法效果各异，例如GRPO通过增加采样图像数量可高效提升域内性能，而DPO更适合通过扩展训练数据多样性优化整体表现。
📌 情报分析
技术价值：高
研究揭示了DPO和GRPO在自回归图像生成中的独特优势和挑战，特别是在域内任务和域外泛化上的差异性表现，为后续算法优化提供了明确方向。
商业价值：高
高质量图像生成在广告设计、影视制作等领域具有广泛应用，该研究提出的扩展策略和奖励模型优化建议有助于降低计算成本并提高生成质量，具备较高商业化潜力。
趋势预测：
未来3-6个月内，随着更多研究者基于此工作展开探索，预计将在奖励模型设计和扩展策略优化方面取得突破，进一步推动强化学习在图像生成领域的落地应用。