🎯 情报来源：Apple Machine Learning Research
研究人员提出了一种名为BETR（benchmark-targeted ranking）的新型预训练数据选择方法，通过将预训练文档与基准评估样本进行显式对齐，显著提升模型效能。该方法在10¹⁹至10²² FLOPs范围内训练了超过500个模型进行验证，结果显示相较于DCLM-Baseline实现了2.1倍计算乘数提升（相比未过滤数据提升4.7倍），并在所有规模的10项任务中有9项取得性能改进。
BETR采用三重机制：将基准样本与预训练文档嵌入共享空间、基于相似度评分、训练轻量级分类器进行全量预测。值得注意的是，即使针对与评估集无关的多样化基准集，该方法仍能保持或超越基线性能。缩放分析还揭示了一个关键规律：模型规模越大，所需数据过滤强度越低。
💡 核心要点
- 2.1倍效率提升：相比DCLM-Baseline的计算乘数改善
- 9/10任务改进：跨所有模型规模实现广泛性能提升
- 10¹⁹-10²² FLOPs验证：基于500+模型的规模化实验验证
- 4.7倍基准提升：相比未过滤数据的计算效率跃升
- 规模敏感规律：大模型需要更温和的数据过滤策略
📌 情报分析
技术价值：高
通过显式的基准对齐机制打破传统隐式优化模式，相似度评分+轻量分类器的架构具备工程落地性。500+模型的验证规模确保结论可靠性。
商业价值：极高
2.1倍计算效率提升直接降低训练成本，特别对10²²FLOPs级大模型意义重大。多任务性能提升验证了方法的通用性。
趋势预测：高
“规模-过滤强度”反比关系的发现将影响未来数据策略设计，基准导向型数据清洗可能成为行业新标准。