在自然语言处理领域，Tokenizer的设计对语言模型的性能有着深远影响，但如何评估Tokenizer的质量一直是个难题。传统上，文本压缩率被用作衡量Tokenizer质量的内在指标，然而最新研究对这一方法的可靠性提出了质疑。
本研究探讨了一个关键问题：在小规模模型（3.5亿参数）上评估Tokenizer，能否可靠预测其在更大规模模型（27亿参数）上的影响？通过对广泛采用的语言模型中已建立的Tokenizer进行实验，研究人员发现了一些有趣的现象。
在英语任务中，Tokenizer的选择对模型性能影响较小；但在机器翻译任务中，Tokenizer的选择会产生显著且规模一致性的性能差异。这一发现表明，Tokenizer评估需要考虑特定任务和模型规模的因素。
基于这些发现，研究团队提出了新的内在评估指标，这些指标与下游任务性能的相关性比文本压缩率更强。研究人员将这些指标整合成一个评估框架，使得Tokenizer的内在比较更加可靠。
这项研究的意义在于：首先，它挑战了传统Tokenizer评估方法的有效性；其次，它揭示了Tokenizer影响在不同任务和模型规模上的差异性；最后，它提供了一个更全面的Tokenizer评估框架，为未来的Tokenizer设计和选择提供了科学依据。