codebook从崩溃到高效利用!南大&清华&腾讯联合打造IBQ:自回归生成最强视觉分词器
论文链接:https:arxiv.orgpdf2412.02692github链接:https:github.comTencentARCSEEDVoken亮点直击提出了一种简单而有效的向量量化方法,称为索引反向传播量化(IndexBackpropagationQuantization,IBQ),用于训练可扩展的视觉分词器。通过增加码本大小、编码维度和模型规模来研究IBQ的扩展特性。IBQ首次训练了一个超大码本(),具有大维度(256)和高使用率,实现了最先进的重建性能。展示了一系列从300M到2.1B的基础自回归...