SFT可以说是LLM的基本操作了,如果只是想把SFT跑起来是非常简单的,只需要构造inputids和labels,然后就可以把训练跑起来。然而,这样的训练效率实际上非常低。所以在训练时,通常有两个加速方法:多轮合并packing无论是哪种方法,加速后都需要保证loss和原来是等价的。本文主要介绍这两种加速方法,以及loss计算时遇到的问题。1.多轮合并假设我们有一个对话,其中user和bot交互了3轮,我们可以构建三个样本:inputids就是对...
2024-12-11 10:48:39 449浏览 0点赞 0回复 0收藏