确保机器学习模型在未知环境中泛化的一种尝试是拆分数据。这可以通过多种方式实现，从3-way(训练、测试、评估)拆分到交叉验证的k拆分。其基本原理是，通过在数据子集上训练机器学习模型，并在未知数据上进行评估，可以更好地推理模型在训练中是否存在欠拟合或过拟合。
对于大多数工作来说，简单的3-way就足够了。在现实生产中，拆分方式往往需要更复杂的方法来确保泛化问题。这些拆分更加复杂，因为它们源自实际数据，而不是普通拆分方法所基于的数据结构。这篇文章试图讲解一些在机器学习开发中拆分数据的非常规方法，以及它们背后的原因。
让我们从数据集开始
为了简单起见，让我们使用以表格格式来表示简单多变量时间序列数据集。该数据由3个数字特征、1个分类特征和1个时间戳特征组成。下面是可视化的：
这种类型的数据集在机器学习的许多用例和行业中都很常见。一个具体的例子是从工厂车间里面多个传感器传输的时间流数据。分类变量将是机器的ID，数字特征将是传感器正在记录的信息(例如，压力、温度等)，时间戳将是数据传输和记录在数据库中的时间。
拆分
假设您从数据工程部门以csv文件的形式收到了这个数据集，并承担编写分类或回归模型的任务。在这种情况下，标签可以是任何特征或额外的列。要做的第一件事是将数据拆分成有意义的子集。
为方便起见，您可以简单拆分成训练集和测试集。马上问题来了，数据的简单拆分在这里是行不通的：数据是由多个按时间索引的传感器数据流组成的。那么，如何对数据进行拆分，从而保持顺序，并使后续机器学习模型具有很好的泛化性呢?
数据的另一种观点
我们可以做的最直接的转换是表示每个分类类的数据（在我们的运行示例中，可视化每台机器的数据）。这将产生以下结果：
水平拆分
分组使拆分的问题变得简单了一些，并且很大程度上取决于你的假设。您可能会问:针对一个组训练的机器学习模型如何泛化到其他组，也就是说，如果在class_1、class_2和class_3时间流上进行训练，该模型在class_4和class_5时间流上的会如何呢?以下是这种拆分的可视化图:
上面的这种拆分方式，我称之为水平拆分。在大多数机器学习库中，通过简单地按分类特征进行分组并沿着分类进行分区，可以轻松实现这种拆分。使用这种拆分进行训练，该模型就已经收集到了在未知分组中泛化的信息。
值得注意的是，拆分并没有把时间作为拆分本身的基础。不过，可以假设您还将按每个时间流的时间排序来拆分，以在数据中维护这种关系。这就引出了下一个拆分方式。
垂直拆分
但如果你想跨越时间本身呢?对于大多数时间序列建模，拆分数据的常用方法是past和future。也就是说，将训练集的历史数据与评估集的数据相比较。在这种情况下的假设是:机器学习模型如何训练每组的历史数据泛化到每组的未来数据?这个问题可以通过所谓的垂直拆分来回答:
这种拆分的成功训练将表明该模型能够在它已经看到的时间流中提取模式，并对未来的行为做出准确的预测。然而，这本身并不能表明该模型可以很好地泛化到来自不同组的其他时间流。
当然，您的多个时间流现在必须单独排序，所以我们仍然需要分组。但这次，我们不是跨组，而是从past每个组中抽取样本并将其放入train中，并将future组相应的放入eval 中。在这个理想化的例子中，所有时间流具有相同的长度，即每个时间流具有完全相同数量的数据点。但是，在现实世界中，情况可能并非如此——因此您需要一个系统来为每个组构建索引以进行拆分。
混合拆分
大家可能想知道，他们是否可以生成一个模型，在水平和垂直拆分的约束下都可以很好的进行泛化呢？在这种情况下，假设将是:如何在一些组的历史数据上训练的机器学习模型泛化到这些组的未来数据和其他组的所有数据?这种混合拆分的可视化结果如下所示:
当然，如果模型训练是成功的，这个模型肯定会比其他模型在现实世界中更健壮。它不仅可以证明它已经看到的一些组的学习模式，而且还可以证明它已经获得了跨组泛化的信息。如果我们将来要向工厂增加更多类似的机器，这可能是有用的。
多维拆分
水平和垂直拆分的概念可以推广到许多维度。例如，可能需要根据两个分类特征而不是一个分类特征进行分组，以便进一步隔离数据中的子组，并按子组对它们进行排序。中间可能还存在用于筛选样本数量较少的组的复杂逻辑，以及与该域相关的其他业务级逻辑。
结论
这个假设的例子用来说明可以创建的各种机器学习拆分的无限可能性。就像在评估模型时确保机器学习的公平性很重要一样，花足够的时间考虑划分数据集及其对下游模型产生偏差的后果也同样重要。
