近日，华为云企业智能(EI)创新孵化实验室OROAS与华为诺亚决策推理实验室联合团队(以下简称“华为联合团队”)参加了由人工智能顶级学术会议NeurIPS 2021承办的Machine Learning for Combinatorial Optimization(ML4CO)竞赛，并斩获求解器超参优化赛道冠军，成绩大幅度领先于第二名。
该竞赛聚焦特定问题与历史数据信息，与参赛者共同探讨如何通过机器学习方法来提升求解器的性能。在华为供应链算法工作组的支持下，华为联合团队针对“增强通用求解器在特定混合整数规划(MIP)问题上的求解性能”，提出了离线参数整定、在线参数推荐两大解决方案，在三类问题上均实现了最佳性能。华为联合团队在本次赛事中沉淀的技术将对帮助行业客户高效计算最优方案、提升资源利用率和运转效率、突破业界运筹优化极限有重要意义。
NeurIPS 2021(ML4CO)竞赛榜单
混合整数规划(Mixed Integer Programming, MIP)问题(如资源调度、生产排产、路径优化、运营管理、研发设计、财经管理等)是企业运筹优化时面临的最常见的问题类型，覆盖商业决策优化的大部分流程，在求解器应用场景中的占比超75%。混合整数规划求解器(MIP Solver)是数学规划(mathematical programming)算法的集大成者，内嵌原/对偶单纯形、内点法等线性规划(LP)算法、分支定界算法、各类割平面算法、各类原启发算法、各类预处理算法、各类域传播算法等。这些算法在MIP求解器内的实现涉及到大量超参数，如开源MIP求解器中性能最为强劲的SCIP求解器提供了2617个超参数，其中超过2000个超参数与求解过程中的决策强相关。
通常，这些超参数由求解器开发者依据人工经验整定，面向通用问题提供一套适用性最为广泛的参数作为默认值。但面向细分行业特定场景，首先，默认参数难以发挥求解器的最佳性能。第二，求解器使用门槛相对较高，要求用户对组合优化、数学规划算法和场景问题本身有较为深入的理解。第三，即使是行业领域的专家，在求解器的海量参数组合中为特定场景问题选择最佳参数的过程中，也存在着人工调参耗时耗力的挑战。
NeurIPS 2021(ML4CO)竞赛的超参优化赛道直面上述痛点，号召全球研究者探索机器学习在求解器参数整定、参数推荐中的应用，以“多维背包问题、流量均衡问题、面向实际问题且包含多种类型问题的匿名问题集”为研究对象，征集SCIP求解器的最佳参数推荐方案，从而帮助提升通用求解器在细分行业特定场景问题上的性能。
华为联合团队认为该任务可被解耦为“离线参数整定”与“在线参数推荐”两个步骤。“离线参数整定”步骤是针对每一类同质问题整定出一套最佳性能的参数，即调参;“在线参数推荐”步骤是训练一个机器学习模型来完成从问题用例特征到问题用例类别的映射关系学习，即匹配。两个步骤的关系如下图所示：
华为联合团队在NeurIPS 2021(ML4CO)竞赛中提出两大解决方案
应用“离线参数整定”技术，实现综合BO调参
求解器调参是一类“单次性能评估的时间、资源代价昂贵”的黑箱优化问题。针对这一类问题的常用技术方案是贝叶斯优化(Bayesian Optimization，BO)，但将该技术直接落地应用于求解器调参面临以下三方面的挑战：
l 参数空间规模大。参数空间的规模与参数维数构成指数关系，即存在维数灾问题。常规的BO方法通常适用于参数维数在30维以内的问题，如神经网络调参。面对2000多维的求解器参数空间，百余次BO采样如在浩渺宇宙中探索地球，难以建立起有效的代理模型。
l 参数依赖关系强。常规的调参问题中，各维度上的参数相互独立，构成正交的参数空间;而求解器参数构成树状空间，子级参数的作用依赖于父级参数的状态，如原启发的优先级参数依赖于其开关参数。若忽视这种层级关系则会产生大量无效采样，甚至引入观测噪声。
l 参数性能分布正偏。求解器在不同参数上的性能分布呈现出正偏趋势，即好参数带来的性能提升幅度远小于坏参数带来的性能恶化幅度，进而在随机种子引起的观测噪声上表现出较显著的异方差特性，不符合高斯过程代理模型的前提假设，最终影响了代理模型的拟合效果。
针对上述挑战，华为联合团队整合了在华为供应链供需双向模拟和多工厂排产引擎等实际场景积累的多项关键技术，形成了一套面向求解器参数整定场景的综合BO调参解决方案。
首先，依据团队内华为云天筹(OptVerse)AI求解器开发者的专家经验，并结合XGBoost拟合随机观测的参数-性能对的代理模型所得到的Gini系数信息，完成海量参数的预筛选，实现关键参数辨识目的。
然后，从参数类型、参数作用、依赖关系等多个维度对这些关键参数进行分层组合，将高维正交的参数空间转换为若干低维树状参数空间的嵌入。在每个参数子空间的BO搜索中，首先对已观测样本应用Box-Cox Transform实现自适应分布变换，解决偏态分布中潜在的异方差问题;在拟合代理模型环节，基于集成学习思想，使用高斯过程、随机森林等方法，实现广泛参数类型下的精准拟合;在采集函数优化环节，打破常规BO实现中单一采集函数的限制，集成UCB、PI、EI等多种采集函数进行多目标优化，并从Pareto前沿中采样推荐参数，实现期望与方差的更优平衡。
基于“在线参数推荐”，完成从特征到类别的映射关系学习
对已知样本的精确类别划分与匹配是为未知样本推荐正确参数的先决条件。华为联合团队基于天筹AI求解器开发的技术积累，从MIP问题用例中抽取出上百个参数特征，并结合MIP问题三部图的图卷积特征，建立起MIP问题的精确画像。基于这些特征，应用无监督学习方法对匿名数据集实现类别划分，进一步结合赛方完全公开的Item Placement和Load Balancing数据集，为训练问题类别匹配模型提供海量有效样本。最后执深度学习方法之矛，实现MIP问题从用例到类别再到参数的准确映射。
根据NeurIPS 2021(ML4CO)竞赛主办方公布的榜单结果所示，SCIP求解器的默认参数在Item Placement和Load Balancing两个非匿名数据集上的平均性能指标分别约为17000和25000。华为联合团队推荐的参数性能指标则分别达到了8741和7856，性能提升幅度分别达到了2倍和3倍。
华为云一站式AI开发平台ModelArts为“离线参数整定”和“在线参数推荐”技术方案的实现提供了强有力的软、硬件支持：ModelArts为华为联合团队提供了高效、稳定的大规模服务器集群、千余颗CPU核心与TB级内存，保证了大量MIP用例的并行性能评估;此外，ModelArts预置的主流机器学习框架与便捷灵活的自定义镜像环境极大地加速了上述方案的部署与落地。
当前，运筹优化技术已在华为供应链多工厂排产引擎等多个场景落地，不仅帮助实现系统底层完全自研，而且实现了分工厂计划准确率、回流调拨比例、计划自动执行比例等一系列业务关键指标的显著提升，并大幅提高了业务的作业效率。同时，华为联合团队在比赛当中突破的前沿技术及求解能力也已集成在天筹AI求解器和ModelArts等华为云AI服务中，并计划对外开放给更多AI开发者使用。
未来，华为联合团队将持续优化天筹AI求解器中的MIP求解性能，面向不同的业务场景，不断创造更大价值。
