随着科技飞速发展，以大模型为代表的新一代人工智能技术正成为软件领域智能化转型的核心驱动力。2024 年《政府工作报告》首次提出 “人工智能 +” 战略行动，旨在推动人工智能赋能千行百业 。大模型不仅为传统软件注入新智力，提升生产效率、改善软件质量、加速软件创新迭代，还推动了软件产品形态、软件技术层面以及软件与行业场景的深度变革。
在大模型行业蓬勃发展的浪潮下，APP 作为技术落地和用户交互的关键载体，其质量直接影响着用户体验和企业的市场竞争力。一款出现诸多软件缺陷的 APP，可能会出现闪退、崩溃、兼容性差等问题，这不仅会导致用户投诉，更会使企业上线时间延迟，错失市场先机，损害企业的品牌形象和口碑。因此，APP 测试这个环节，成为大模型技术能够真正为用户带来优质服务和体验的关键防线，亦是各大模型产品上市前的必经流程。
近期，Testin云测与国内某头部大模型厂商达成合作，共同攻克了大模型APP研发期间的质量保障问题。该企业是一家在 AI 大模型、人工智能基础研究领域崭露头角的新锐企业，其业务范围广泛，涵盖工程和技术研究与试验发展、技术服务、软件开发、计算机系统服务、人工智能应用软件开发等多个领域。在软件开发的进程中，该大模型厂商把大量的时间和精力都投入了产研方面，致力于打造先进的大模型产品。然而，在软件测试领域，该厂商面临着诸多挑战。
由于缺乏专业的测试人员和充分的硬件机型设备， 短期内实现APP兼容适配各大机型较为困难。这导致在产品上线前，该大模型APP缺陷难以被全面发现和修复。在测试过程中,该APP也频繁出现各类问题：如在部分安卓和 iOS 设备上显示异常、功能无法正常使用等，这些问题严重影响了产品的质量和上线进度，质量保障的不够完备也对该产品上市造成了底层风险。该厂商作为一家对产品质量极其重视的新兴科技公司，十分关注软件测试这一过程难题，并积极与国内AI测试头部服务商Testin云测接洽，协商合作。
Testin 云测基于超300万款APP测试项目经验，丰富的测试设备资源以及先进的测试技术和工具资源，经过专业沟通与项目梳理，Testin云测为其规划了匹配且专业的深度兼容测试服务。针对该大模型APP需要适配不同地区、不同系统设备的需求，Testin云测利用自身丰富的资源，提供了覆盖国内外主流终端版本的深度兼容测试服务。
在测试技术工具方面，Testin云测运用自主研发的 UI 自动化工具,该工具能够模拟用户在各种设备上的操作行为，高效地对该大模型APP 进行功能测试和兼容性测试。同时，通过自然语言处理技术，测试过程可实现无码化脚本编写，大大降低了测试脚本编写的难度和时间成本，使得测试人员能够更专注于测试策略的制定和优化。结合强化学习技术，该大模型厂商能够实时根据测试结果调整测试策略，提高测试的覆盖率和有效性。
2024 年 11 月，该大模型厂商在完成功能测试等前期工作后，正式与Testin云测对接兼容测试相关需求与痛点。短时间内，双方迅速对接并组建了专项项目团队，Testin云测调度了具备一线大模型测试经验的高级测试工程师、技术专家以及项目经理参与其中，确保项目的顺利进行。
在测试执行过程中，一方面，由于该大模型APP涉及大量复杂的数据交互和处理的业务属性，数据整合成为一大难题。不同模块之间的数据格式、数据接口存在差异，给测试数据的准备和验证增加了困难。另一方面，该大模型的部分团队成员对Testin云测所采用的AI技术及模式，如无码化脚本编写、强化学习调整测试策略等，初期接受度较低，对新技术是否增加测试的风险和不确定性存在一定顾虑。
而针对数据整合难题，Testin云测团队与该厂商开发团队紧密合作，共同梳理数据流程和接口规范。通过开发专项数据转换工具和脚本，实现了异格式数据的有效整合和验证，确保了测试数据的准确性和完整性。为了推进大模型厂商内部团队对AI测试模式的进一步理解与认可，Testin云测协调了数次AI测试技术培训和项目交流会议，详细介绍AI测试技术的原理、优势以及实际应用案例。通过现场演示和实际操作，该大模型厂商内部成员亲历体验AI测试带来的高效和便捷。同时，Testin云测还提供了后备技术支持和保障措施，确保在项目实施过程中，随时解决项目因耦合AI测试技术应用可能出现的协调问题。
经过双方协作与努力，Testin云测高效完成并输出了兼容性测试报告，初版报告显示该大模型APP通过率较低，需尽快对产品进行进一步优化。在后续的一个月里，该厂商开发团队全力投入 Bug 优化工作中，进一步优化用户体验。2024年12 月中下旬，双方再度合作，开展了一轮次深度兼容测试。经过双方的共同协作，产品顺利通过测试，成功上线国内和海外的应用市场。然而，产品上线后还遇到了 APP Store 的清榜问题。该大模型厂商第一时间向Testin云测咨询，Testin云测迅速组织对应的专家团队，深入分析问题的根源，经过深入沟通并细致盘查，最终找到了问题的解决方案，帮助其迅速解决了上架被清榜问题
在与Testin云测紧密协作，攻克质量大关后，该大模型厂商在市场上取得了显著成果。行业成绩方面，该大模型宣布开源发布引起了行业震动，各大平台纷纷为其宣传推广，成为推动AI领域进步的重要力量。下载量方面，该大模型在国内外双端应用市场 AI 大模型软件下载量中位居榜首，迅速占领市场高地，产品功能与质量赢得了用户和各行业的广泛认可。
随着 AI 大模型行业的持续发展，未来，Testin云测将继续与大模型厂商紧密合作，不断优化测试服务和技术，助力其在激烈的市场竞争中持续创新和发展，共同推动 AI 大模型行业迈向新的高度。
