前不久,LinkedIn在官方博客介绍了该公司的***开源项目Bluepill。Bluepill使得开发人员可以在单一机器上同时用多种模拟器运行iOS UI测试,目标在于提供稳定的测试工具和可扩展的测试。
它的牛逼之处在于:
在一台机器上同时启动多个iOS模拟器,自动化运行多个UI测试并给出每一个测试的测试报告。
更直观点,可以看官方的Demo截图:
可以看到图中足足同时运行了12个模拟器,可以覆盖目前几乎所有主流iOS版本了。
为何研发Bluepill
LinkedIn的移动团队在研发中提出过一个叫“3x3哲学”的理念,它意为设定目标每天发布三次,在代码提交到对团队成员可用之间不超过三个小时。这对持续交付提出了很大的挑战。
UI测试作为持续交付的一部分,是非常耗时的,你通常需要测试所有主流系统版本之后才能发布。Bluepill就是为了解决这个问题而诞生的。
为了达成3x3的目标,Bluepill给出了两个特性:
测试平台的稳定性,主要针对Xcode iOS模拟器的“古怪问题”,有时候测试失败不是因为代码有问题,而是模拟器不给力,跑不起来或卡住了。据LinkedIn统计,他们所运行的测试中有2%就属于这种情况。
测试的可扩展性。测试的并行运行可同时覆盖多种模拟环境,可扩展性从根本上提供了这种能力。
Bluepill的黑魔法
之前,LinkedIn团队尝试在Facebook开源的xctool的基础上开发并行测试工具,结果xctool停止开发和维护了,LinkedIn的工程师在一番调研后忍痛放弃开始自研。
Bluepill借助于CoreSimulator解决稳定性和可扩展性问题。CoreSimulator是Apple的一个未公开的框架,它具有创建不同类型的设备模拟器、选择运行时版本、处理模拟器提供的通知等功能。在文章中作者提到,LinkedIn使用CoreSimulator实现了将Bluepill从Xcode模拟器中隔离出来,并使Bluepill可并行使用多种模拟器运行测试。这里无需关心Xcode模拟器版本,因为Xcode模拟器是一种随每次Xcode的更新而不断进化的黑盒。
如何使用Bluepill
使用Bluepill非常简单,最简单的用例中,你在Xcode中将工程Build之后,可使用如下命令运行Bluepill:
./bluepill -a ./Sample.app -s ./SampleAppTestScheme.xcscheme -o ./output/
这个命令将会启动四个模拟器,此外还有一些可以用来定制测试环境的选项,包括使用模拟器的数量、运行时环境、失败测试时允许重试的次数、测试被卡住时的等待时间等。
Bluepill采用BSD-2许可在GitHub上开源提供。对于不打算自己从源代码构建的开发人员,Bluepill也提供了二进制版本。
扩展阅读
LinkedIn为了研发Bluepill,在持续交付、UI测试上花了很大的功夫,你可以在他们的官方博客上阅读相关文章:
- https://engineering.linkedin.com/blog/2017/01/open-sourcing-bluepill--run-ios-tests-in-multiple-simulators
- https://engineering.linkedin.com/blog/2015/12/managing-ios-continuous-integration-at-enterprise-scale
- https://engineering.linkedin.com/blog/2016/04/3x3--ios-build-speed-and-stability
- https://engineering.linkedin.com/blog/2015/12/test-stability---how-we-make-ui-tests-stable