Testin云测CTO徐琨:以服务为驱动的云测试

原创
移动开发
Testin云测试于2011年6月份成立,一直从事关于移动互联网方向的APP测试服务。Testin想把测试这个事变成云端标准化服务,最终愿景是希望研发团队或者APP团队可以专注自己的产品和市场推广,把测试问题最终通过云端服务的方式来解决。

[[127491]]

徐琨,Testin云测CTO。国内最早移动互联网公司PICA创始员工,曾任PICA副总裁;领先的HTML5游戏开发公司山水地信息创始人。作为千万人在线的即时通信系统架构师,领导开发了过千万用户的移动社交平台。

Testin云测试于2011年6月份成立,一直从事关于移动互联网方向的APP测试服务。Testin想把测试这个事变成云端标准化服务,最终愿景是希望研发团队或者APP团队可以专注自己的产品和市场推广,把测试问题最终通过云端服务的方式来解决。

一般而言,移动互联网的APP开发模式是一个APP团队,大概有几个部门。***是开发,我们俗称就是技术。第二会有产品,一般还有运营和市场。如果是一个对企业销售的团队还会有销售,之后可能还有售后。除了这些职能部门之外有一个测试的职能部门,还有一个运维的职能部门。下面我们来看看Testin在开发者开发和测试APP的过程中都能提供哪些测试相关的服务:

功能测试

一般的APP,先是功能开发,然后是发布,发布之后上线推广。如果这个APP没有死,它会循环进行这样的过程。在功能开发阶段,Testin会提供一种叫做功能测试服务。Testin即将推出众测服务,届时会把国内优秀的测试PM汇聚在一起,然后通过PM的方式给所有APP的开发者一个方案,拥有众多测试者的云端的众包平台Testin。为什么会有这样形式的服务?开发阶段,一般会有14天,包括产品设计和技术开发的时间,***留出两天时间,进入测试阶段。标准的APP开发团队有10个人,两个产品,两个技术,最终还有一到两个人做运营,真正的测试岗位没有人。任务重,人员少,所以导致我们市面上很多移动APP,有很多Bug,不过没关系,对于开发者***步要有用户,但是用户大了发现质量问题越来越突出,所以为了解决这个问题Testin在这个阶段提出这样的服务,专门解决这个事情。通过有几万人的众测平台,由PM(测试项目经理)帮助设计方案,包括写好测试,然后分给众多测试者,之后由这个PM总结,包括Bug,然后会有一个测试报告。

适配测试

功能测试没有问题之后,接近发布的时候,会出现一个问题,中国现在有很多手机型号和厂家很多,包括小米、三星、华为每个品牌有很多机型,以前小米只有一款,但是现在小米差不多十款机型,小米1、2、3等等等等。此时就会出现各个机型的版本分裂变得越来越严重,比如一个APP虽然在小米4上能跑,但是跑魅族的手机跑不了,魅族4这个手机屏幕分辨率和其他手机不一样。如果各位关注手机会知道,魅族的Pro又有点不一样,他们用的MIU那块的东西,MIU是他们自己做的,华为也搞了一个,包括Vivo包括OPPO也自己做了。虽然功能没有问题,适配却变成一个很严重的问题。适配的问题是因为版本分裂,屏幕尺寸不一样,手机型号不一样,Rom不一样,会带来各种各样的问题。如果是自己要解决,一般的开发团队怎么干?他会买四到五个手机,他自己用小米,团队里面有三星,然后试一下自己的APP能不能跑。但是,目前市面上大概有一千款手机,中国是全世界机型最多的国家,即便在小米1上能跑,小米2、小米3不一定能跑。很多人使用iPhone,iPhone4能跑,iPhone5不一定能跑。所以Testin在拥有一个适配测试的服务。

Testin怎么做适配?和众测很像,Testin接了一个类似于云测平台的东西,它下面挂了很多手机,是一个一个的真机。开发者把APP通过Testin的Web网站提交给Testin,Testin把这些APP发到库房里四千多部真机去跑,Testin有自己的独特技术和一个自动化的脚本,APP来到Testin的适配平台,通过这个脚本到所有的手机自动安装、运行、卸载。***能不能安装,第二能不能卸载,第三是不是能正常的执行基本功能。目前Testin的适配平台总共跑了大概七千八百万次的自动化测试,Testin定期会把国内一些主流的机型做统计,然后进行采购,然后新机投入机房,供所有的开发者使用。

应用、手游性能监测

那么适功能和配都测试过之后,是不是应用可以高枕无忧了?当然不是,Testin发现无论怎么测试,无论通过怎样的自动化手段,其实还有很多问题并没有真正发现。在APP用户那端可能会看到各样各种的问题,因为不了解用户的网络情况如何,是否是山寨机等等。所以Testin推出了崩溃大师 ,在APP上线推广之前,将崩溃大师的SDK嵌入到APP中,那么这个SDK的作用是什么?开发者把他的APP加上我们SDK之后, Testin给每一个APP都有一个崩溃后台,这个后台会将用户端使用APP时产生的所有崩溃、闪退包括异常情况的信息做抓取,抓完了之后做备份。

一、代码级定位崩溃

APP崩溃异常之后,崩溃大师可监测到导致问题的代码位置,开发者可根据崩溃大师提供的信息进行修改。

二、NDK错误捕获

NDK错误,比如安卓手机,用很多的第三方库,像腾讯或者百度都有第三的SDK,大部分是C写的,是一个动态库。这个动态库本身会产生异常,这就是NDK错误,这个叫做原生的错误,主要是C++的错误。崩溃大师会把第三方出现的所有问题可以进行捕获,很多第三方平台本身会导致程序的崩溃和闪退。

三、用户一对一定位

用户端出现了闪退、崩溃,开发者并不能知道用户的身份。用户闪退后反馈问题的时候可能就是在评论里发泄一下情绪,一般并不会说明自己的型号是什么,网络情况如何等等。崩溃大师可以做到崩溃用户端的ID展现,尤其对于O2O的企业,或者以手机号为ID的企业,可以给用户打电话,查看到底出了什么问题。

四、手游引擎支持

崩溃大师对于手游引擎的支持有两个,是国内的cocos2D-X,还有Unity3D,他们也是第三方,类似SDK的工具。开发者基于这个引擎,会用几种脚本语言来写,一种脚本语言叫Lua,一种叫JavaScript,基于这几种脚本语言产生的异常,崩溃大师通过SDK的服务可以抓取到。

APP应用案例

移动APP开发者把需求给Testin,整个开发周期,从功能开发到发布到上线,Testin会对开发者的APP做一次完整的跟踪。Testin众测的服务,目前已经服务了像E袋洗、高德还有一些企业。适配测试服务是Testin最早并一直持续的业务,国内移动开发者里面65%基本都是使用的Testin适配测试服务。Testin的崩溃大师,于2014年 8月份开发完成,9月份上线Bate版,到现在三个半月时间,国内比较大一点的游戏,基本上都是崩溃大师的用户。比如说全民枪战、捕鱼达人、啪啪三国、保卫萝卜、Dena海贼王,大部分是游戏。国内应该是第三方SDK里面,用户基数可以排前十的。

崩溃大师服务,即将上线1.7.2的版本,从2014年9月份到现在迭代了30多个版本,每一周大概迭代一个版本,到现在应该30多个。崩溃大师的SDK包重量很小,仅为30K,稳定性毋庸置疑,能够抓到更多东西。目前有几千个APP已经用到其服务,

崩溃大师将异常捕获做了归并,上报崩溃异常时并不是一个一个上传,而是将其归并到一起并且分类的上报,这样开发者就可以区别其中的异常(程序不闪退而功能出问题)和崩溃(导致程序闪退)的原因,同时这种上报方式可以为用户减少流量,让用户的APP不因为SDK导致流量暴涨。

崩溃大师1.7.2版本,崩溃+适配新升级,Testin将原有的适配和现在崩溃大师的功能深度融合,使得适配功能也可以做到精准定位很多底层错误,使得适配功能更精准。

崩溃大师目前都是做本土服务,同时也做了一个海外英文版,现已经发布。Testin跟Cocos触控做了一个战略合作,基于崩溃大师,触控北美团队与Testin在海外共同做运营推广,位北美和其他海外的更多开发者提供服务。

结语

Testin云测是以服务为驱动的团队。------徐琨

Testin以技术为基础,服务为核心,为开发者提供一个改善APP质量的服务。Testin的创始团队都是做研发出身,以往的Testin相信技术改变一切,甚至之前迷信通过自动化可以解决所有的问题。通过大概三年时间,比如功能测试,终于发现有些问题通过自动化也并不能完全解决,因为有些东西只有人才能知道这个是对还是不对,所以推出了众包测试平台,技术上面可以解决的问题,比如崩溃的自动捕捉,可以把技术做的更精更透,然后帮开发者做崩溃的统计,把识别率做的更高。所以技术是Testin的基础,但最终交付给用户的是一种服务。Testin给客户的价值,应该是Testin来帮开发者发现,开发者自己发现不了的问题,这就是徐琨眼中Testin正在做的事。

责任编辑:闫佳明 来源: 51CTO
相关推荐

2021-07-21 10:12:08

云计算行业科技

2023-10-19 20:00:53

Testin云测

2016-06-29 10:22:02

Testin测试生态圈

2024-06-28 17:18:33

2020-03-04 15:44:19

测试AI人工智能

2015-01-21 11:20:09

Testin云测MTK应用测试

2023-10-27 12:42:19

Testin云测

2015-07-30 10:17:06

Testin云测

2019-11-26 17:38:15

人工智能AI开发者

2015-03-17 17:51:21

Testin云测

2014-05-12 15:20:23

行业应用Testin

2015-08-24 13:00:47

Testin云测NEXT

2022-03-18 10:46:04

Testin云测试

2024-06-06 17:28:55

点赞
收藏

51CTO技术栈公众号