软件工具使业务分析师能够在没有软件工程师和数据收集专家帮助的情况下获得分析模型和见解。
数据科学家的身价很高,以至于雇佣他们对于除了谷歌、Facebook、亚马逊和苹果以外的任何企业来说都是一个挑战。而那些有幸从大型科技公司挖走他们或者能够从学术界吸引到他们的CIO们将可以自豪地谈论他们将与他们的数据专家所产生的所有商业见解。
IBM预计,到2020年,对数据科学家的需求将激增28%——而这一数字可能还是保守的。为了解决人才短缺问题,公司正在构建能够为公司带来巨大成功的软件,以便有效地从普通的公司员工中创建“公民”数据科学家。
研究公司Gartner表示,公民数据科学包括允许用户在统计和分析领域之外工作时从数据中提取预测性和规范性见解的能力和实践。 Gartner分析师Carlie Idoine在一篇博客文章中表示,公民数据科学家可以是一些“超级用户”,例如没有计算机科学背景的商业分析师,他们可以执行简单或中等复杂的分析任务,而这些任务以前需要更多的专业知识。她补充说, 这些超级用户,如业务分析师,可以帮助缓解当前的技能差距。
Forrester Research的分析师Brandon Purcle表示:“工具、技术、数据和模型可用性的不断提高,使得人们能够将见解传播给那些原本没有能力自己去了解的人。”
数据科学将全部民主化
通过技术总是能找到一种能够使信息获取更加民主化的方法。其中有什么变化么?在大多数企业仍在实施的传统模式中,业务分析师会在数月内与IT和数据科学家共同努力,计划用于产生预测性见解的模型,然后数据科学家将通常从头开始构建这个模型。
现在,由于IBM的SPSS和Alteryx等工具,许多没有编码经验或编码经验很少的公民数据科学家只需要将数据模型拖放到某种软件画布上,就可以获得洞察力。Purcell表示,这些工具使得“业务线分析师能够比在Excel中更容易的操作数据”。
例如,通用汽车公司建立了Maxis,这是一个分析平台,允许商业用户进行类似Google的查询,并获得销售预测和供应链绩效等运营指标的窗口。专家们一致认为,现在的通用汽车公司可能是一个特例,但在短期内就会有很多类似的公司出现。
数据科学是石油巨头壳牌公司的一个重要关注点,在那里,员工们通过不停地浏览公司千万亿字节的数据,以获得运营和业务洞察力。例如,壳牌公司使用公司的自助服务软件Alteryx来帮助运行预测模型,预测成千上万的石油钻机部件何时会出现故障。
Jeavens说:“数据科学工具正在使数据科学的低端民主化,这让越来越多的人可以做到这一点了。”但在另一方面,壳牌也正在使用一些“强大的引擎”,如Google TensorFlow和深度学习库MXNet,以及Python和R编程语言。 “总会有一个跨越公民数据科学家和专业数据科学家的频谱,我们必须同时支持这两者。”
公民数据科学家确实弥合了商业用户进行的自助分析和数据科学家进行的高级分析之间的差距。Forrester的Purcell表示,专业数据科学家将更多的在整个企业中构建和扩展数据模型和算法。
TD银行集团企业信息高级副总裁Joe DosSantos说,现在人们已经普遍认识到数据是新的石油,许多企业已经“被复杂分析的魅力所吸引”。现实情况是,数据科学将不再是关于巫师和神话中的独角兽。
DosSantos表示,TD银行使用了一系列基本的以及复杂的分析工具来更好地协调历史和当前的客户数据,并进行欺诈分析。例如,该银行使用了AtScale的软件来帮助商业用户查询来自该银行Hadoop数据湖的实时数据,并快速获得结果。而TD银行分析师也会在Tableau自助可视化软件中查看数据。
数据科学家:仍然不可或缺
其他的软件供应商也正在加速数据民主化的趋势,通过采用机器学习(ML)和人工智能(AI)功能来构建自动化模型。
例如,Salesforce.com提供了Einstein预测生成器,它允许商业分析师创建自定义的AI模型,在任何自定义Salesforce字段或对象上添加变量,以预测一些结果,如客户流失的可能性或客户的生命周期价值。Adobe的Sensei是另一个ML软件工具,它可以帮助营销人员在几分钟内启动营销活动,减少任务的时间。
Gartner表示,到2020年,超过40%的数据科学任务可能会实现自动化。“这种[自动化的ML方法]是下一代的数据科学,”Purcell说。
当然,并不是所有的大数据任务都能被公民数据科学家很容易的解决。德勤咨询公司认知和分析业务的常务董事Bill Roberts说,公司仍然需要统计学家、数据科学家、精算师和其他精通高级数学技术的专家。这些专家可以填补空缺和缺失字段的数据,这些任务是公民数据科学家无法胜任的。
另外,如果出了问题,又无法通过数学进行验证时该怎么办?也许算法本身也存在问题。 Roberts说:“当遇到困难或问题时,你需要有受过某种培训或具有高级学位的人来帮助你解决这个问题。”