【51CTO.com原创稿件】随着网络的更新迭代,网络数据成几何倍飞速增长,各行各业都面临着海量数据处理的压力。当人工不能很好的对庞大数据进行计算与分析时,大数据分析应运而生。
大数据分析现状
伴随大数据相关的基础设施、服务器、软件系统和理论体系的持续发展,大数据分析方面的解决方案逐渐趋近成熟,且普及开来。随着大数据技术的迭代更新,自助和自动化的信息服务需求也茂盛起来。虽然业界有诸多简单易用的大数据分析工具及相关的解决方案,但具备基本的通信技术和信息处理领域的专业知识仍是刚需。
数据分析中的特征工程
在海量的数据分析过程中,特征工程发挥着重要作用。特征工程是为了使特征(数据抽取出来的对结果预测有帮助的信息)在机器学习算法和模型上发挥更优效果的过程,该过程往往需要数据科学家人工地找出***的特征组合,所以在效果及效率上有一定的局限性。自动特征工程出现前,需要依靠人类的经验去完成这项耗时且庞大的工程。
自动特征组合方式
自动特征工程应用以后,解决了人工经验不足带来的不能及时发现有效特征以及自动特征组合繁琐的问题。目前,机器学习在业界研究自动特征工程问题时,主要从以下三个方向着手:隐式特征组合、半显式特征组合和显式特征组合。
其优缺点对比如下表所示:
隐式特征组合、半显式特征组合和显式特征组合优缺点对比
AI赋能数据分析,攻克技术壁垒
对于传统特征工程带来的低效、复杂等问题,来自宝岛台湾的美商行动贝果MoBagel(以下简称行动贝果)给出了自己的解决方案——一款简单易用的AI预测工具Decanter,Decanter是由行动贝果自主研发的自动化机器学习引擎,结合136种机器学习算法(包含深度学习算法)进行自动建模和优化,为企业大量数据与商业目标在数千算法组合中寻得***模型,提供精准的即时预测分析服务。Decanter主要提供自动化数据清洗、特征工程、建立及调教预测模型三大功能,这样将数据分析预测变得简单、准确、快速,同时将全自动机器学习(AutoML)导入企业,建立符合行业需求的AI模块。
采访的***,行动贝果的CTO林昭宽表示,比起行动贝果独自开拓市场,加入微软加速器·北京第11期后,拥有了更强大的资源优势与影响力,加上许多校友企业互相帮助,以及微软加速器·北京本身的市场渗透率与知名度,行动贝果可以快速开拓更广阔的市场发展与布局。