初探百度大数据分析挖掘平台Jarvis

企业动态
在人工功能时代,企业既想通过大数据分析、挖掘技术提升效率,又被大数据量分析、机器学习挖掘等相关技术门槛阻扰,需要一款数据分析挖掘产品跨越这个鸿沟。

在人工功能时代,企业既想通过大数据分析、挖掘技术提升效率,又被大数据量分析、机器学习挖掘等相关技术门槛阻扰,需要一款数据分析挖掘产品跨越这个鸿沟。Jarvis在这个背景下应运而生。Jarvis是支撑大数据分析挖掘应用开发的工具和平台,定位在企业开发者和大数据分析挖掘技术之间,提供可视化交互方面的支持,使得大数据分析、挖掘技术能快速转化为满足企业应用场景的具体产品。

据了解,Jarvis技术实施栈纵向分层、横向分级确保可全流程解决数据分析挖掘过程中的数据处理、计算资源、算子算法支持、环境部署等各环节问题,同时针对用户进行功能分级、并***限度保持可扩展,为真正成为一款造福数据科学家、业务开发者、数据分析师、产品经理、决策分析者等各类开发用户的产品而努力。

可视化管理数据科学全流程

一个经典的数据挖掘分析应用过程包括,数据获取、数据预期处理、特征提取、建模开发、预测部署、投入应用。Jarvis充分调研分析开发实施人员在各环节面临的处理场景、可能的高效、方便的工作方式,进行了抽象设计实现:

数据连接,支持结构化、非结构化多类型数据接入,支持私有数据接入、支持云Bos、分布式HDFS、关系型数据库等等多类型数据源读取及灵活挂载。

数据准备,提供支持文本、图像类型的交互式的数据清洗、预处理工具,方便进行数据高效准备。

数据分析,支持PB级别的SQL交互式查询分析、Spark处理;同时提供丰富的可视化数据探查工具,方便开发者获取高价值有效样本。

挖掘建模,内置了丰富的基础算子算法供开发者高效进行建模开发;同时预置了经典的垂类行业解决方案,可以低成本在匹配场景进行高效实施。

模型部署,生成模型可直接发布、部署,并支持动态热加载。提供了常用模型评价指标的效果监控功能供一键选择监控、支持自由扩展。

流程监控,开发者进行的全工作流实现自动Track,新数据可自动触发重跑全流程。

云原生服务

在数据分析挖掘全流程及服务过程中,不同的场景、不同的数据、不同的处理阶段、不同的开发者对于环境的需求、对于资源的需求多种多样,这就需要数据分析挖掘平台的资源(包含开发环境资源)管理要能灵活接入、弹性拉伸、扩展方便,确保稳定及资源利用高效。Jarvis采用了云原生服务架构的方式实现。

自动机器学习AutoML

策略模型研发人员大量的时间花费在选取不同的特征数据、进行不同的算法选择尝试、参数调优中,最终获得一个高效的模型。AutoML理论上可通过设置自动尝试多数据特征、多算法、测试完全不同的模型架构,然后与目标相匹配,给出最终解决问题的方案。

行业解决方案

同行业的不同企业往往存在共性的数据分析挖掘场景,例如:电力行业,用电量预测;工业物理网类,设备故障检测、故障预测等。这些同类场景要解决的问题类似、要分析的数据类似,因此可以抽象通用的行业解决方案在同类场景下复用、快速投入应用。对于深层次的数据挖掘开发者,同样有大量通用的算法、算子库可以相互复用,提升开发效率。Jarvis从基础算法、通用模型、垂类解决方案分层内置能力并不断扩展集成,为不同场景需求的开发者用户提供了高效复用能力。

百度开发者大会期间,jarvis通过点石-大数据众智平台(dianshi.baidu.com, DataLab板块)邀测了***批用户进行增强版基础开发环境的使用(内置了丰富的算子算法库及百度AI开放接口),受到用户的一致好评。

 

敬请期待jarvis后续的全面正式发布、邀测!

 

责任编辑:张燕妮 来源: 互联网
相关推荐

2017-04-10 09:06:23

2011-12-08 15:31:24

百度开放平台

2014-08-27 16:22:16

百度机器大脑挖掘数据

2017-07-22 00:41:27

大数据数据存储

2015-09-11 11:33:21

大数据百科分析

2013-01-28 10:24:36

2013-05-31 09:37:30

2020-06-04 13:41:35

大数据疫情技术

2019-09-04 19:58:46

数据挖掘数据分析学习

2013-01-28 15:52:05

大数据百度淘宝

2014-04-14 10:02:48

大数据

2014-04-14 09:55:32

2014-04-24 16:48:18

大数据引擎百度大脑百度

2016-05-05 17:05:03

2012-01-10 09:10:03

百度技术沙龙数据挖掘

2014-04-24 13:05:07

百度移动

2013-01-18 10:04:33

大数据分析

2011-09-06 16:33:35

百度世界2011

2015-03-11 17:53:36

2013-01-31 09:15:08

偷拍插件美杜莎
点赞
收藏

51CTO技术栈公众号