51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9065内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9065 条
智能数据湖势在必行
由大数据触发的数据驱动的做法是一种最好的理解。如今，各个组织正在各种数据结构，格式和分布式地理数据源位置等方面进行竞争，并在时间框架和数量上超过了现有系统的能力。

2017-03-20 09:33:21

数据湖智能
SAP 助力医疗器械中小企业营业增收30%
近年，医疗器械行业已驶入快车道，显现出巨大的发展潜力，大批优秀中小企业也随之脱颖而出。

2017-03-17 10:13:52

SAP
基础算法学习路线及随想
针对当前的内功难题：数学和算法。我想着还是先从算法开始吧，毕竟数学距离实际工作的距离更远一些，算法的学习可以在工作中做一个过渡，数学只能先放下了(真TM后悔考研没好好学数学)。

2017-03-17 09:12:13

基础算法路线
Kafka设计原理以及在达观产品中的应用
这样的业务需求需要达观提供数据暂存服务，也就是说我们需要一个系统在生产者（客户上报数据）和消费者（后台数据处理）之间进行沟通，简而言之叫系统间通信消息系统，这种模型就是经典的生产者（producer）、消费者（consumer）模型。

2017-03-16 20:00:17

Kafka设计原理达观产品
现代数据集成所需的业务层面
数据集成一直面临着复杂的技术问题。显然，对于数据集成的许多方面总是需要精通技术，并且需要能够处理复杂问题的解决方案。但是，这种方法对于那些从现代数据集成中需要和希望达成目标的企业来说是不够的。因为商业无处不在，业务用户需要参与和投入，这仍然是一个挑战。

2017-03-16 09:24:31

数据集成业务
Teradata天睿公司发布开源Kylo软件 业内率先实现数据管道快速搭建与管理
Teradata天睿公司发布开源Kyl软件业内率先实现数据管道快速搭建与管理，企业将能够更简单、更经济、更迅速地开发数据湖，并专注于实现显著业务成果。

2017-03-16 09:14:00

Teradata
鱼缸式百分比信息图表，这样计算才正确
使用柱形图+贴入形状的方法来会绘制鱼缸和水面，这是一种常用作图技巧。关键是作图数据准备，指标数据如何正确转换为鱼缸里水面的高度，使水的侧面积代表指标大小(因是平面图表，不必使用水的体积去代表)。

2017-03-16 09:10:41

鱼缸式信息图表计算
每个人的数据？数据集成自助服务
数据集成服务似乎是数据民主化的新力量。然而，当考虑当前的现代数据集成解决方案时，看起来技术精通的业务用户是自助数据集成能力的主要焦点。那么，日常业务用户的数据集成发生了什么变化呢?

2017-03-15 10:44:35

数据集成自助服务
大数据项目为什么失败，2017年将有何不同
大多数基于Hadoop的项目都在这三个方面失败。项目太过专注技术工作。此外，难以找到足够技能的人才，并且需要太多的时间和精力来建立基础设施。最后，初始投资太高，实施时间太长，使得很难快速实验和迭代成功。

2017-03-14 15:43:39

大数据项目Hadoop
微服务架构下的分布式数据管理
在微服务架构中，每个微服务都有自己私有的数据集。不同微服务可能使用不同的SQL或者NoSQL数据库。尽管数据库架构有很强的优势，但是也面对数据分布式管理的挑战。第一个挑战就是如何在多服务之间维护业务数据一致性;第二个挑战是如何从多服务环境中获取一致性数据。

2017-03-14 11:52:52

微服务架构数据管理
神经网络理论基础及Python实现
神经网络既解决分类(classification)问题，也可以解决回归(regression)问题。对于分类问题，如果是两类，则可以用一个输出单元(0和1)分别表示两类;如果多余两类，则每一个类别用一个输出单元表示，所以输出层的单元数量通常等一类别的数量。

2017-03-13 14:45:51

Python神经网络基础
如何使用Hadoop提升Hive查询性能
Apache Hive 是一个 Hadoop 之上构建起来的数据仓库，用于数据的分析、汇总以及查询。Hive 提供了一种类 SQL 的接口来查询被存储在各种数据源和文件系统中的数据。

2017-03-13 09:50:00

HadoopHive
pyspark访问hive数据实战
直接进行spark开发需要去学习scala，为了降低数据分析师的学习成本，决定前期先试用sparkSQL，能够让计算引擎无缝从MR切换到spark，现在主要使用pyspark访问hive数据。

2017-03-13 09:48:26

pysparkhive数据
大火的Apache Spark也有诸多不完美
Apache Spark为大数据处理提供一套完整的工具，用户在大数据集上进行操作完全不需考虑底层基础架构，它会帮助用户进行数据采集、查询、处理以及机器学习，甚至还可以构建抽象分布式系统。

2017-03-10 16:32:44

Apache Spar大数据工具
VR改变大数据的四种方式
大数据就像是一种肆无忌惮的“野兽”--非常复杂、无结构。传统2D屏幕条形图和饼状图已无法分析大数据，也无法帮助我们有效处理大型数据集。

2017-03-10 08:39:33

VR大数据方式
DIY Hadoop大数据环境的5大陷阱
虽然Hadoop可以运行在廉价的商品计算机硬件，且用户很容易添加节点，但是它有一些细节是很昂贵的，尤其是你在生产环境中运行Hadoop。

2017-03-09 14:45:13

DIY Hadoop大数据环境
数据可视化并不是数据分析
可视化工具专注于报告数据而不是分析数据，因此它们只使用限制性平台来限制每个公式可以输入的聚合数。

2017-03-09 09:54:13

分析数据可视化
多云未来，Hadoop何去何从？
Hadoop在未来还会保持两到三年的强劲增长，但最终它可能只会留在数据库与大型机身边。数字时代的变化速度太快，没有任何一种技术可以长盛不衰!

2017-03-09 09:24:43

Hadoop技术大数据
Apache HBase 入门
HQuorumPeer 进程是由 HBase 控制及启动的 ZooKeeper 实例。如果你以这种方式使用 ZooKeeper，则每个集群节点限制只有一个实例，且只有测试时才合适。如果 ZooKeeper 不在 HBase 下运行，则进程名称为 HQuorumPeer 。

2017-03-09 08:37:26

ApacheHBaseQuickstart
如何构建下一代大数据架构——数据湖
大数据是一个企业投入了大量资金的热门话题，但要注意，除了考虑数据规模，我们还需要考虑到被分析数据类型的多样性。数据种类不同意味着数据集可以存储在许多格式和存储系统中，每个类型都有自己的特征。

2017-03-08 10:56:03

大数据架构数据湖
云时代的大数据存储-云HBase
大数据时代数据存储的特点为：基础量大、增长快、计算与存储的实时性要求迫切、支持时效性短、易发散、易产生脏数据，这些HBase自出生起，就满足这些需求。

2017-03-08 10:29:06

HBase大数据存储
大数据和区块链之间的比较分析
数据和区块链两者之间有个共同的关键词：分布式，代表了一种从技术权威垄断到去中心化的转变。

2017-03-07 12:05:32

大数据区块链分析
供应链如何使用大数据？
大数据可能被破坏或中断，但供应链管理不在其中之列。这不是说供应链没有改变。人们如何收集和分析数据，改变了供应链的沟通方式。事实上，供应链发生了巨大变化，咨询机构德勤公司发布了一份报告，取消了线性链，声称技术中断导致了“数字供应网络的兴起”。

2017-03-07 10:46:05

供应链大数据堆叠
非数据科学家如何进行数据分析?
大多数业务人员和分析师都将通过自助式BI工具来准备和分析大数据。虽然目前国内的发展现状无法在2018年达到自助式分析的局面，但这一趋势无法否认。即便不是数据科学家，但仍然可以轻松地分析数据，从中获取价值，才是大数据的正确打开方式。

2017-03-07 10:37:05

非数据数据分析
实现Spark部署 依赖供应商还是"自力更生"？
Apache Spark用户经常面临一个困境：继续获取来自供应商的支持还是更新版本，使用具有更新功能的快速移动的开源软件?

2017-03-07 08:28:38

Spark部署供应商
数据API经济与大规模数据流通：从水的寓言说起
近期数据API接口服务逐渐兴起，正因数据API服务允许需求方“挑数据”，并具备“开箱即用”以及降低交易成本与门槛等优点，将会成为数据能力开放与交易流通的重要手段。但数据API从当前的实践来看远非完美，运营不慎会导致类似金融领域洗钱行为的“洗数”活动出现，并在隐私保护、计费方面存在不足，因此本文提出了“增强型数据交换导向API”的概念，使得数据API经济能在深思熟虑的顶层设计下运行。本文将从一个寓言故事引出上述探讨。

2017-03-07 08:01:39

数据API数据流通
Hadoop正在走下坡路
长期以来，Hadoop 这个词铺天盖地，几乎成了大数据的代名词。三年之前，提起超越 Hadoop 这件事，似乎还显得难以想象。但三年后的今天，这一情况发生了一些改变。

2017-03-07 07:59:16

Hadoop下坡路
Spark性能优化之道——解决Spark数据倾斜（Data Skew）的N种姿势
本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代替Reduce侧Join，给倾斜Key加上随机前缀等。

2017-03-07 07:44:52

Spark数据倾斜
数据与可视化的完美碰撞，让你真正欲罢不能
数据井喷似的增长，分析人员将这些庞大的数据汇总并进行分析，而分析出的成果如果是密密麻麻的文字，相信没有几个人能耐心看下去，所以我们就需要将数据可视化，所谓有图有真相，用图表甚至动态图的形式将数据更加直观的展现给用户，减少用户的阅读和思考时间，以便很好地做出决策。

2017-03-06 15:36:56

数据可视化矩阵图
跌下神坛的Hadoop 过度炒作还是理性选择？
单纯从 Hadoop 的市场占有率来推断其发展态势似乎有些片面了，因为还有许多公司并非不想采用 Hadoop，只是他们发现很难利用现有的技术团队充分挖掘 Hadoop 的应用价值，实际上，他们只是需要更多的专业知识。

2017-03-06 14:24:26

Hadoop炒作选择
Hadoop历史、HDFS特点及对大数据时代的意义
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。

2017-03-06 10:45:29

HadoopHDFS大数据
OpenStack Sahara如何构建Hadoop和Spark系统
OpenStack是一种云操作系统，用于提供虚拟机，而OpenStack Sahara是一个附加组件，使管理员能够在这些虚拟机上部署Spark和Hadoop。

2017-03-06 09:40:39

OpenStack SHadoopSpark
大数据对网络运维意味着什么？
爆炸式增长的数据的存储和计算需求促使存储硬件、网络基础设施以及处理海量数据的计算方法不断改进。传统运维从只对网络基础设施和流量进行简单管理到突然增加对业务和复杂流量进行管理必然力不从心。

2017-03-06 09:15:18

大数据运维网络
如何设计成功而有价值的数据可视化？
无论是哪种职业和应用场景，数据可视化都有一个共同的目的，那就是准确而高效、精简而全面地传递信息和知识。

2017-03-06 08:37:52

数据可视化设计
国双发布《2016中国互联网发展报告》: 移动端访问高峰在夜间21时
近日，企业级大数据分析软件提供商国双于北京发布《2016中国互联网发展报告》。本次报告内容包含全网概况、访问特征、渠道分析、行业视角等四个方面，以女装、IP影视剧植入、汽车、美妆等四个行业领域为典型案例，多维透视解读了2016年中国互联网的发展大势。

2017-03-03 11:10:45

移动端访问高峰
一张引人注目的可视化图表的背后
数据的可视化也是一样，组成一幅内容清晰、表达力强、美观的可视化信息图的也仅仅是一些基本的元素，这些元素的不同组合却可以产生出令人着迷的力量。

2017-03-03 09:31:06

可视化图表
关联规则推荐算法的原理及实现
本文将通过一个简单的例子来说明关联规则中各个术语的含义以及具体的计算方法。

2017-03-02 10:49:37

推荐算法原理实现
2017年大数据产业发展呈六大趋势
2016年，我国大数据产业保持高速发展态势，各级政府和企业大力推进，技术创新取得明显突破，大数据应用推进势头良好，产业体系初具雏形，支撑能力日益增强。

2017-03-01 21:02:11

大数据趋势
HBase最佳实践－写性能优化策略
本篇文章来说道说道如何诊断HBase写数据的异常问题以及优化写性能。和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值(128M)之后，系统会异步将Memstore中数据flush到HDFS形成小文件。

2017-03-01 20:53:56

HBase实践
从TensorFlow到Theano：横向对比七大深度学习框架
目前流行的几种工具(Theano、TensorFlow、Torch、Caffe、MXNet、Neon 和 CNTK)进行一次横向对比。以下图表展示了各类深度学习工具的优劣，希望对大家能有所帮助。

2017-03-01 13:36:41

TensorFlowTheano框架
支付风控数据仓库建设
支付系统的风控分析需要大量的数据支撑。本文从名单、画像和图谱三个层面，分析在支付系统建设的不同阶段如何建立支持风控计算的数据仓库，详细介绍从什么地方采集数据、如何采集数据、以及如何存储这些数据。

2017-03-01 10:50:45

支付风控数据
“大数据”可以解决什么样的实际问题
“大数据”是我们天天挂在嘴边的词儿，但是若要让你说一说大数据可以解决哪些现实生活中的实际问题，可能你的大脑里是一片空白。因此，我们采访了20多位大数据厂商和提供大数据解决方案厂商的高管，看看他们到底利用大数据解决了现实生活中的哪些问题?

2017-03-01 10:04:16

大数据问题解决
关于大数据采集平台架构分析的简述
我们简单讨论了几种流行的数据收集平台，它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入，输出和中间的缓冲的架构。利用分布式的网络连接，大多数平台都能实现一定程度的扩展性和高可靠性。

2017-02-28 21:23:34

大数据采集架构分析
Pandas处理大数据的一些小技巧
近期的工作和Hive SQL打交道比较多，偶尔遇到一些SQL不好解决的问题，会将文件下载下来用pandas来处理，由于数据量比较大，因此有一些相关的经验可以和大家分享

2017-02-28 10:54:40

Pandas
5节点Hadoop分布式集群搭建经验分享
本文章我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。

2017-02-28 09:48:30

Hadoop集群搭建
基于Hadoop的数据仓库Hive基础知识
Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行执行。

2017-02-28 09:21:56

HadoopHive数据仓库
重磅！2017大数据十大趋势
2017年大数据将不再是Hadoop一家独大，也不再是编程者们的自娱自乐，企业和终端用户的不断涌入，海量数据“堆积如山”，随之而来的储存、分析、处理成为从业者的下一挑战。

2017-02-27 16:49:48

大数据趋势
Hadoop让大数据在零售业变得更有价值
在过去几年，全球零售商一直试图利用大数据创造价值。由于其大数据分析基础架构的限制，许多工作被一再推迟。Hadoop为这些零售商打开了新的大门，它可以解决他们在过去几年在大数据领域面临的许多问题和挑战。

2017-02-27 16:47:52

零售业大数据
Spark知识体系完整解读
　　Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。

2017-02-27 16:42:23

Spark识体系
为何HDFS是大数据分析的软肋
分布式文件系统是大型分析非常重要的一环。即使你是在使用Spark，你仍然需要将大量的数据快速的存入内存，所以文件系统一定要可以是高速率的。但是，HDFS并不像它标榜的那样好，它是大数据分析的薄弱环节。

2017-02-27 16:35:00

HDFS大数据分析
上一页 1 ··· 121122123124125 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服