51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
数据分析与可视化，你靠什么搞定？
在本文中，我们将共同了解四款出色的JavaScript库，其能够帮助大家更为轻松地完成数据分析与可视化工作。

2017-04-18 11:01:14

数据分析数据可视化
Hadoop常见错误和处理方式
目前发现很多的地方，TASKTRACKER和HDFS都分了组，但是只修改一组的参数，造成系统大量出问题。java heap size以及tasktracker被拉黑名单的问题。

2017-04-17 10:05:51

Hadoop错误方式
微信高可用分布式数据库PhxSQL设计与实现
本文详细描述了PhxSQL的设计与实现。从MySQL的容灾缺陷开始讲起，接着阐述实现高可用强一致的思路，然后具体分析每个实现环节要注意的要点和解决方案，最后展示了PhxSQL在容灾和性能上的成果。

2017-04-17 09:54:34

分布式数据库PhxSQL
如何做好数据精细化分析，让你的运营效果指数级增长？
数据分析对于运营来说非常重要，它就像航海中的指南针，越精确的数据细度能反映不同运营手段对应的不同效果。

2017-04-14 09:23:19

数据精细化运营效果
借hbase-rdd二次开发谈如何在Spark Core之上扩建自己的模块
我是51CTO学院讲师张敏，在51CTO学院 “4.20 IT充电节”(4月19~20日) 到来之际，和大家分享一下Spark Core之上扩建自己的模块的经验。

2017-04-14 09:03:00

RDD模块Hbase
中国不允许信息数据随意离境，可能会影响不少跨国公司
微软曾于去年起诉美国司法部不让用户知道政府秘密获取数据。美国政府当时想获得微软海外服务器上的数据。但随着现在政策愈发收紧，跨国公司找海外数据安全港是越来越难了。

2017-04-13 15:30:09

大数据动向
Spark for python developers —Spark与数据的机器学习
机器学习可以从数据中得到有用的见解. 目标是纵观Spark MLlib，采用合适的算法从数据集中生成见解。对于 Twitter的数据集, 采用非监督集群算法来区分与Apache
Spark相关的tweets。 初始输入是混合在一起的tweets。 首先提取相关特性, 然后在数据集中使用机器学习算法, 最后评估结果和性能。

2017-04-13 13:30:56

SparkSpark MLlib机器学习
数据分析的一些常见问题
数据分析重要，但是，很多时候却不知道该如何去做，面对大量的数据，却无从下手。概括起来，经常面临的困难有：

2017-04-13 12:59:43

数据分析
数据监测驱动下的信息流广告优化
“今日头条和百度必有一战”，相信不少的互联网人在过去几个月都听到过类似的断言。定位于信息分发平台的今日头条和主营搜索业务的百度会产生如此大的利益冲突，最核心的点其实就是信息流广告。

2017-04-13 12:01:54

数据监测信息流
百万自媒体大V的数据分析师成长线路，薪水过万难吗？
今天这个标题有点大，内容可能涉及的比较多，但也是数据君多年来一直想写的，却一直不敢写的。微博玩了7年，已有近120万的粉丝，微信玩了4年多，也有20万+粉丝了，许多人都知道这个账号，但从来不知道运营这个账号的是一个团队还是一个人？

2017-04-13 11:59:34

数据分析师
NLP与知识图谱的对接
本文整理自中国中文信息学会常务理事、白硕博士在杭州金融知识图谱论坛上的演讲。

2017-04-13 11:48:05

NLP知识图谱
十个建议，你的报表也可以高大上
本文作者是个在数据可视化领域有着十五 年经验的设计师，所以每天都会进行图表设计。这里他为大家分享了他做出兼具美学与实用性图表的设计原则。

2017-04-13 11:45:56

报表大数据应用
关于移动互联网产品的指标分析初探
移动互联网产品的本质是信息与数据的传输和交换，其商业模式与数据流量息息相关，因而会产生面向运营的产品设计等诸多方法。

2017-04-13 09:20:07

移动互联网产品指标分析
Spark名词解释及关系
随着对spark的业务更深入，对spark的了解也越多，然而目前还处于知道的越多，不知道的更多阶段，当然这也是成长最快的阶段。这篇文章用作总结最近收集及理解的spark相关概念及其关系。

2017-04-13 09:10:06

Spark解释关系
主流开源SQL引擎总结，不断改进的Hive始终遥遥领先
本文涵盖了6个开源领导者：Hive、Impala、Spark SQL、Drill、HAWQ 以及Presto，还加上Calcite、Kylin、Phoenix、Tajo 和Trafodion。以及2个商业化选择Oracle Big Data SQL 和IBM Big SQL，IBM 尚未将后者更名为“Watson SQL”。

2017-04-13 08:49:16

SQLHive改进
全栈必备 面向数据的架构
数据是系统的核心，在面向服务的架构之外，可以考虑面向数据的架构方式。面向数据的服务架构需要支持多数据源异构，支持动态数据和静态数据，既支持公有云部署又支持私有云部署，提供多种数据应用和数据产品。

2017-04-12 14:45:20

数据架构数据源
助你所在团队走上大数据路途的六大规则 原创
由于“大数据”的热点集中和可以处理海量数据如大规模并行计算(massively parallel computing)、云计算、Hadoop和MapReduce。因此，Oracle、IBM、微软、SAP和其他大厂家目前共同在推动相关对话。

2017-04-12 13:42:53

大数据规则团队
企业应用大数据的三重境界：数据·分析·成果 原创
处理数量庞大、增长迅猛、种类繁多的数据成为众多企业面临的挑战。Teradata天睿公司作为全球领先的分析解决方案与咨询服务供应商，基于客户需求，提供领先、全面、有效的解决方案，帮助企业获取商业洞察力，并且将之转化为行动力，创造商业价值。

2017-04-12 13:12:42

teradata大数据数据
大数据道场(HDP SandBox) 初探
这里的大数据道场是以HDP sandbox 为基础的，安装好了virtual box，导入了sandbox镜像之后，启动虚拟机，来看看我们的大数据道场吧。

2017-04-12 12:34:00

大数据sandbox浏览器
数据获取不畅通，中国科学家做研究也受影响
在这个大数据时代，生物信息数据库和数据共享都有所发展，可用的技术资源也越来越多。直到最近，这种开放科学的趋势一直在帮助中国科学家获得国际竞争力。然而，中国社会正日益感受到对于公共数据搜索和共享的限制。如果这个问题不能尽快解决，便将拖累科学研究和创新。

2017-04-12 10:15:21

大数据数据获取数据分析
大数据在预测性维修中的应用
大量来自于发动机和其他一些关键部件的监控数据，使得预测性维修具备了可行性。越来越多的数据的收集和分析工具正在被开发或者投入运用。大数据在航空维修业的应用仍处于初始阶段，为了有效地处理这些来自飞机的数据，还要有思维及工作方式的转变。

2017-04-12 09:49:54

大数据应用预测性维修
数据科学家 / 统计学家应该养成哪些好习惯？
做过一点统计模型，做过一点数据分析，现在工作名字叫数据科学家，厚着脸皮抛砖引玉，聊聊数据分析中需要养成的良好习惯。

2017-04-12 09:34:30

数据科学家统计学家好习惯
Hive、MapReduce、Spark分布式生成唯一数值型ID
Spark中生成这样的非连续唯一数值型ID，非常简单，直接使用zipWithUniqueId()即可。

2017-04-12 09:29:02

HiveMapReduceSpark
玩笑到现实，大数据涉足文学研究–用数据模型分析莎翁著作
自然语言研究一直以来都是计算机研究的一个重要方向。随着大数据时代的到来，人们也越来越关注自然语言这方面的进展。而文学是自然语言这个皇冠上的明珠。人们都拭目以待大数据摘下这颗明珠的那一天。

2017-04-12 09:18:48

大数据数据模型数据分析
如何将枯燥的大数据呈现为可视化的图和动画？
RAW是基于D3.js的开源工具，不用代码，只需要导入数据，设置一些条件就可快速生成，而且可以导出矢量的图表!

2017-04-12 08:39:55

大数据可视化动画
数据分析机器学习的泰坦尼克案例-牛刀小试
我是51CTO学院讲师唐宇迪，在51CTO学院“4.20 IT充电节”(4月19~20日)到来之际，和大家分享一下机器学习实战案例经验。

2017-04-11 20:49:02

机器学习大数据数据分析
Apache Kylin优化–高级设置：聚合组（Aggregation Group）原理解析
“随着维度数目的增加，Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组(Aggregation Group)、联合维度(Joint Dimension)、层级维度(Hierachy Dimension)和必要维度(Mandatory Dimension)等。”

2017-04-11 09:33:55

Apache Kyli优化聚合组
Apache Beam 剖析
Apache Beam 主要针对理想并行的数据处理任务，并通过把数据集拆分多个子数据集，让每个子数据集能够被单独处理，从而实现整体数据集的并行化处理。

2017-04-11 09:17:07

Apache Beam剖析Flink
数据分析该分析什么
不管是用Python还是R，其实和用Excel一样，只不过现在之所以用Python、R是因为大数据时代么，数据太多，Excel的处理能力跟不上，但是这些都只是一个工具而已，核心还是围绕统计学不变的。

2017-04-11 09:08:02

数据分析Python
今日头条王烨：真正数据驱动的公司是这样使用数据的 原创
随着今日头条的发展，数据量递增式爆棚，今日头条基础数据平台架构师王烨见证了基础数据平台从无到有、从小到大的历程，故他由来解读平台演进过程中踩的哪些，再合适不过。

2017-04-10 10:05:47

今日头条数据驱动使用数据
Jarvis对大数据分析的未来将会有哪些帮助？
Jarvis使用许多人工智能技术，如语音识别，自然语言处理，强化学习和面部识别，用PHP，Objective-C和Python编写。

2017-04-10 09:06:23

Jarvis大数据人工智能
Hadoop环境中管理大数据存储八大技巧
目前大数据行业也越来越火爆，从而导致国内大数据人才也极度缺乏，下面介绍一下关于Hadoop环境中管理大数据存储技巧。

2017-04-10 08:56:46

Hadoop环境数据存储技巧
Uber开源数据可视化工具deck.gl获重大升级
deck.gl 是一个 WebGL 驱动的框架，专门用于大规模探索和可视化数据集。

2017-04-10 08:26:17

数据可视化工具deck.gl
有望取代Spark的实时机器学习框架Ray
一个新的项目旨在为实时处理开发一种速度更快的框架，可用来支持用Python编写的机器学习应用。

2017-04-08 17:32:39

人工智能乔丹Ray
挨踢部落坐诊第四期:Java消息队列的应用场景和作用 原创
挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

2017-04-07 11:16:08

消息队列；索引；App
Spark程序运行常见错误解决方法以及优化
task倾斜原因比较多，网络io,cpu,mem都有可能造成这个节点上的任务执行缓慢，可以去看该节点的性能监控来分析原因。以前遇到过同事在spark的一台worker上跑R的任务导致该节点spark task运行缓慢。

2017-04-07 09:02:06

Spark方法优化
数据分析中会常犯哪些错误，如何解决？
经典的冰淇凌销量和游泳溺水人数成正比的数据，这并不能说明冰淇凌销量的增加会导致更多的人溺水，而只能说明二者相关，比如因为天热所以二者数量都增加了。这个例子比较明显，说起来可能会有人觉得怎么会有人犯这样的错误，然而在实际生活、学习、工作中，时不时的就会有人犯这样的错误。

2017-04-07 08:43:46

数据分析错误解决
创业公司做数据分析(五)微信分享追踪系统
本文重点探讨数据采集层中的微信分享追踪系统。

2017-04-06 22:40:52

数据分析追踪系统微信
创业公司做数据分析(六)数据仓库的建设
本文将重点探讨数据处理层中数据仓库的建设。在第二篇运营数据系统一文，有提到早期的数据服务中存在不少问题，虽然在做运营Dashboard系统时，对后台数据服务进行了梳理，构建了数据处理的底层公共库等，但是仍然存在一些问题。

2017-04-06 22:15:07

数据分析数据存储数据仓库
创业公司做数据分析(四)ELK日志系统
本文将重点探讨数据采集层中的ELK日志系统。日志，指的是后台服务中产生的log信息，通常会输入到不同的文件中，比如Django服务下，一般会有nginx日志和uWSGI日志。这些日志分散地存储在不同的机器上，取决于服务的部署情况了。如果我们依次登录每台机器去查阅日志，显然非常繁琐，效率也很低，而且也没法进行统计和检索。因此，我们需要对日志进行集中化管理，将所有机器上的日志信息收集、汇总到一起。

2017-04-06 21:29:58

数据分析ELK架构
智能数据湖势在必行
由大数据触发的数据驱动的做法是一种最好的理解。如今，各个组织正在各种数据结构，格式和分布式地理数据源位置等方面进行竞争，并在时间框架和数量上超过了现有系统的能力。

2017-04-06 13:58:42

数据湖大数据数据管理
监测和管理：现代数据中心的主要考虑因素
对于ASHRAE及其指导方针，我们都有一定程度的了解。但是，业内专家或将告诉您说：数据中心的部署可以是独特于企业组织的要求的。这一点在当今的往往被用作进行大数据处理、云工作负载、虚拟化等等工作的中心枢纽的企业数据中心甚至更为真实。加上新型数据中心架构(如融合)，使得我们将在数据中心看到新的监控和管理需求。

2017-04-06 13:33:46

数据中心大数据
大数据独角兽Palantir之核心技术探秘
如果说谷歌是互联网大数据的霸主(确实如此，我在前文《从Tensorflow看谷歌的云端人工智能战略》有详细解读)，那么Palantir的目标就是做未来企业级大数据霸主，这家公司的愿景就是做企业和政府领域的Google。

2017-04-06 12:43:48

大数据谷歌Palantir
OLTP类系统数据结转更优实践
本文着重介绍了京东数据结转平台的技术架构，及OLTP类系统数据结转最佳实践，探讨解决大数据背景下的数据结转问题。

2017-04-06 09:56:52

大数据数据结转技术架构
Hive的查询注意事项以及优化总结
Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以需要去掉原有关系型数据库下开发的一些固有思维。

2017-04-06 09:49:55

Hive注意事项优化
是英雄还是狗熊？大数据那些事之SparkSQL
SparkSQL最主要的东西有两个，一个是DataFrame全面取代了RDD。我必须为这个叫声好。作为一个根红苗正的关系数据库思想熏陶出来的人，带有RDD的Spark总给我一种干爹干妈做的数据处理的产品的感觉。用上DataFrame顿时有回到亲爹亲妈做的产品的感觉。期间的差距，可能是无法言语表达的。

2017-04-06 09:35:10

大数据SparkSQLSpark
手机基站定位数据可视分析
在对轨迹进行可视化时，传统的可视化方法直接将轨迹数据一一绘制在地图上，由于相互遮挡等原因，不适用于大量数据的可视化。采用聚集可视化的方法，将对象个体数据转换为聚集值，能够观察移动对象的群体特征，同时也能减少刻画群体特征的数据量。

2017-04-06 08:42:18

手机定位数据可视
启动大数据项目之前需要问的5个问题
全球每天创造2.5EB字节的数据（即10亿千兆字节）。但它并不总是这样。根据IBM公司的计算，世界上90％的数据只是在过去两年创建的，而且报告中显示，企业使用数据可以节省数百万美元，并以前所未有的方式提高工作效率。

2017-04-05 15:32:42

大数据项目问题
玩不转大数据就别勉强了，或许“小数据”才是真正的终南捷径
数据的收集、分析、应用以及获取最新的数据技术的重要性不言而喻。作为工具，大数据可以帮助我们做出更明智的战略决策、降低成本、更精准地触达受众、理性评估风险、优化产品、更高效地运营业务。随着数据分析工具的推广和普及，预计2019年大数据市场规模将达到数千亿美元。

2017-04-05 12:58:53

大数据小数据
Python vs R : 在机器学习和数据分析领域中的对比
为了鼓励新工具的出现，机器学习和数据分析领域似乎已经成了“开源”的天下。Python 和 R 语言都具有健全的生态系统，其中包括了很多开源工具和资源库，从而能够帮助任何水平层级的数据科学家展示其分析工作。

2017-04-01 14:23:35

PythonR机器学习
上一页 1 ··· 120121122123124 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服