51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
如何将kafka中的数据快速导入Hadoop？
Kafka是一个分布式发布—订阅系统，由于其强大的分布式和性能特性，迅速成为数据管道的关键部分。它可完成许多工作，例如消息传递、指标收集、流处理和日志聚合。Kafka的另一个有效用途是将数据导入Hadoop。

2018-10-22 14:48:39

KafkaHadoop代码
从面试官的角度谈谈大数据面试
关于传授面试经验的文章太多了，眼花缭乱，我这里就不谈了，点进来想获取几吨面试学习资料的同学，抱歉让你失望了。(我是真的找不到那么多资料...)。所以，今天我们只聊面试官。

2018-10-22 14:28:26

面试官数据公司
没有完美的数据插补法，只有最适合的
数据缺失是数据科学家在处理数据时经常遇到的问题，本文作者基于不同的情境提供了相应的数据插补解决办法。没有完美的数据插补法，但总有一款更适合当下情况。

2018-10-22 14:00:12

数据数据插补数据科学
用Python分析北京二手房房价
用Python分析北京二手房房价，首先导入要使用的科学计算包numpy,pandas,可视化matplotlib,seaborn,以及机器学习包sklearn。

2018-10-22 13:10:43

分析Python房价
5个原因告诉你：为什么在成为数据科学家之前，“逻辑回归”是第一个需要学习的
本文将要列出5条原因来说明为什么最开始学习逻辑回归是入门最好的选择。当然，这只是我个人的看法，对于其他人可能有更快捷的学习方式。

2018-10-21 16:10:54

数据科学算法逻辑回归
美团点评基于 Flink 的实时数仓建设实践
近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。本文主要阐述使用 Flink 在实际数据生产上的经验。

2018-10-19 14:16:09

Flink数据仓库数据系统
全球调研报告：分析洞察依旧受制于技术复杂和人才瓶颈
全球独家无处不在数据智能技术供应商Teradata天睿公司(纽交所：TDC)宣布，委托独立科技市场调研公司Vanson Bourne面向全球企业高级管理人员开展调研显示，企业想在各部门全面使用智能化技术时严重受阻。

2018-10-18 13:42:06

技术人才数据
大数据和人工智能的未来可以归结为一件事
就大数据、分析和人工智能而言，价值不是来自收集数据(甚至也不是来自于从中获取的一些洞察)，价值来只有一个来源：行动。

2018-10-18 12:47:09

大数据人工智能分析
张峰：工信部将落实四方面战略 推动大数据产业发展
张峰透露下一步工信部将以习近平四新时代中国特色社会主义思想为思想，深入贯彻党的十九大和十九届二中、三中全会精神，充分把握大数据面临的新趋势、新特点，扎实推进国家大数据战略，全面提升我国大数据应用能力。

2018-10-18 12:16:28

大数据张峰工信部
分享：数据可视化专家的七个秘密
数据可视化是数据探索以及数据表现的重要方式， 然而， 对于数据可视化的开发者来说， 依然有很多挑战要去面对。 这些迎接这些挑战的方法， 则是很多专业的数据可视化开发者不愿意让别人知道的秘密。

2018-10-18 11:03:06

数据可视化数据数据集
大数据的阴暗面
数据无疑是企业创新的关键，为企业做出明智商业决策提供了巨大的机会。但是，当企业采用大数据时，他们也应该考虑大数据的阴暗面。

2018-10-18 09:55:15

大数据数据大数据安全
Hadoop，Zookeeper这些名字都是怎么来的呢？
Hadoop这个名字是Hadoop项目创建者Doug Cutting 的儿子的一只玩具的名字。他的儿子一直称呼一只黄色的大象玩具为 Hadoop 。这刚好满足Cutting 的命名需求，简短，容易拼写和发音，毫无意义，不会在别处使用。于是 Hadoop 就诞生了。

2018-10-17 18:53:20

HadoopSparkZookeeper
掌握这25条小贴士，快速提升数据可视化能力！
可视化不是单纯的数据展示，其真正价值是设计出可以被读者轻松理解的数据展示。设计过程中的每一个选择，最终都应落地于读者的体验，而非设计者个人。本文提到了一些常见错误，也是我们团队总结出的一些技巧。这25条小贴士能够快速提升和巩固你的数据可视化设计。

2018-10-17 12:03:45

可视化设计图表
高德地图联手达摩院推出车载AR导航 颠覆传统驾车体验
高德地图今日宣布与达摩院达成合作，共同推出车载AR导航。该产品借助高德地图专业的交通大数据和车道级导航引擎，以及双方合作共建的图像识别AI技术能力，将真实的道路场景与虚拟的导航指引有机结合，给驾驶员带来更直观的实景导航体验。

2018-10-17 11:41:55

高德AR导航
2018UBDC全域大数据峰会成功举办：重磅发布U-App AI版
10月16日，友盟+主办的2018UBDC全域大数据峰会（以下简称“峰会”）在北京拉开帷幕。峰会以“DI•进化”为主题，旨在让更多企业“会用数据，用好数据”——8小时，10余家黑科技企业，超40位国内顶级专家主题分享，近3500位数据从业者共同见证，从数据、技术、应用、意识各维度对因数据带来的进化加以演绎，重现各行各业的数据变革场景。

2018-10-16 17:37:40

全域大数据AIUBDC
5个系统管理员常用的警报和可视化工具
这些开源工具帮助用户了解系统行为和输出，并为潜在问题提供警报。你可能使用警报和可视化工具，为什么我要将它们作为可观察性工具进行讨论，特别是某些系统将可视化作为特征?

2018-10-16 15:30:49

可视化警报工具
分享 : 数据可视化专家的七个秘密
数据可视化的道路上充满了不可见的陷阱和迷宫，最近ClearStory Data的两位数据可视化开发人员分享了他们总结出来的数据可视化开发的7个不宣之秘，普通开发者了解这些方法能提升视野，少走弯路。

2018-10-16 15:12:48

数据可视化数据集工具
真的缺数据科学家吗? 如今到底有多少数据科学家？
LinkedIn公司在2018年8月发布的美国劳动力报告中提到：“对数据科学家的需求空前高涨……具有数据科学技能的人才短缺问题几乎存在于美国的所有大城市。在全美国范围内，共缺少151717名具有数据科学技能的人，其中纽约市(34032人)、旧金山湾区(31798人)和洛杉矶(12251人)的人才短缺尤为严重。”

2018-10-16 14:37:34

数据科学家数据分析数据科学
几十行代码让你知道朋友圈都是什么样的朋友
微信是一个神奇的存在，它是一个国民级别的全民APP，所以，微信的产品设计一直都是一个有趣的现象，从最初底部Tab的数目、每个Tab的名称、“发现页面的定制、小程序入口、朋友圈入口到朋友圈评论等等一系列的设计细节，都是值得我们透过人性和心理去研究的。

2018-10-16 14:30:22

Python微信朋友圈
做不到那么优秀?那来看看成为一名糟糕的大数据平台工程师有哪些表现?
要想成为一名优秀的大数据平台开发工程师，只要做到深度与广度并重，钻研技术、理解产品、能搭架构、能解Bug，那就妥妥的了。优秀的人都是类似的，说起来就太过无聊了。所以，本文换一个角度，聊聊如何做到不那么优秀，要想成为一名糟糕的开发工程师都需要有哪些表现。

2018-10-16 14:18:14

大数据工程师糟糕
谁“杀死”了大数据创业者？
“这两年在大数据领域，纯粹讲概念没有技术的公司都死完了。融资过很多的钱的企业虽然还存活着，但大多过的也很难受。”一位大数据领域的资深创业者，对创界网说出了整个业内的真实现状。

2018-10-16 11:02:03

大数据寒冬创业
Kafka集群内复制功能深入剖析
Kafka是一个分布式发布订阅消息系统。由LinkedIn开发并已经在2011年7月成为apache顶级项目。kafka在LinkedIn, Twitte等许多公司都得到广泛使用，主要用于：日志聚合，消息队列，实时监控等。

2018-10-15 17:24:31

Kafka分布式数据
比拼生态和未来，Spark和Flink哪家强？
Spark 和 Flink 都是通用的开源大规模处理引擎，目标是在一个系统中支持所有的数据处理以带来效能的提升。两者都有相对比较成熟的生态系统。是下一代大数据引擎最有力的竞争者。

2018-10-15 15:12:12

SpakrFlink大数据
如何将传统关系数据库的数据导入Hadoop？
大多数企业的关键数据存在于OLTP数据库中，存储在这些数据库中的数据包含有关用户，产品和其他有用信息。如果要分析此数据，传统方法是定期将该数据复制到OLAP数据仓库中。

2018-10-15 13:57:38

Hadoop数据库MySQL
Teradata天睿公司推出无处不在数据智能平台Teradata Vantage助力企业随时分析所有数据
全球独家无处不在数据智能技术供应商Teradata天睿公司(纽交所：TDC)宣布面向所有客户推出下一代分析平台Teradata Vantage。

2018-10-12 16:14:42

Teradata天睿公司数据
大数据干货 | 论Spark高手是怎样炼成的
大数据的处理怎么能变快一点，答案是请用spark，因为它是基于内存的，可以有效减少数据的落地次数。Spark性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。

2018-10-12 14:26:04

SparkSpark框架Scala
Cloudera和Hortonworks宣布合并：对Hadoop的一记重创！
近日，大数据领域的两大巨头公司Cloudera和Hortonworks宣布平等合并，Cloudera以股票方式收购Hortonworks，Cloudera股东最终获得合并公司60%的股份。 这笔交易意味着Hadoop市场再也无法维持两大竞争对手对峙的状态了。

2018-10-12 14:01:14

Hadoop大数据公有云
Tableau官方推荐：12本关于数据可视化的好书
你想了解更多关于数据可视化的理论知识和历史背景吗?你想受到令人惊叹的可视化示例的启发吗?你希望能够创建更有效的可视化效果吗?或者你是否有兴趣从权威部门获取有关数据可视化的信息吗?

2018-10-11 20:47:23

书籍数据可视化数据分析
大数据生态圈到底是一个什么概念？
大数据这个概念本身就太大而且太宽，如果一定要严格定义是非常困难的一件事，不过Hadoop生态圈或者由其延伸的泛生态系统，基本上都是为了处理大量数据诞生的——一般而言，这种数据依赖单机很难完成。

2018-10-11 20:38:27

大数据生态圈分布式
大数据杀熟 无解的死循环？
总之，要想杜绝大数据杀熟问题，需要旅行APP平台方、相关监督机构、消费者以及健全的法律法规共同努力。相信在未来的日子里，大数据带给我们更多的是便利，而不是麻烦。

2018-10-10 20:20:14

APP监管大数据杀熟
Teradata天睿公司：超越分析直通成果
1979年诞生于美国加利福尼亚州布伦特伍德市一间车库内。创建至今近四十年间，Teradata天睿公司已成长为占据统治地位的云端数据与分析技术公司，致力于服务全球规模最大、最富有远见的企业。

2018-10-09 17:37:54

超越分析成果
技术分享：Hadoop框架
Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(Hadoop Distributed File System)来执行MapReduce程序的MapReduce引擎。

2018-10-09 15:00:43

Hadoop分布式架构
Spark灰度发布在十万级节点上的实践
本文介绍了顶级互联网公司数万节点下 Spark 的 CI 与 CD & CD 灰度发布实践。包含如何维护源代码，如何维护 Release 多版本，开发版与正式版，以及如何实现灰度发布，如何进行 hotfix 等。为了提高本文内容的可借鉴性，隐去了公司特有内容，只保留通用部分。

2018-10-09 14:31:32

SparkCI灰度
如何将数据移入和移出Hadoop？
本文是《Hadoop从入门到精通》大型专题的第5章，将完全解答上述问题，让企业走上无忧数据移动之路。本章，我们将首先介绍如何将不同位置和不同格式的数据移动到Hadoop，之后将讲解如何将数据移出Hadoop。

2018-10-09 14:16:21

Hadoop数据移入数据传输
干货 ：5种项目助你找到数据科学工作
或许您已经在网上看了许多的MOOC，阅读了很多工具书，但是您有可能仍然担心找不到工作或根本没有找到工作。在数据科学领域找到合适的工作的确有一定难度。最好的向HR展现您能力的方式就是准备一个文件夹。在文件夹中放入以下五种您做过的数据科学项目。

2018-10-08 12:08:32

数据科学数据清洗数据分析
三行Python代码，让数据预处理速度提高2到6倍
在 Python 中，我们可以找到原生的并行化运算指令。本文可以教你仅使用 3 行代码，大大加快数据预处理的速度。

2018-10-07 05:27:03

Python代码机器学习
大数据的特点是什么，大数据与Hadoop有什么关系？
在大数据时代，Hadoop以其优越的性能受到业界的广泛关注，已经成为大数据处理领域事实上的标准。如今，Hadoop在诸多领域大显身手。随着开源社区和国际众多国际技术厂商对这一开源技术的积极支持与持续的大量投入，相信不久的将来，Hadoop技术会被拓展到更多的应用领域。

2018-09-30 15:55:56

大数据Hadoop分布式
大数据、物联网、区块链：融合趋势三重奏的好处
如今，大数据、物联网、区块链三大巨头板块正在改变着世界。随着全球科技的发展，它们逐渐形成了自己独特的个性趋势，搞技术的人几乎没有不认识它们的。那么大数据、物联网和区块链的结合会带来怎样的技术红利?

2018-09-30 15:08:41

大数据物联网区块链
初探：企业数据湖治理优秀实践！
通常，那些刚接触大数据的人，甚至是精通Hadoop的老手，都会尝试使用不同的脚本、工具和第三方供应商来组建几个集群并拼凑在一起，这既不符合成本效益，也不可持续。本文，作者将描述数据湖与集群拼凑方式相比的优势是什么，集群如何规划和治理才能构建有效的数据湖。

2018-09-30 15:05:38

数据湖数据仓库Hadoop
谷歌正式发布数据可视化工具，提供超500个数据源，主要还免费！
Google宣布在2016年发布的数据可视化工具Data Studio，以及2017年发布的的数据预先处理服务Cloud Dataprep，现在都正式可用。

2018-09-30 10:12:48

数据源数据可视化谷歌
图数据库：释放互联数据的力量 原创
TigerGraph凭借强大的图数据库，为企业提供实时分析应用程序，在反欺诈和反洗钱、消费者智能、智能供应链、智能电网等应用中都有着出色的表现。

2018-09-29 15:33:46

图数据库TigerGraph
揭开互联网公司的神秘面纱，数据解读那些slay整个行业的互联网公司
随着互联网行业的日益兴盛，吸引力越来越多的牛人加入其中，也有许多小伙伴跃跃欲试，想要在互联网的浪潮中大展身手。今天我们通过看准网的数据，帮助大家对各大互联网公司有一个比较概括的了解。

2018-09-29 14:59:06

互联网数据BAT
十一出行，高德让你不堵心 原创
国庆长假即将来临，高德在北京举行了第二届“十一全民出行节”发布会。会上，高德地图发布了智慧景区开放平台，相比同行业，高德智慧景区开放平台的最大的特点是，以服务游客为中心，能力向景区免费开放。

2018-09-29 12:06:24

高德十一出行
大数据可视化工具圈里的春秋战国
大数据可视化工具因其能将数字变成酷炫的图表而进入大众视野，但大家对该产品的了解还很有限，本文将从竞争格局、发展现状以及未来趋势三个维度具体探究大数据可视化工具市场的发展。

2018-09-28 17:16:18

数据可视化工具发展趋势
全球10大智慧城市大数据应用案例
当前，全球范围内城市化进程不断推进。随着互联网和信息化的发展，在云平台、大数据和物联网等技术的支持下，率先在美国“智慧星球”概念下诞生的“智慧城市”，逐渐成为当今世界各国城市建设的发展趋势和选择。

2018-09-27 15:03:21

大数据城市建设数据挖掘
这10本免费的机器学习和数据科学书籍，确定不看一下么？
是时候让你的书架上新增几本机器学习和数据科学书籍了，KDnuggets 网站编辑 Matthew Mayo 挑选了 10 本机器学习和数据科学相关的书籍。这些书籍都是免费的，对机器学习和数据科学感兴趣的人可不要错过了。

2018-09-27 14:50:04

机器学习数据科学书籍
推荐 ：数据科学与大数据技术面试建议与技巧之危险信号
本文列举了12个危险信号，当数据科学家职位面试中发现公司存在这些危险信号时，你应该要远离这家公司。如果你想加入一家公司作为他们的第一个数据科学家，你将面临一系列不同的挑战。

2018-09-27 14:33:20

数据科学大数据面试
让机器数据发光 原创
Splunk 为业界带来了惊艳的大数据平台，让大数据产生大价值，用一个平台，解决了几乎所有数据分析的问题。相信随着本土生态的丰富，Splunk中国在很长一段时间内都将保持高速的发展。

2018-09-27 10:44:35

机器数据splunk
用R语言分析与预测员工离职
在实验室搬砖之后，继续我们的kaggle数据分析之旅，这次数据也是答主在kaggle上选择的比较火的一份关于人力资源的数据集，关注点在于员工离职的分析和预测，依然还是从数据读取，数据预处理，EDA和机器学习建模这几个部分开始进行，最后使用集成学习中比较火的random forest算法来预测离职情况。

2018-09-26 19:51:07

数据分析Kaggle员工离职
几款数据可视化的工具介绍
数据可视化主要通过编程和非编程两类工具实现。主流编程工具包括以下三种类型：从艺术的角度创作的数据可视化，比较典型的工具是 Processing，它是为艺术家提供的编程语言。

2018-09-26 16:15:31

数据可视化大数据数据分析
上一页 1 ··· 9192939495 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服