51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9063内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9063 条
大数据干货 | 论Spark高手是怎样炼成的
大数据的处理怎么能变快一点，答案是请用spark，因为它是基于内存的，可以有效减少数据的落地次数。Spark性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。

2018-10-12 14:26:04

SparkSpark框架Scala
Cloudera和Hortonworks宣布合并：对Hadoop的一记重创！
近日，大数据领域的两大巨头公司Cloudera和Hortonworks宣布平等合并，Cloudera以股票方式收购Hortonworks，Cloudera股东最终获得合并公司60%的股份。 这笔交易意味着Hadoop市场再也无法维持两大竞争对手对峙的状态了。

2018-10-12 14:01:14

Hadoop大数据公有云
Tableau官方推荐：12本关于数据可视化的好书
你想了解更多关于数据可视化的理论知识和历史背景吗?你想受到令人惊叹的可视化示例的启发吗?你希望能够创建更有效的可视化效果吗?或者你是否有兴趣从权威部门获取有关数据可视化的信息吗?

2018-10-11 20:47:23

书籍数据可视化数据分析
大数据生态圈到底是一个什么概念？
大数据这个概念本身就太大而且太宽，如果一定要严格定义是非常困难的一件事，不过Hadoop生态圈或者由其延伸的泛生态系统，基本上都是为了处理大量数据诞生的——一般而言，这种数据依赖单机很难完成。

2018-10-11 20:38:27

大数据生态圈分布式
大数据杀熟 无解的死循环？
总之，要想杜绝大数据杀熟问题，需要旅行APP平台方、相关监督机构、消费者以及健全的法律法规共同努力。相信在未来的日子里，大数据带给我们更多的是便利，而不是麻烦。

2018-10-10 20:20:14

APP监管大数据杀熟
Teradata天睿公司：超越分析直通成果
1979年诞生于美国加利福尼亚州布伦特伍德市一间车库内。创建至今近四十年间，Teradata天睿公司已成长为占据统治地位的云端数据与分析技术公司，致力于服务全球规模最大、最富有远见的企业。

2018-10-09 17:37:54

超越分析成果
技术分享：Hadoop框架
Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(Hadoop Distributed File System)来执行MapReduce程序的MapReduce引擎。

2018-10-09 15:00:43

Hadoop分布式架构
Spark灰度发布在十万级节点上的实践
本文介绍了顶级互联网公司数万节点下 Spark 的 CI 与 CD & CD 灰度发布实践。包含如何维护源代码，如何维护 Release 多版本，开发版与正式版，以及如何实现灰度发布，如何进行 hotfix 等。为了提高本文内容的可借鉴性，隐去了公司特有内容，只保留通用部分。

2018-10-09 14:31:32

SparkCI灰度
如何将数据移入和移出Hadoop？
本文是《Hadoop从入门到精通》大型专题的第5章，将完全解答上述问题，让企业走上无忧数据移动之路。本章，我们将首先介绍如何将不同位置和不同格式的数据移动到Hadoop，之后将讲解如何将数据移出Hadoop。

2018-10-09 14:16:21

Hadoop数据移入数据传输
干货 ：5种项目助你找到数据科学工作
或许您已经在网上看了许多的MOOC，阅读了很多工具书，但是您有可能仍然担心找不到工作或根本没有找到工作。在数据科学领域找到合适的工作的确有一定难度。最好的向HR展现您能力的方式就是准备一个文件夹。在文件夹中放入以下五种您做过的数据科学项目。

2018-10-08 12:08:32

数据科学数据清洗数据分析
三行Python代码，让数据预处理速度提高2到6倍
在 Python 中，我们可以找到原生的并行化运算指令。本文可以教你仅使用 3 行代码，大大加快数据预处理的速度。

2018-10-07 05:27:03

Python代码机器学习
大数据的特点是什么，大数据与Hadoop有什么关系？
在大数据时代，Hadoop以其优越的性能受到业界的广泛关注，已经成为大数据处理领域事实上的标准。如今，Hadoop在诸多领域大显身手。随着开源社区和国际众多国际技术厂商对这一开源技术的积极支持与持续的大量投入，相信不久的将来，Hadoop技术会被拓展到更多的应用领域。

2018-09-30 15:55:56

大数据Hadoop分布式
大数据、物联网、区块链：融合趋势三重奏的好处
如今，大数据、物联网、区块链三大巨头板块正在改变着世界。随着全球科技的发展，它们逐渐形成了自己独特的个性趋势，搞技术的人几乎没有不认识它们的。那么大数据、物联网和区块链的结合会带来怎样的技术红利?

2018-09-30 15:08:41

大数据物联网区块链
初探：企业数据湖治理优秀实践！
通常，那些刚接触大数据的人，甚至是精通Hadoop的老手，都会尝试使用不同的脚本、工具和第三方供应商来组建几个集群并拼凑在一起，这既不符合成本效益，也不可持续。本文，作者将描述数据湖与集群拼凑方式相比的优势是什么，集群如何规划和治理才能构建有效的数据湖。

2018-09-30 15:05:38

数据湖数据仓库Hadoop
谷歌正式发布数据可视化工具，提供超500个数据源，主要还免费！
Google宣布在2016年发布的数据可视化工具Data Studio，以及2017年发布的的数据预先处理服务Cloud Dataprep，现在都正式可用。

2018-09-30 10:12:48

数据源数据可视化谷歌
图数据库：释放互联数据的力量 原创
TigerGraph凭借强大的图数据库，为企业提供实时分析应用程序，在反欺诈和反洗钱、消费者智能、智能供应链、智能电网等应用中都有着出色的表现。

2018-09-29 15:33:46

图数据库TigerGraph
揭开互联网公司的神秘面纱，数据解读那些slay整个行业的互联网公司
随着互联网行业的日益兴盛，吸引力越来越多的牛人加入其中，也有许多小伙伴跃跃欲试，想要在互联网的浪潮中大展身手。今天我们通过看准网的数据，帮助大家对各大互联网公司有一个比较概括的了解。

2018-09-29 14:59:06

互联网数据BAT
十一出行，高德让你不堵心 原创
国庆长假即将来临，高德在北京举行了第二届“十一全民出行节”发布会。会上，高德地图发布了智慧景区开放平台，相比同行业，高德智慧景区开放平台的最大的特点是，以服务游客为中心，能力向景区免费开放。

2018-09-29 12:06:24

高德十一出行
大数据可视化工具圈里的春秋战国
大数据可视化工具因其能将数字变成酷炫的图表而进入大众视野，但大家对该产品的了解还很有限，本文将从竞争格局、发展现状以及未来趋势三个维度具体探究大数据可视化工具市场的发展。

2018-09-28 17:16:18

数据可视化工具发展趋势
全球10大智慧城市大数据应用案例
当前，全球范围内城市化进程不断推进。随着互联网和信息化的发展，在云平台、大数据和物联网等技术的支持下，率先在美国“智慧星球”概念下诞生的“智慧城市”，逐渐成为当今世界各国城市建设的发展趋势和选择。

2018-09-27 15:03:21

大数据城市建设数据挖掘
这10本免费的机器学习和数据科学书籍，确定不看一下么？
是时候让你的书架上新增几本机器学习和数据科学书籍了，KDnuggets 网站编辑 Matthew Mayo 挑选了 10 本机器学习和数据科学相关的书籍。这些书籍都是免费的，对机器学习和数据科学感兴趣的人可不要错过了。

2018-09-27 14:50:04

机器学习数据科学书籍
推荐 ：数据科学与大数据技术面试建议与技巧之危险信号
本文列举了12个危险信号，当数据科学家职位面试中发现公司存在这些危险信号时，你应该要远离这家公司。如果你想加入一家公司作为他们的第一个数据科学家，你将面临一系列不同的挑战。

2018-09-27 14:33:20

数据科学大数据面试
让机器数据发光 原创
Splunk 为业界带来了惊艳的大数据平台，让大数据产生大价值，用一个平台，解决了几乎所有数据分析的问题。相信随着本土生态的丰富，Splunk中国在很长一段时间内都将保持高速的发展。

2018-09-27 10:44:35

机器数据splunk
用R语言分析与预测员工离职
在实验室搬砖之后，继续我们的kaggle数据分析之旅，这次数据也是答主在kaggle上选择的比较火的一份关于人力资源的数据集，关注点在于员工离职的分析和预测，依然还是从数据读取，数据预处理，EDA和机器学习建模这几个部分开始进行，最后使用集成学习中比较火的random forest算法来预测离职情况。

2018-09-26 19:51:07

数据分析Kaggle员工离职
几款数据可视化的工具介绍
数据可视化主要通过编程和非编程两类工具实现。主流编程工具包括以下三种类型：从艺术的角度创作的数据可视化，比较典型的工具是 Processing，它是为艺术家提供的编程语言。

2018-09-26 16:15:31

数据可视化大数据数据分析
用一周时间体验Python数据分析
对于成人学习者来说，编程知识领域可能是完全分散的，但是情况可能是就业、学术或急需工作。从拼音等基础学习中学习Python是不合适的。教师的作用是避免大量无意识的搜索时间，快速了解建立必要的知识体系，分阶段完成实际项目，启发初学者了解应用场景，从而减少进入放弃的可能性。

2018-09-26 16:07:15

Python数据分析编程
高德地图发布智慧景区开放平台 四大能力向景区免费开放
9月25日，在第二届十一全民出行节启动发布会上，高德地图发布智慧景区开放平台，为景区提供一张地图游中国、大数据中心、地图管家、全域营销等四大能力，赋能景区管理。相比已有的智慧景区解决方案，高德智慧景区开放平台的最大的特点是，以服务游客为中心，能力向景区免费开放。

2018-09-25 18:12:04

高德地图智慧景区
高德地图与支付宝达成深度合作 打造一站式可信赖出行平台
9月25日，高德地图在北京举行的第二届“十一全民出行节”发布会上，与支付宝联合宣布达成深度合作，双方将在产品、技术、生态等方面深度融合，借助彼此在移动支付、信用风控等方面的平台优势，共同为用户提供一站式、可信赖的移动出行体验。

2018-09-25 18:07:14

高德地图支付宝
听我说，大数据需要学什么?
大数据需要学习什么?很多人问过我这个问题。每一次回答完都觉得自己讲得太片面了，总是没有一个合适的契机去好好总结这些内容，直到开始写这篇东西。大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。

2018-09-25 16:07:53

大数据语言分布式
TalkingData林逸飞：以数据智能探索业务突破 企业需正视数字化三大短板 原创
以“突破”为主题的T11 2018暨TalkingData数据智能峰会上，TalkingData合伙人兼执行副总裁林逸飞发表了“以数据智能探索业务突破”的精彩分享。他表示，企业进行数字化转型，信数据是前提，但不同企业在进行数字化时往往存在三大主要短板。

2018-09-25 13:22:10

TalkingData数据智能数据中台
憋瞎说，大数据不是你想的那样
学生党以及很多没设计过大数据开发的小伙伴呢，都对大数据这么一个领域感到非常非常的好奇非常非常的神秘，我今天就非要戳穿给你们看。

2018-09-25 11:58:10

大数据机器学习Spark
你的数据仓库还在为企业业务拖后腿吗? 原创
数据仓库系统长期以来一直是企业IT架构的重要组成部分。随着开源技术的不断发展以及云端部署方式的不断深入，传统数据仓库的局限性日益凸显，难以适应新技术带来的市场变革，如何面向大数据技术进行数据仓库的优化、转型是企业IT管理者面临的重要挑战。处于不同阶段的企业如何应用大数据技术?如何面向大数据技术进行数据仓库转型?如何对现有数据仓库进行优化?如何在Hadoop中进行性能优化?这些已成为困扰IT管理者的主要问题。

2018-09-24 09:15:12

数据仓库大数据
工博会在沪启幕，联想大数据LeapAI.com助力企业“跨越式”前进
全球领先的开源解决方案供应商红帽公司（纽交所代码：RHT）日前宣布推出红帽Ansible Tower 3.3，这是目前实现IT运营自动化及编排能力的企业级框架最新版本。

2018-09-22 07:01:20

联想大数据LeapAI.com
写作比写代码难多了？给数据科学家的写作指南
数据科学家有好的写作技巧能够提高沟通效率。但我们常常会因为写作能力不足感到困扰。下面一套体系可以突破这些障碍，可以帮你掌握一些数据科学写作的通用准则。

2018-09-21 14:20:01

代码数据科学家数据科学
小议Lambda与Kappa架构，不可变数据的计算探索
Lambda架构说起来也很简单，就是通过分布式系统的组件搭建，设计出一个具有鲁棒性，可扩展，低延时的分布式计算系统。之所以称之为Lambda架构，就是它最为核心的点就是理由了数据处理过程之中的不可变性与无依赖性。

2018-09-21 11:19:30

Lambda架构函数数据系统
深度挖掘，大数据不是事儿
技术型的高科技创业公司都喜欢闪闪发光的新东西，而“大数据”跟3年前火热程度相比反而有些凄惨。虽然Hadoop创建于2006年，在“大数据”的概念兴起到达白热化是在2011年至2014年期间，当时在媒体和行业面前，大数据就是“黑金石油”。但是现在有了某种高原感。

2018-09-21 10:53:26

大数据AIHadoop
2018年值得拥有的十大大数据挖掘工具 译文
数据挖掘是指这个过程：在庞大数据集当中发现模式，将它转换成有效的信息。该技术利用特定的算法、统计分析、人工智能和数据库系统，从庞大数据集中提取信息，并转换成易于理解的形式。本文介绍了广泛用于大数据行业的10种综合数据挖掘工具。

2018-09-20 09:00:41

大数据数据科学数据可视化
BigData：值得了解的十大数据发展趋势
本文总结了大数据技术领域中的十大发展趋势，涵盖人工智能、量子计算、智能机器人等多个领域。

2018-09-19 22:35:25

大数据数据大数据技术
成都房价现在多少？和北京差距很大吗？Python爬取了四万套房源！
作为一家技术人员，决定用技术解决这个疑问。我们用Python爬取了贝壳网上4万多套的成都在售房源，告诉你最真实的成都房价。

2018-09-19 14:03:00

Python房价cookie
Hadoop中Hive原理及安装
Apache Hive™数据仓库软件有助于使用SQL读取，写入和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据上。提供命令行工具和JDBC驱动程序，用于将用户连接到Hive。

2018-09-18 15:21:47

Hive数据仓库程序
数据行业职业薪资“钱景”：平均薪资轻松过万，到5万也不是不可能
近年来，大数据越来越火，相关产业也在各项利好政策下蓬勃发展。越来越多的人开始考虑网大数据方向发展，这其中，高薪资是主要原因。据数联寻英发布《大数据人才报告》显示，目前全国的大数据人才仅46万，未来3-5年内大数据人才的缺口将高达150万。而在BAT企业招聘的职位里，60%以上都在招大数据人才。

2018-09-18 14:49:34

大数据工程师数据挖掘
HBase相对Hive查询速度快的对比
HBase的机制是将数据先写入到内存中(缓存Buffer中)，当数据量达到一定的量(如128M)，产生溢写磁盘操作，在内存中，是不进行数据的更新或合并操作的，只增加数据，这使得用户的写操作只要进入内存中就可以立即返回，保证了HBaseI/O的高性能。

2018-09-18 14:43:30

HBase查询数据
MapReuce中对大数据处理最合适的数据格式是什么？
在本章的第一章节介绍中，我们简单了解了Mapreduce数据序列化的概念，以及其对于XML和JSON格式并不友好。本节作为《Hadoop从入门到精通》大型专题的第三章第二节将教大家如何在Mapreduce中使用XML和JSON两大常见格式，并分析比较最适合Mapreduce大数据处理的数据格式。

2018-09-18 11:16:11

MapReduceXML大数据
高德与吉利强强联手 高精地图商业化再下一城
9月17日，在阿里巴巴2018全球投资者大会上，阿里巴巴合伙人、高德地图总裁刘振飞透露，高德与吉利在高精地图领域达成全面合作。这也是继凯迪拉克之后，高德在高精地图领域的第二个商业订单。

2018-09-17 17:48:40

高德吉利底图
推荐 ：一小时建立数据分析平台
今天教大家如何搭建一套数据分析平台。它可能是最简单的搭建教程，有一点Python基础都能完成。比起动辄研发数月的成熟系统，借助开源工具，整个时间能压缩在一小时内完成。

2018-09-17 12:42:34

数据分析分析平台数据
曹永寿：大数据及AI技术 构建衡量艺人商业价值的标尺 原创
艾漫数据总裁曹永寿介绍，“艾漫数据成立以来，一直致力于构建娱乐产业全方位的大数据服务平台，以数据构建和连接泛娱乐产业链上下游。艾漫成立近七年来有两大标签，那就是‘脱水’和‘商业价值’。”

2018-09-17 10:49:17

大数据人工智能AI
什么样的大数据平台架构，才是更适合你的？
大数据平台架构的层次划分没啥标准，以前笔者曾经做过大数据应用规划，也是非常纠结，因为应用的分类也是横纵交错，后来还是觉得体现一个“能用”原则，清晰且容易理解，能指导建设，这里将大数据平台划分为“五横一纵”。

2018-09-16 15:40:06

大数据平台数据仓库架构
10个最令人垂涎的大数据职位 数据科学家增长率最高
TechGenix日前刊发了Benjamin Roussey撰写的一个报道，作者对市场上10个最受欢迎的大数据岗位进行了梳理。不知道中国大数据工程师的薪酬有没有达到这个水准呢?

2018-09-15 23:38:56

大数据职位数据科学家
从京东618数据井喷看大数据平台峰值处理制胜关键
随着DT(数据技术)时代的到来，人们能比以往更容易地获取更丰富的数据。数据作为一种新的能源形式，正在源源不断地发挥其巨大的价值，帮助我们激发更多的技术驱动力，提供更优质的服务。

2018-09-14 17:22:43

大数据平台京东日志
人工智能和大数据的开发过程中需要注意这12点
人工智能是近年来科技发展的重要方向，在大数据时代，对数据采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据的开发过程中，有哪些特别需要注意的要点?

2018-09-14 08:50:12

人工智能大数据
上一页 1 ··· 9192939495 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服