51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
大数据的一个时代的结束了，Hadoop还值得你学习吗？
Hadoop从诞生至今已经十三年了。2006年诞生大数据，2008年成为Apache的顶尖项目，成为国内外互联网大数据的标准配置之一。长久以来，想要入行大数据开发Hadoop也是必学。最近确对Hadoop哀声一片，更多喊得是拥抱云计算，摒弃Hadoop。

2019-06-26 11:05:35

大数据Hadoop云
能够简化数据科学的6种工具
数据科学家过去常常需要绞尽脑汁，因为80%的工作都是通过用Python，Java或他们喜欢的语言来制作自定义例程并准备分析数据的，所以R或SASS中那些复杂的统计工具都可以完成它们的工作。而现在市场上充斥着各种复杂的工具，它们将数百个经过良好设计的例程捆绑到了一个包中，以便为你完成大量重复且令人不快的数据清理和标准化工作。

2019-06-26 10:34:05

数据科学工具数据集
三行Python代码，可以让你的数据处理快别人4倍
Python是一门非常适合处理数据和自动化完成重复性工作的编程语言，我们在用数据训练机器学习模型之前，通常都需要对数据进行预处理，而Python就非常适合完成这项工作，比如需要重新调整几十万张图像的尺寸，用Python没问题！

2019-06-26 08:37:23

Python数据处理编程语言
Hadoop 气数已尽？
从本质上讲，市场上只剩下一个主要的 Hadoop 服务商 Cloudera。如果我告诉你 Cloudera 很久以前就不是主要搞 Hadoop 的呢?

2019-06-25 11:03:20

HadoopGoogleSpark
数读 | 中国哪里的地铁很拥挤
打开北京、上海与广州的地铁地图，你会看见三张纵横交错的线路网络，这代表了中国最成熟的三套城市轨道交通系统。可即使这样，在北上广生活的人依然少不了对地铁的抱怨，其中谈及最多的问题便是拥挤——对很多人而言，每次挤地铁的过程，都像是一场硬仗。更何况，还都是败仗居多。

2019-06-24 15:55:59

地铁线路拥挤
如何利用大数据更好地促进SEO优化服务
托管服务提供商可以利用大数据为企业提供更好的服务和更多的SEO优势。大数据如今已经成为很多企业数字营销战略中的重要组成部分。

2019-06-24 15:11:00

大数据SEO优化搜索引擎
工业制造中的大数据分析
搞清楚工业大数据分析，第一步我们应该如何定义制造业的大数据?这里我和大家通过大数据的三个特性，来经一步了解大数据的特性。

2019-06-23 15:53:48

工业大数据数据分析制造
Python中常用的可视化工具 Matplotlib 简单入门
Matplotlib是约翰·亨特(John Hunter，1968-2012)的心血结晶，他和许多贡献者一起投入了不可估量的时间和精力来制作一套全球数千名科学家使用的软件。

2019-06-23 15:44:24

Matplotlib可视化图表
Hadoop之父：普通程序员到顶级公司CTO的进阶之路
做大数据开发的朋友一定用过 Hadoop 这个工具，它是一款支持数据密集型的分布式应用程序。那么接下来就跟鸡仔一起来了解被誉为 Hadoop 之父的 Doug Cutting，他到底是何许人也？又有哪些值得我们学习的地方呢？

2019-06-21 14:25:07

HadoopCTO数据库
基于Spark的数据分析实践
本文主要分析了 Spark RDD 以及 RDD 作为开发的不足之处，介绍了 SparkSQL 对已有的常见数据系统的操作方法，以及重点介绍了普元在众多数据开发项目中总结的基于 SparkSQL Flow 开发框架。

2019-06-19 16:01:14

Spark数据分析SparkSQL
2019中国大数据产业布局及发展趋势预测
数据显示，2017年中国大数据产业规模达到4700亿元，同比增长30%;其中，大数据硬件产业的产值为234亿元，同比增长39%。2018年我国大数据产业规模突破6000亿元;随着大数据在各行业的融合应用不断深化，预计2019年中国大数据市场产值将达到7150亿元。

2019-06-19 15:38:59

大数据互联网王新哲
制造业企业中台建设思考与实践
“忽如一夜春风来，千树万树梨花开”，中台的概念就如这句诗所描述得一样一瞬间在IT圈里火了起来，好像不讨论中台就任何解决方案就黯然失色了。中台(数据中台、业务中台、技术中台、AI中台……)的概念可谓漫天飞舞，我希望在下面的文章中结合真实的实践案例，就大家最关心的问题从概念到实践层面做一些解读。

2019-06-19 11:11:21

企业中台实践
打破机器学习中的小数据集诅咒
在这篇文章中，我们看到数据的大小可能会体现出泛化、数据不平衡以及难以达到全局最优等问题。

2019-06-19 09:13:29

机器学习中数据集深度学习
万亿数据下 Hadoop 的核心竞争力
在大数据时代，Hadoop 有着得天独厚的优势。然而，每个企业的技术储备和需求特点不同，他们希望从海量的客户数据中挖掘真正的商业价值，像 Google 、Facebook 、Twitter 等这样的企业更是 Hadoop 的最早获益者。那么，今天我们就来聊一聊，万亿数据下 Hadoop 的核心竞争力。

2019-06-18 14:12:07

Hadoop大数据数据库
大数据流处理如何帮助世界新兴市场
随着当今技术的发展，对流处理的需求也越来越大。例如，必须快速处理数据，以便企业能够实时跟上不断变化的业务和市场状况。这就是实时流处理进入图片的地方，它可能会改变人们所知道的关于大数据的一切。

2019-06-18 13:51:08

大数据流处理新兴市场
大数据告诉你80、90后的真实负债
近期，一篇“90后超一半网贷”的文章引起了网络热议。看似90后的收入无法支撑他们的超前消费，然而，20多岁的90后真的比奔四的80后负债更多吗?

2019-06-18 10:05:55

大数据80后90后
我是AI机器人何夕2号，想听听我的故事吗？
如果你不想错过AI时代，没事多去AI·X逛逛，那里是AI爱好者和从业者最能爆发奇迹的交流成长平台。

2019-06-18 08:59:45

AI机器学习
大数据与机器学习将如何改变全球能源行业？
随着AI技术战争的不断升温，企业与消费者也将受益于更加安全、更加清洁、更加便宜以及更加高效的能源。而让这场技术竞赛也才刚刚开始。

2019-06-17 14:41:15

机器学习人工智能 大数据
Teradata CTO宝立明：运用分析引擎实现机器学习和深度学习 原创
Teradata天睿公司首席技术官宝立明(Stephen Brobst)认为，高级分析的发展可以分为三个阶段：第一阶段是描述性分析，用于洞察过去;第二阶段是预测性分析，能够了解未来;第三阶段是指导性分析，为可能发生的结果提供建议。Teradata开发的Vantage软件平台属于第三阶段的产物，能够为企业提供最佳的高级分析能力。

2019-06-17 07:59:32

大数据CTOTeradata
联通大数据周华：用数据科技产品赋能产业发展
6月4日，中国大数据产业峰会在北京召开。会上，联通大数据有限公司副总经理周华先生在大会上以《数据科技助力产业智能升级——联通大数据应用实践》为题做了精彩分享，向与会者介绍了联通大数据在政务、金融、文旅、交通、医疗、安全等方面的应用解决方案，并重点提及了5G对大数据产业带来的影响。

2019-06-16 21:57:54

联通大数据数据
数据基础架构正在发生巨变，您准备好了吗？
进入智能世界，核心是数据量的爆炸式增长。 IDC预测全球数据圈将从2018年的33ZB增至2025年的175ZB。一方面海量的数据蕴含着巨大的价值和商机。一方面对数据基础设施形成了新的挑战。

2019-06-14 15:38:11

数据基础架构海量数据IT厂商
2019，Java码农还有必要转型大数据开发吗？
作为一名码农，相信你身边的同行业者在过去的一年中，对于大数据的谈论并不少，当然，他们之中也不乏有一些人转型去做了大数据。而且，就目前大数据行业的薪资来看，其平均起始薪资已经达到了15k左右，相信，很多有几年编程经验的从业者也无法达到这个标准。

2019-06-14 15:15:44

Java大数据码农
大数据是未来金融专业人士必备的技能吗?
一名税务会计师在一个网络小组的讨论中指出，大数据正以惊人的方式改变金融领域。行业媒体FM Magazine对这一趋势进行了详细的阐述，并指出金融专业人士需要了解大数据的影响，并做好相应准备。

2019-06-14 14:55:07

大数据金融会计师
如何消除多云环境下数据保护与管理的复杂性？ 原创
多云战略下，不论是公有云体系、私有云体系、混合云体系，还是超融合体系架构，企业站在统一数据管理的角度，都需要充分考虑数据迁移、管理的便利性和可信赖性。

2019-06-13 11:49:44

数据保护数据管理多云
Pandas必备技能之“时间序列数据处理”
时间序列数据作为时间序列分析的基础，学会如何对它进行巧妙地处理是非常必要的，Python中的Pandas库为我们提供了强大的时间序列数据处理的方法，本文会介绍其中常用的几个。

2019-06-12 16:21:52

时间序列PythonPandas
聊聊大数据Lambda架构
Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。

2019-06-11 13:22:32

Lambda大数据架构大数据平台
你是怎样“被平均”的？细数统计数据中的那些坑
统计数据(statistics)就是用数字表达出来的证据。这样的证据可能看起来非常动人，因为数字让证据显得非常有科学性，非常精确，似乎它就代表了“事实”。但是，统计数据能，而且经常会，撒谎!它们并不必然就能证明它们想要证明的一切。

2019-06-11 10:05:27

统计数据平均值欺骗
为啥Spark 的Broadcast要用单例模式
很多用Spark Streaming 的朋友应该使用过broadcast，大多数情况下广播变量都是以单例模式声明的有没有粉丝想过为什么?

2019-06-11 09:50:07

SparkBroadcast代码
17 款可视化工具，让你的数据更美观！
想让数据变得更好看?不必成为经验丰富的数据科学家，也不必成为平面设计师。有一些能让数据从简单的表格变成多种多样的图形，地图甚至词“云”。并不是所有的工具都适合你，但这些工具确实很有用。

2019-06-11 09:35:34

可视化工具图形
应对大规模数据集群治理，联通大数据这么做
维克多在2012年出版的《大数据时代》一书中曾预测：数据列入企业资产负债表只是时间问题。如今，伴随着新兴科技手段的融合创新，大数据已经应用到了我们生活中的方方面面，数据资产的概念已逐渐得到国内外企业的强烈认同。

2019-06-10 16:17:37

联通大数据集群
数据科学思维 ：打造健康数据驱动组织的 6 条原则
数据科学是一个结合数学、编程和可视化技术的领域，它将科学方法应用于特定的业务领域或问题，如预测未来的客户行为、规划空中交通路线或识别语音模式等。但是，成为一个数据驱动的组织究竟意味着什么呢?

2019-06-10 16:08:06

数据科学家数据驱动原则
一边吃粽子，一边思考流量数据分析！
作为数据分析师你可能想到的是CPC、CPS这一类的关键字，但到底是用CPC还是其他方式计费，如何计费，给哪条渠道线推广?什么样的用户可能适合粽子大亨?这些问题都需要你对公司网站流量数据从采集到到分析有全面深刻的理解。

2019-06-10 15:58:30

数据分析流量采集
GDPR一周年：数据合规进程任重而道远
欧盟《通用数据保护条例》(GDPR)于2018年5月颁布，无疑成为了数据保护与使用合规领域的重要里程碑。

2019-06-06 19:01:05

GDPR数据合规进程
活用这23种图表，让你的数据分析胜人一筹
互联网与不断出现的便捷工具，让所有人都可以无须具备数据或相关专长，就可以简单、低成本地将数据做成直观的可视化图、表。

2019-06-06 16:30:02

数据分析图表大数据
一篇文章了解 Spark Shuffle 内存使用
在使用 Spark 进行计算时，我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况，而且很大一部分情况是发生在 Shuffle 阶段。那么在 Spark Shuffle 中具体是哪些地方会使用比较多的内存而有可能导致 OOM 呢?

2019-06-06 15:22:07

SparkShuffle内存
数据分析必不可少之数据仓库！
数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持(Decision Support)。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。

2019-06-06 14:08:37

数据仓库数据分析数据报表
联通大数据连斩两枚大数据“星河奖” 参与发布两本白皮书
为了深入落实国家大数据战略，推动大数据产业交流与合作，展示我国大数据产业最新发展成果，6月4日至5日，由中国信息通信研究院、中国通信标准化协会主办，大数据技术标准推进委员会承办的2019大数据产业峰会在北京国际会议中心隆重召开。

2019-06-06 11:26:59

联通大数据
四万字歌词分析：那些年，我们一起追的五月天到底在唱什么？
在五月天最新电影发布的这个契机，文摘菌想用数据试着去分析一下这个不老的乐队，看看这些年陪伴我们的这五月天，到底在唱些什么?

2019-06-06 10:13:38

数据分析五月天数据
联通大数据周华：数据科技助力产业智能升级
6月4日至5日，由中国信息通信研究院、中国通信标准化协会主办，大数据技术标准推进委员会承办的2019大数据产业峰会在北京国际会议中心隆重举办。

2019-06-05 16:13:40

联通大数据通信
大数据正在彻底改变的5个行业
大数据正在彻底改变人们的生活方式和企业开展业务的方式。人们可以想到的几乎所有行业都使用某种大数据技术来帮助优化其业务。以下将介绍五个被大数据技术重塑的行业。

2019-06-05 15:54:51

大数据零售分析
应对数据科学家短缺的6种方法
在2019年1月发布的一份报告中，商业和就业社交媒体网站LinkedIn根据薪资、职位空缺数量和同比增长数据，将数据科学家列为了2019年最有前途的工作。该报告称，今年预计将会有4000多个的数据科学家职位空缺，比2018年增加56%。数据科学领域的顶级技能包括了数据挖掘、数据分析和机器学习。

2019-06-05 15:17:45

数据科学家人才职业
深读：大数据背后智慧消防的发展逻辑
发展智慧消防，离不开消防的大数据。虽然业界谈论大数据的声音在降低，但通过采集、分析和运用数据提升能力的行动却越来越普遍，大数据已经成为消防等行业的底层关键技术。

2019-06-04 14:30:11

大数据智慧消防智能
基因界谷歌 | 中国人自己的生命大数据平台，来了！
围绕如何搭建生命应用大平台，魏晓锋分享了国家基因库生命大数据平台（CNGBdb）的设计思路及服务优势，并展示了 CNGBdb 在助力生命大数据研究与应用方面取得的成果。以下是内容详情。

2019-06-04 09:35:06

大数据
影响数据驱动业务目标的大数据挑战
大数据在各行业组织的应用中越来越广泛，而开展大数据项目并不容易。根据NewVantage Partners进行的一项研究，在接受调查的“财富1000强”的企业中，95%的企业在过去五年中实施了大数据项目，但只有48.4%的企业从这些项目中成功获益。

2019-06-04 08:34:52

数据驱动大数据安全
完美假期第一步：用Python寻找更便宜的航班！
本文作者Fábio Neves，一位资深的商业数据分析师将会带你建立一个网络爬虫项目，帮助我们找到最优惠的价格!

2019-06-04 07:55:34

Python航班数据分析
数说那些年我们一起经历的高考
对于像作者一样已经工作的“上班族”来说，6月7号到9号三天无疑是兴奋到飞起的，终于迎来了令人愉悦的端午假期。然而有那么一群人，将在端午节日之际迎来人生特别重要的一次经历或者说是挑战，那就是高考生们。高考的重要性无须赘述，今天我们就来聊聊那些年我们一起经历的高考。

2019-06-03 14:43:19

高考数据分析录取率
大数据技术扫盲，你必须会的这些点
今天小编给大家带来的是绝对的干货!以下是我自己这些年爬过的那些坑。在大数据开发这一块来说还算是比较全面的吧!废话不多说，直接上干货!

2019-06-03 14:35:38

大数据数据开发语言
北京市政院韩冬：大数据在城市交通治理中的应用
近日，滴滴互联网智慧信控论坛上，北京市市政工程设计研究总院高级工程师韩冬，通过中关村西区交通治理项目为例，分享了大数据在城市交通治理中的应用实践。

2019-06-03 14:06:13

大数据智慧交通交通治理
工业大数据应用的四大挑战
以数据为关键要素驱动工业转型升级，不仅成为宏观层面的行业共识，也正在微观层面为企业带来实际收益。然而，工业大数据的发展，还面临数据资源不丰富、数据管理滞后、孤岛普遍存在以及应用深度不足等四大挑战。

2019-06-03 13:02:35

工业大数据工业互联网大数据
主导2019年的4个数据分析趋势
数据分析是一个不断变化的领域。随着企业继续大量投资于分析以支持数字化转型，掌握最新趋势对于确保企业在未来数月和数年内采用成功所需的分析策略至关重要。

2019-06-02 16:06:01

数据分析数据科学预测
上一页 1 ··· 8283848586 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服