51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9065内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9065 条
Pandas必备技能之“时间序列数据处理”
时间序列数据作为时间序列分析的基础，学会如何对它进行巧妙地处理是非常必要的，Python中的Pandas库为我们提供了强大的时间序列数据处理的方法，本文会介绍其中常用的几个。

2019-06-12 16:21:52

时间序列PythonPandas
聊聊大数据Lambda架构
Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。

2019-06-11 13:22:32

Lambda大数据架构大数据平台
你是怎样“被平均”的？细数统计数据中的那些坑
统计数据(statistics)就是用数字表达出来的证据。这样的证据可能看起来非常动人，因为数字让证据显得非常有科学性，非常精确，似乎它就代表了“事实”。但是，统计数据能，而且经常会，撒谎!它们并不必然就能证明它们想要证明的一切。

2019-06-11 10:05:27

统计数据平均值欺骗
为啥Spark 的Broadcast要用单例模式
很多用Spark Streaming 的朋友应该使用过broadcast，大多数情况下广播变量都是以单例模式声明的有没有粉丝想过为什么?

2019-06-11 09:50:07

SparkBroadcast代码
17 款可视化工具，让你的数据更美观！
想让数据变得更好看?不必成为经验丰富的数据科学家，也不必成为平面设计师。有一些能让数据从简单的表格变成多种多样的图形，地图甚至词“云”。并不是所有的工具都适合你，但这些工具确实很有用。

2019-06-11 09:35:34

可视化工具图形
应对大规模数据集群治理，联通大数据这么做
维克多在2012年出版的《大数据时代》一书中曾预测：数据列入企业资产负债表只是时间问题。如今，伴随着新兴科技手段的融合创新，大数据已经应用到了我们生活中的方方面面，数据资产的概念已逐渐得到国内外企业的强烈认同。

2019-06-10 16:17:37

联通大数据集群
数据科学思维 ：打造健康数据驱动组织的 6 条原则
数据科学是一个结合数学、编程和可视化技术的领域，它将科学方法应用于特定的业务领域或问题，如预测未来的客户行为、规划空中交通路线或识别语音模式等。但是，成为一个数据驱动的组织究竟意味着什么呢?

2019-06-10 16:08:06

数据科学家数据驱动原则
一边吃粽子，一边思考流量数据分析！
作为数据分析师你可能想到的是CPC、CPS这一类的关键字，但到底是用CPC还是其他方式计费，如何计费，给哪条渠道线推广?什么样的用户可能适合粽子大亨?这些问题都需要你对公司网站流量数据从采集到到分析有全面深刻的理解。

2019-06-10 15:58:30

数据分析流量采集
GDPR一周年：数据合规进程任重而道远
欧盟《通用数据保护条例》(GDPR)于2018年5月颁布，无疑成为了数据保护与使用合规领域的重要里程碑。

2019-06-06 19:01:05

GDPR数据合规进程
活用这23种图表，让你的数据分析胜人一筹
互联网与不断出现的便捷工具，让所有人都可以无须具备数据或相关专长，就可以简单、低成本地将数据做成直观的可视化图、表。

2019-06-06 16:30:02

数据分析图表大数据
一篇文章了解 Spark Shuffle 内存使用
在使用 Spark 进行计算时，我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况，而且很大一部分情况是发生在 Shuffle 阶段。那么在 Spark Shuffle 中具体是哪些地方会使用比较多的内存而有可能导致 OOM 呢?

2019-06-06 15:22:07

SparkShuffle内存
数据分析必不可少之数据仓库！
数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持(Decision Support)。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。

2019-06-06 14:08:37

数据仓库数据分析数据报表
联通大数据连斩两枚大数据“星河奖” 参与发布两本白皮书
为了深入落实国家大数据战略，推动大数据产业交流与合作，展示我国大数据产业最新发展成果，6月4日至5日，由中国信息通信研究院、中国通信标准化协会主办，大数据技术标准推进委员会承办的2019大数据产业峰会在北京国际会议中心隆重召开。

2019-06-06 11:26:59

联通大数据
四万字歌词分析：那些年，我们一起追的五月天到底在唱什么？
在五月天最新电影发布的这个契机，文摘菌想用数据试着去分析一下这个不老的乐队，看看这些年陪伴我们的这五月天，到底在唱些什么?

2019-06-06 10:13:38

数据分析五月天数据
联通大数据周华：数据科技助力产业智能升级
6月4日至5日，由中国信息通信研究院、中国通信标准化协会主办，大数据技术标准推进委员会承办的2019大数据产业峰会在北京国际会议中心隆重举办。

2019-06-05 16:13:40

联通大数据通信
大数据正在彻底改变的5个行业
大数据正在彻底改变人们的生活方式和企业开展业务的方式。人们可以想到的几乎所有行业都使用某种大数据技术来帮助优化其业务。以下将介绍五个被大数据技术重塑的行业。

2019-06-05 15:54:51

大数据零售分析
应对数据科学家短缺的6种方法
在2019年1月发布的一份报告中，商业和就业社交媒体网站LinkedIn根据薪资、职位空缺数量和同比增长数据，将数据科学家列为了2019年最有前途的工作。该报告称，今年预计将会有4000多个的数据科学家职位空缺，比2018年增加56%。数据科学领域的顶级技能包括了数据挖掘、数据分析和机器学习。

2019-06-05 15:17:45

数据科学家人才职业
深读：大数据背后智慧消防的发展逻辑
发展智慧消防，离不开消防的大数据。虽然业界谈论大数据的声音在降低，但通过采集、分析和运用数据提升能力的行动却越来越普遍，大数据已经成为消防等行业的底层关键技术。

2019-06-04 14:30:11

大数据智慧消防智能
基因界谷歌 | 中国人自己的生命大数据平台，来了！
围绕如何搭建生命应用大平台，魏晓锋分享了国家基因库生命大数据平台（CNGBdb）的设计思路及服务优势，并展示了 CNGBdb 在助力生命大数据研究与应用方面取得的成果。以下是内容详情。

2019-06-04 09:35:06

大数据
影响数据驱动业务目标的大数据挑战
大数据在各行业组织的应用中越来越广泛，而开展大数据项目并不容易。根据NewVantage Partners进行的一项研究，在接受调查的“财富1000强”的企业中，95%的企业在过去五年中实施了大数据项目，但只有48.4%的企业从这些项目中成功获益。

2019-06-04 08:34:52

数据驱动大数据安全
完美假期第一步：用Python寻找更便宜的航班！
本文作者Fábio Neves，一位资深的商业数据分析师将会带你建立一个网络爬虫项目，帮助我们找到最优惠的价格!

2019-06-04 07:55:34

Python航班数据分析
数说那些年我们一起经历的高考
对于像作者一样已经工作的“上班族”来说，6月7号到9号三天无疑是兴奋到飞起的，终于迎来了令人愉悦的端午假期。然而有那么一群人，将在端午节日之际迎来人生特别重要的一次经历或者说是挑战，那就是高考生们。高考的重要性无须赘述，今天我们就来聊聊那些年我们一起经历的高考。

2019-06-03 14:43:19

高考数据分析录取率
大数据技术扫盲，你必须会的这些点
今天小编给大家带来的是绝对的干货!以下是我自己这些年爬过的那些坑。在大数据开发这一块来说还算是比较全面的吧!废话不多说，直接上干货!

2019-06-03 14:35:38

大数据数据开发语言
北京市政院韩冬：大数据在城市交通治理中的应用
近日，滴滴互联网智慧信控论坛上，北京市市政工程设计研究总院高级工程师韩冬，通过中关村西区交通治理项目为例，分享了大数据在城市交通治理中的应用实践。

2019-06-03 14:06:13

大数据智慧交通交通治理
工业大数据应用的四大挑战
以数据为关键要素驱动工业转型升级，不仅成为宏观层面的行业共识，也正在微观层面为企业带来实际收益。然而，工业大数据的发展，还面临数据资源不丰富、数据管理滞后、孤岛普遍存在以及应用深度不足等四大挑战。

2019-06-03 13:02:35

工业大数据工业互联网大数据
主导2019年的4个数据分析趋势
数据分析是一个不断变化的领域。随着企业继续大量投资于分析以支持数字化转型，掌握最新趋势对于确保企业在未来数月和数年内采用成功所需的分析策略至关重要。

2019-06-02 16:06:01

数据分析数据科学预测
中通I-ZTO战略发布 大数据云计算区块链等技术应用对外披露 原创
以“智网· 链物”为主题的中通快递集团2019媒体交流会上，中通对外展示了大数据、云计算、区块链、物联网等前沿科技与物流融合的新成果，对外发布I-ZTO战略，以及中通全链路产品线。

2019-06-01 08:38:47

中通大数据云计算
SQL on Hadoop在快手大数据平台的实践与优化
快手大数据架构工程师钟靓近日在A2M人工智能与机器学习创新峰会分享了题为《SQL on Hadoop在快手大数据平台的实践与优化》的演讲，主要从SQL on Hadoop介绍、快手SQL on Hadoop平台概述、SQL on Hadoop在快手的使用经验和改进分析、快手SQL on Hadoop的未来计划四方面介绍了SQL on Hadoop架构。

2019-05-31 12:03:06

SQLHadoop大数据
优秀！联通大数据方案成功入选工信部百家大数据优秀案例
5月26日，《大数据优秀产品和应用解决方案案例集(2019)》发布会暨数博会“十佳大数据案例”揭晓活动举行。

2019-05-30 14:47:56

联通大数据工信部
Spark 静态内存管理详解
spark从1.6开始引入了动态内存管理模式，即执行内存和存储内存之间可以互相抢占。sspark提供两种内存分配模式：静态内存管理和动态内存管理。

2019-05-30 11:04:52

内存Spark管理
达梦DM8新品发布 国产数据库迎来新的里程碑 原创
达梦公司发布了新一代产品DM8，推出了达梦数据共享集群(DM DSC)、透明分布式数据库、数据库弹性计算、达梦混合事务分析处理技术等面向未来的技术架构。

2019-05-30 09:27:31

数据库达梦DM8
华为大数据亮相2019数博会，打造未来智慧政务 原创
华为受邀参加本届数博会，一方面是与全球各界共同探讨大数据未来发展的全新方法路径，另一方面也是通过展示这一年华为在大数据领域的各项创新成果，贡献自己的力量与智慧。

2019-05-29 14:29:27

华为数博会智慧政务
美团是如何应用Spark处理大数据的？
美团最初的数据处理以Hive SQL为主，底层计算引擎为MapReduce，部分相对复杂的业务会由工程师编写MapReduce程序实现。

2019-05-29 10:42:06

大数据IT人工智能
需要关注的5种预测性存储分析功能
很多人都熟悉预测数据分析的强大功能、便利性，以及无经伦比的精确性。无论是在Netflix网站上寻找新内容，还是浏览近日在亚马逊网站购买的物品，预测分析越来越多地用于自动化日常任务，过滤信息，做出更好的决策，并改善客户支持。

2019-05-28 18:49:07

预测算法预测分析数据
数据可视化图表，你选对了吗？
常听到一句话，“能用图描述的就不用表，能用表就不用文字”。这句话也直接的表明了：在认知上，大家对于图形的敏感度远比文字高。常见的图表选择原则文章有很多，这里只做简单总结，重点是从逆向来看常见场景选用以及按照数据关系选用，最后是使用中会遇到的一些常见问题。

2019-05-28 11:52:43

可视化图表数据
中科院院士梅宏：大数据对计算体系带来的挑战以及应对策略
梅宏作为大数据领域权威专家，对大数据学术研究、工具开发等方面有着深入的理解。他提到，大数据让信息技术整个体系进入一个重构的前夜，大数据的管理、处理方式正在发生深刻改变。

2019-05-28 10:54:50

梅宏大数据5G
企业需要为2020年数据和分析的6个趋势做好准备
人们的数字化未来会是什么样子?如何管理所有这些信息?业务分析师应该关注哪些技能开发?

2019-05-28 10:41:27

数据分析大数据数字化
大数据云迁移的五大要点
云计算就在这里。然而，数据在云端迁移正在变得令人烦恼。根据McAfee公司的调查，97%的组织使用公共云或私有云服务。大数据也开始超越本地部署/云计算差距。IDG公司发现，41%的企业已经将存储、归档、备份、文件服务器迁移到云端，21%的企业计划在未来一年内迁移存储、归档、备份、文

2019-05-27 23:21:47

大数据云迁移企业
“联通大数据计算实验室”在数博会正式揭牌成立
5月25日，联通大数据有限公司与大数据系统软件国家工程实验室联合宣布，共同成立“联通大数据计算实验室”。

2019-05-27 15:28:27

联通大数据数博会
2019Q1智能手机大数据：华为销量第1，苹果仅第5
极光大数据发布《2019年Q1智能手机行业研究报告》，从智能手机保有率及销量、主流手机品牌用户忠诚度、主流安卓手机品牌用户画像、新上市机型摄像头特征、手机app安装情况和国内运营商市场等维度分析当前智能手机行业的市场格局。

2019-05-27 09:28:59

苹果手机华为
BI和数据仓库：企业分析决策真的离不开数据仓库吗？
很长一段时间，BI和数据仓库几乎都是如影随形、难舍难分。企业如果想要实行“数据驱动决策-决策推动业务发展”的机制，就必须先有数据仓库充当中央存储库，供BI查询和调取，然后再在BI上进行数据的分析与可视化。

2019-05-24 11:51:18

BI数据仓库数据分析
人工智能对数据分析师的影响
在一次研讨会上，Yellowfin公司首席执行官Glen Rabie认为，虽然许多分析师可能担心他们会被自动化和人工智能所取代，但数据分析师的角色将对业务和所需技能的广泛性产生重要影响。

2019-05-24 11:44:02

人工智能数据分析自动化
为什么Flink会成为下一代大数据处理框架的标准？
相对于传统的数据处理模式，流式数据处理则有着更高的处理效率和成本控制。Apache Flink就是近年来在开源社区发展不断发展的能够支持同时支持高吞吐、低延迟、高性能分布式处理框架。

2019-05-23 15:44:55

Flink大数据框架
为什么85%的大数据项目总是失败？
企业在推行大数据项目时往往把项目规模和范围做得很大，但是事实却是，很多大数据项目通常都会失败。

2019-05-23 09:50:46

大数据IT人工智能
激活数据价值 永洪科技的智胜法则 原创
如今，大数据已经渐地淡出人们的谈资。从2015年开始，大数据已经在Gartner新兴技术成熟度曲线中消失，大数据不再是“新兴的”，而是正在慢慢融入我们的生活中。这一说法，也得到了永洪科技高级副总裁邵文龙的认同。他表示，虽然新兴技术成熟度曲线中已经没有了大数据，但是很多其他技术都是基于大数据的，大数据已经成为这些技术的基础。

2019-05-22 15:10:00

永洪科技大数据分析BI
暗数据现状堪忧 Splunk给出实现数据驱动的四点建议 原创
一家中立的市场调查公司TRUE Global Intelligence在Splunk的指导下调查采访了7个国家的1300多名跨国企业的业务经理和IT领导，发现数据焦虑是全球性的。那么如何应对数据焦虑，最大限度的挖掘暗数据的价值，让它们为企业和组织所用呢?Splunk给出了四点建议。

2019-05-22 11:22:54

大数据暗数据实时数据分析
关于数据科学的趋势和前景，这里有你想了解的信息
一般来说，数据科学社区包括“数据库管理员”、“商业智能专家”、“数据仓库专家”、“机器学习专家”、“数据科学家”和“具有统计或数学背景的开发人员”。本文分析了全球不同国家、不同行业和不同规模企业的数据科学社区增长的比例和趋势。

2019-05-21 14:37:41

数据科学可视化企业
数据结构和算法必知必会的50个代码实现
今天在GitHub上发现了个非常不错的项目，目前star 4700+，项目主要讲数据结构和算法，有多种语言 50个代码实现。

2019-05-21 14:28:35

代码算法编程
用Azure Machine Learning服务构建推荐系统 译文
微软提供了附带Python最佳实践示例的GitHub存储库，便于用Azure Machine Learning服务构建和评估推荐系统。

2019-05-21 08:00:22

推荐算法数据科学存储库
云计算商业智能发展现状
48%的组织表示，云计算商业智能在2019年对其运营“至关重要”或“非常重要”。根据研究报告的结果，组织对云计算商业智能的信心比以往任何时候都高。2019年，云计算商业智能的重要性正在急剧上升，这是由企业在运行商业智能应用程序的云平台上访问、分析和存储公司数据的信任和信誉所推动的。

2019-05-20 15:12:01

云计算商业智能AWS
上一页 1 ··· 8283848586 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服