51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
不是技术也能看懂云计算，大数据，人工智能
我今天要讲这三个话题，一个是云计算，一个大数据，一个人工智能，我为什么要讲这三个东西呢?因为这三个东西现在非常非常的火，它们之间好像互相有关系，一般谈云计算的时候也会提到大数据，谈人工智能的时候也会提大数据，谈人工智能的时候也会提云计算。

2018-03-06 10:38:23

云计算大数据人工智能
数据中心能耗问题待解 边缘计算或开启新蓝海
近两年，物联网、人工智能、5G等新技术的不断涌现和发展，一直推动着数据中心的新一轮变革。而关于数据中心的能耗问题，是当前业内亟待解决的难题。不过随着技术的成熟发展，2018年我们或将成为边缘数据中心的发展年。

2018-03-06 10:30:35

数据中心边缘数据中心云计算
两会大数据，00后成新关注者
全国政协十三届一次会议于2018年3月3日在北京开幕，这也标志着一年一度的全国两会工作正式拉开帷幕。那么在两会召开前，各年龄段人群都关注哪些热点议题?

2018-03-05 18:00:48

大数据两会00后
Apache Spark 2.3重要特性介绍
为了继续实现 Spark 更快，更轻松，更智能的目标，Spark 2.3 在许多模块都做了重要的更新，比如 Structured Streaming 引入了低延迟的连续处理(continuous processing)等。

2018-03-05 17:29:52

SparkApache SparSpark 2.3
欧美顶尖大学是如何使用大数据的？
从学费个性化到成绩管理，高校运营日益受到数据的驱动。“你可以说它大胆、疯狂，甚至傲慢自大。但我觉得：如果乔治亚州立大学要做一件大事，就应当以此为目标——一旦实现，就将改变世界。”

2018-03-05 17:23:04

美国高校大数据数据分析
让大数据可视化，艺术家想用它帮我们选择更好的朋友
对于大数据，我们经常听到一些可怕的消息，比如大公司或者政府侵犯个人隐私。不过，往好的方面想，假如我们自己能够运用这些数据让我们生活变得更好呢?

2018-03-05 11:19:19

数据可视化艺术家弗里克
数据分析——2018年企业不可缺少的能力
去年，可谓是新科技术快速发展的一年，世界上大多数国家都沉浸在诸如人工智能、机器学习、物联网和自动化等新技术的演进中。尽管这些技术被证明是促进业务增长的催化剂，但许多小企业领导人却决定将大部分投资集中在数据分析上。

2018-03-02 11:46:35

数据分析中小型企业云
数化万物 智在融合——2018数博会将于五月开幕
今年数博会的年度主题是“数化万物 智在融合”，将于5月26日—29日在贵州贵阳举办。会议期间，贵州省委常委、常务副省长、贵阳市委书记李再勇先生介绍了本届数博会的情况，涉及大会方向、年度主题、活动内容等方面。

2018-03-01 17:22:47

数化万物智在融合2018
人工智能将加快银行业转型！大数据会对每个用户进行信用评级！
在将来的某一天，人工智能是否会彻底替代380余万银行工作人员？人工智能和机器人的“威胁”将改变，未来5年内，银行业30%的工作岗位将会消失！

2018-03-01 17:18:58

人工智能大数据银行
Hadoop分布式文件系统--HDFS的诞生
：这篇文章介绍了HDFS的一些关键设计理念，已经属于非常简化的情况了，没有考虑数据的完整性，节点失效等更多细节。

2018-03-01 16:26:30

HDFSHadoop系统
关于数据科学家面试的那些事儿
数据科学是技术领域中最不明确的领域之一，但是数据科学行业的人才需求确实空前的，无论是应聘者还是招聘人员，这篇文章可能会给你下一次面试带来启发!

2018-03-01 15:34:20

数据科学面试招聘
Hadoop进入寒冬期，崛起的会是Spark吗?
年初的调查中，Hadoop被列为2018年大数据领域的“渐冻”趋势之一，Gartner的调查也揭示了Hadoop使用量的下滑，不少人将Hadoop称作“倒下的大象”，比如Lucidworks首席执行官Will Hayes。如果Hadoop开始进入寒冬期，率先崛起的会是呼声最高的Spark吗?

2018-03-01 14:56:11

HadoopSpark大数据
每个数据科学家都应该知道的六个概率分布
本文重点介绍了日常生活中经常能遇到的六个重要分布，并解释了它们的应用。现在，你已经能够识别、关联和区分这些分布了。

2018-03-01 14:30:22

数据科学概率分布
外媒速递：Hadoop对Spark的正面比拼报告 原创
每一年，市场上都持续出现各类拥有不同数据管理规模、类型与速度表现的分布式系统。在这类方案当中，Hadoop与Spark无疑是最令人瞩目的两款。然而，二者到底孰强孰弱?

2018-03-01 08:39:34

HadoopSpark加密货币
看了数据你就知道中国人有多能花
元宵节来临之际，盘点今年狗年春节，国人爱去哪里度假 爱看哪部电影 青睐什么样的美食 消费支出分布在哪些大类，相比往年又是否花得更多 拥有4500多万流通户的招商银行信用卡发布春节消费大数据显示：国民在购物、旅游交通、餐饮和生活休闲上的消费支出，同比2017年大幅增长，春节消费越发呈现品质化、多样化等特点。

2018-02-28 16:51:47

春节大数据在移动支付
如何成为数据科学家？ 数据科学家的职责技能要求和薪水构成
数据科学是一个快速增长和利润丰厚的行业，BLS预测到这个行业职位将在2024年前增长11%。数据科学家目前正是一个热门的职业。在Glassdoor的美国50年最佳职位报告中，数据科学家的职位空缺，薪水和总体满意度评级，在各行业中均名列前茅。

2018-02-28 15:03:03

数据科学家数据分析职业
公厕大数据：东莞覆盖率最高北京数量最多
近日，在“厕所革命”新三年行动计划的开端，国家旅游局联合高德地图推出中国全域旅游厕所导航系统，切实推进“厕所革命”的落地。从舆情监测数据显示，厕所导航系统的推出在解决民生需求方面所发挥的作用，利用科技手段提升服务效果的思路，以及创新旅游信息服务的方式上均得到社会的高度认可。

2018-02-27 14:50:20

大数据公厕城市
批处理ETL已死，Kafka才是数据处理的未来？
在 QCon 旧金山会议上，Neha Narkhede 做了“ETL 已死，而实时流长存”的演讲，并讨论了企业级数据处理领域所面临的挑战。该演讲的核心前提是开源的 Apache Kafka 流处理平台能够提供灵活且统一的框架，支持数据转换和处理的现代需求。

2018-02-27 14:22:38

ETLKakfa数据集
管理者在数据分析上常犯的9个错误
数据是人类的发明。人类定义了他们想要测量的现象，设计系统收集数据，在分析之前进行清理和预处理，最后选择如何解释结果。即使使用相同的数据集，两个人也可以得出截然不同的结论。这是因为数据本身并不是“地面真实”——能够反应客观现实的、可观察的、可证明的数据。

2018-02-27 13:48:01

大数据管理者数据
如何选择大数据应用程序
为了充分利用大量的数据支出，供应商在各种不同的产品和服务上打上了“大数据”标签。这种产品的扩散会使组织很难找到合适的大数据应用程序来满足他们的需求。专家建议，企业开始选择大数据应用程序的一个好方法是精确地确定自己所需要什么类型的应用程序。

2018-02-27 13:45:01

大数据软件应用程序
云计算是否会减少数据中心的工作机会
云计算是否会减少数据中心工作机会要追溯到2005年，当时Capital One通过将其数据中心业务外包给IBM而淘汰了170个工作岗位，2015年游戏公司Zynga通过关闭数据中心并将工作负载迁移到AWS裁员360个数据中心人员。

2018-02-27 13:42:11

云计算数据中心IT
Gartner：2018年大数据分析平台魔力象限
Gartner近日发布了2018年版面向分析的数据管理解决方案魔力象限。 Gartner特别指出，由于某些因素变得明朗化，具体来说涉及云计算、Hadoop逻辑数据仓库的采用以及中国厂商，这个市场在发生一些变化。面向分析的数据管理解决方案(DMSA)被定义为“支持和管理一个或多个文件管理系统(通常是数据库)中数据的完整软件系统。”

2018-02-27 13:09:00

Hadoop数据仓库魔力象限
大数据告诉你：逃离北上广的人最后都去了哪里？
实际上，长期以来作为“人口抽水机”的一线城市，已隐现人口拐点迹象。据官方统计数据，2015年北京城六区、上海城区常住人口均由正转负，去年北京城六区常住人口再度同比下降3%。

2018-02-26 17:42:58

大数据一线城市北上广深
文本分析了4000万条Stack Overflow讨论帖，这些是程序员最推荐的编程书（附代码）
程序员们都看什么书?他们会向别人推荐哪些书?本文作者分析了Stack Overflow上的4000万条问答，找出了程序员们最常讨论的书，同时非常慷慨地公开了数据分析代码。让我们来看看作者是怎么说的吧。

2018-02-26 17:11:11

程序员开发者书
基于Python实现的微信好友数据分析
今天这篇文章会基于 Python 对微信好友进行数据分析，这里选择的维度主要有：性别、头像、签名、位置，主要采用图表和词云两种形式来呈现结果，其中，对文本类信息会采用词频分析和情感分析两种方法。常言道：工欲善其事，必先利其器也。

2018-02-26 08:44:35

Python微信数据分析
2018年一定要收藏的20款免费预测分析软件！
本文推荐一些免费的预测分析软件，它们主要用于分析统计使用，机器学习和数据挖掘来寻找关于客户行为，市场趋势和原始数据集中其他领域的线索的相关性和模式。其中一些预测建模解决方案可通过许可，免费获得开源或社区版本;其中一些预测分析软件是商业版本的免费版或社区版，但提供的功能较少。

2018-02-25 11:40:43

预测分析分析工具数据分析
这几种语言最合适数据分析
在巨大的数据集中进行筛选的最好工具是什么 通过和数据骇客的交流，我们知道了他们用于硬核数据分析最喜欢的语言和工具包。

2018-02-25 10:37:26

语言数据分析工具
大数据告诉你：中国人春节花掉9260亿，钱都花哪了？
商务部监测数据显示，2018年除夕至正月初六(2月15日至21日，下称“春节假期”)，中国零售和餐饮企业实现销售额约9260亿元，超过此前预测的9000亿元;比去年同期增长10.2%，增幅较去年下降1.2个百分点。西藏、云南、青海、四川等中西部地区零售企业的销售额保持快速增长。

2018-02-25 09:42:16

大数据春节春节消费
又是数据与分析，研究发现60%的高管认为他们在分析方面的支出将会提升
知名研究机构IDG Research于不久前发布了其“CIO Tech Poll: Tech Priorities 2018”研究, 该研究一共涉及到186名IT高管，其中67%属于高管层(C-level)，20%为公司董事，还有10%是公司执行或高级VP。IDG发现，分析，云计算和物联网(IoT)将在未来三到五年内将对组织产生最大的影响力。

2018-02-25 08:15:47

数据分析企业IT高管
大数据在云端的应用需要改变IT技能集
调研机构Enterprise Strategy Group的高级分析师Mike Leone表示，总体而言，云计算中的大数据可以降低内部部署数据中心的成本，并非运行在云端的大数据工作负载或项目都需要企业拥有一名大数据专家，但也有一些企业需要数据专家的帮助，例如涉及Hadoop。

2018-02-24 22:26:51

大数据云计算数据中心
5年大数据，看互联网下的“花样”春节
春节正在成为中国社会发展的一个缩影，特别是近年来，互联网模式的深入推进，网购年货、好友助力抢车票、旅游式过年、搭顺风车回家、手机红包送祝福……春节的玩法变得越来越新颖、多样。

2018-02-24 21:44:05

互联网大数据春节
【干货】全球大数据领域开源工具汇总
本文汇总了全球大数据领域顶级开源工具，大数据技术从业人员必读。

2018-02-23 16:38:58

大数据开源工具
大数据的提升：Hadoop即服务的迅猛发展
Haadoop是一个基于开放源代码的软件框架，能够跨分布式集群高吞吐量处理大数据量。利基市场几年前就开始进入主流市场。随着数字化运动的快速扩展，Hadoop提供了充足的使用案例，允许使用普通商品硬件进行大数据处理。

2018-02-09 15:34:57

HadoopSaas云服务
政府大数据治理与区块链技术应用探析
政府大数据的价值是潜在的，只有结合一定的应用需求和应用场景，由合适的对象用适当的方法加以开发和利用，才能发挥出来，否则就只能是一笔“沉睡”的资产。因此，政府部门如何盘活和管理这笔数据资产就显得尤为重要，政府大数据治理就是要解决这一问题。

2018-02-09 15:10:26

大数据治理区块链政府大数据
思科：3年后几乎所有数据中心工作负载都将是基于云的
近日发布的最新思科全球云指数(Cisco Global Cloud Index)显示，商业和消费应用正在推动云服务的增长。因此，数据中心治理和数据控制方面有所改进，思科预测，到2021年94%的工作负载和实例将由云数据中心处理。届时，企业数据中心环境中的专用服务器将越来越少。

2018-02-09 15:01:35

数据中心云物联网
外媒速递：将在2018年全面袭来的四大数据分析趋势 原创
与社交、移动与云一起，分析与数据相关技术已经成为数字化时代下核心业务的颠覆者。随着企业在2017年开始逐步由数据生成组织转向数据驱动型组织，数据收集与分析也越来越多地成为各类企业的关注重点。

2018-02-09 08:39:02

大数据分析WiFiAI
大数据和BI商业智能有何区别？有何相关？
大数据 ≠BI商业智能，大数据也不是传统商业智能的简单升级。当然纯粹从思想的角度讲，两者在概念上是可以实现统一的，都遵循数据-信息-知识-智慧这个脉络，甚至在更高的层次，两者也是可以统一的。

2018-02-09 07:47:47

大数据BI商业智能
一个Spark缓存的使用示例
之前一直不是非常理解Spark的缓存应该如何使用. 今天在使用的时候, 为了提高性能, 尝试使用了一下Cache, 并收到了明显的效果。关于Cache的一些理论介绍, 网上已经很多了. 但是貌似也没有一个简单的例子说明。

2018-02-08 18:00:49

Spark文件测试
大数据架构师从入门到精通 学习必看宝典
经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么?

2018-02-08 17:27:23

大数据HadoopGoogle
未来三到五年，云计算将成企业大数据业务发展核心推动因素
尽管已经有了大量的成功案例，但真正实施一项大数据项目并不是一件易事。事实上，其提出了许多挑战，其中任何一项挑战都可能使项目在开始之前就脱轨。在其大数据和分析调查报告中，IDG确定了如下这5大挑战

2018-02-08 11:10:08

云计算大数据安全
用Pandas处理大数据——节省90%内存消耗的小贴士
一般来说，用pandas处理小于100兆的数据，性能不是问题。当用pandas来处理100兆至几个G的数据时，将会比较耗时，同时会导致程序因内存不足而运行失败。本文我们讨论pandas的内存使用，展示怎样简单地为数据列选择合适的数据类型，就能够减少dataframe近90%的内存占用。

2018-02-08 09:37:27

Pandas大数据Spark
【揭秘】中国四大银行的大数据应用已到什么阶段
对于大数据给企业带来的价值，已经毋庸置疑。在国内，银行业应该是IT建设更为领先的行业之一。特别中、农、工、建四大银行，更是走在整个银行业的前面。那么，他们对于大数据是如何看待的?在这四大银行，大数据的应用又走到了什么阶段呢?

2018-02-08 09:20:06

银行大数据建设银行
大数据产业“黄金期”面临四道坎
业内预期，我国大数据产业正在从起步阶段步入黄金期，2020年中国有望成世界第一数据资源大国，但数据开放度低、技术薄弱、人才缺失、行业应用不深入等难题亟待解决。

2018-02-07 08:58:01

大数据产业工信部底层技术
2018全球大数据产业将呈七大发展趋势
大数据将对人类生活产生深远影响，大数据是未来科技浪潮发展不容忽视的巨大推动力量，2018年全球大数据产业将得到强劲发展。

2018-02-07 07:57:45

大数据数据分析产业应用
云计算、人工智能和新硬件赋予大数据分析的未来
如今，大数据已经成为人们很熟悉的一个术语，但是2018年将采用的策略将完全打破大数据的发展现状。这种新技术属于大数据分析范畴，而这也是人们在从数字时代开始以来收集数据量进行互动的原因。只要索引这些信息，就会颠覆过去10年计算机的发展。但是云计算的进步使得庞大的计算机网络能够协同工作，压缩数据，并提供可操作的智能。

2018-02-06 10:00:14

数据分析云计算人工智能
干货分享：数据分析的六大黄金法则
为什么你的数据分析成果总是难以落地?数据分析的价值总是远远低于预期?相信看完这篇文章，每个人都能找到一个属于自己的答案。本人先后在电力、军工、金融等行业担任数据分析师，有多年行业经验。从平时的工作中总结出以下六个数据分析时要注意的原则，希望能对大家有所帮助。

2018-02-06 09:25:35

数据分析分析方法分析工具
从大数据的角度看：年货变迁、消费升级和财富效应
打开电视，商家的年货促销层出不穷;走出家门，各地的年货大集精彩纷呈。而在老百姓办年货的背后，活生生展现了一幅居民消费升级趋势图。再往细了挖掘，你会发现，这一轮消费升级的背后，反映的是改善需求对消费的拉动，以及房价上涨带来的财富效应。

2018-02-06 08:29:13

大数据年货春节
玩转大数据可视化的几个必会工具
俗话说的好，逆水行舟，不进则退，在快速发展的今天，紧跟时代的步伐，抓住时代的脉搏，才能助力企业激流勇进，抢占先机。作为助力企业经营决策的大数据可视化应用，对于的企业发展起着至关重要的作用。

2018-02-04 22:22:46

大数据开发工具
自建Hadoop集群迁移到EMR之数据迁移篇
自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。需要自建集群和EMR各个节点网络互通。同为VPC网络只需要同一个安全组，不同的安全组需要设置安全组互通。

2018-02-02 16:15:02

Hadoop数据迁移集群
科普帖：五分钟快速了解大数据及其必备技能
当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。虽然大数据潮流在默默的推进各种变革，但您真的了解大数据么?

2018-02-02 16:08:32

互联网大数据数据分析
上一页 1 ··· 103104105106107 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服