51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
从零转行数据分析的亲身经历
有些朋友对于是否该转行一直抱有迟疑态度，转行会不会有风险啊，转行以后万一后悔了怎么办啊，转行是不是要重新学啊，等等一系列的问题。这些问题大多数人都想过，博主也想过。毕竟工作是人生大事，转行当然也需要万分的谨慎。

2018-08-14 11:00:13

面试职场薪水
扫盲：Hadoop分布式文件系统（HDFS）基础概念讲解！
本文为您带来通过shell命令管理Hadoop HDFS的十大基本操作，这些操作对于管理HDFS集群上的文件非常有用。出于测试目的，你可以使用Cloudera或者Hortonworks等中的某些VM调用此命令，或者用于伪分布式集群设置。

2018-08-14 10:44:58

HadoopHDFS命令
斯坦福开源Weld：高效实现数据分析的端到端优化
Weld 是斯坦福大学 DAWN 实验室的一个开源项目，在 CIDR 2017 论文中描述了它的初始原型。Weld 用于对结合了数据科学库和函数的现有工作负载进行优化，而无需用户修改代码。

2018-08-13 21:19:07

Weld开源数据
数据工程师必看：分析数据时常见的 7 类统计陷阱
我们会发生各种极有可能出现的混淆，数据抽取之后“迷恋”于数字，脑子里没有分析的目标，自己的局限影响指标选择......当分析数据的时候我们都很容易犯错。

2018-08-13 17:22:04

数据开发统计
必看的考研数据分析报告！官方发布！
近日研招网(中国研究生招生信息网)发布了“2015-2018硕士研究生报考数据分析报告”，从硕士报考总人数、各省报考人数、应届生往届生报考比例、学硕专硕比例、男女比例、全日制和非全日制、热门报考专业、热门高校各专业报录比这8个方面，统计了2015-2018年的研究生报考数据。

2018-08-10 22:29:03

数据分析招生考研
TOP 3大开源Python数据分析工具！
在大数据库领域，Python是最常被使用的编程语言，因此了解与其相关的数据分析工具是很有必要的。如果你正在使用virtualenv、pyenv或其他变体在自己的环境中运行Python，那么，可以尝试本文推荐的三大开源工具。

2018-08-10 14:44:01

Python数据工具
想当数据科学家的你这13个错误可别犯
当你看这篇文章的时候，我们知道你已经决定把数据科学当作你的工作。当下越来越多的企业需要数据支持其决策，世界也变得越来越紧密，几乎每个企业都需要大量的数据科学实践。

2018-08-10 08:35:49

数据科学家错误
掌握这五类数据科学项目，找到一份好工作
也许你一直在MOOC平台上学习数据科学，也熟读了一大堆教科书，但要获得数据科学相关的职位，你还需要向雇主展示自己的技能水平。最好的方式是作品集，你可以借此向雇主表明你所一直学习的技能能够用于工作中，为公司创造价值。

2018-08-09 22:20:05

数据科学Python工作
数据可视化的七大趋势
ProPublica的调查记者兼开发者Lena Groeger，以及金融时报的数据可视化记者Jane Pong在全球深度报道大会上分享了他们对当前数据可视化趋势的一些看法。

2018-08-09 22:16:35

可视化数据集Groeger
Apache Spark 统一内存管理模型详解
本文将对 Spark 的内存管理模型进行分析，下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥，我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析。

2018-08-09 11:06:39

Apache Spar内存模型
耗时两个月，国内传统企业对Hadoop到底什么态度？
前有Gartner报告对Hadoop发行版的看衰论断，后有加拿大皇家银行和美国富国银行对Hadoop应用的不看好，到底国内传统企业对Hadoop持什么态度?是否与国内的互联网企业一致呢?Hadoop生态中哪些组件获一致好评?哪些组件被群嘲?

2018-08-09 09:00:34

Hadoop制造行业国内企业
深入浅出 带你看懂数据可视化「美」的历程
技术的进步，让我们能够采集到比以前多得多的信息，数据规模不断成指数量级的增长，数据的内容和类型也比以前要丰富得多，改变了人们分析和研究世界的方式，也给人们提供了新的可视化素材，推动了数据可视化领域的发展。

2018-08-08 20:49:55

可视化工具分析
为什么说位置数据扼住了物联网应用的咽喉？
如果说互联网只是让我们注意到了位置信息，那么，物联网作为对互联网在现实世界中的延伸，它便是真真切切让我们从感官上体验到了位置信息。

2018-08-08 06:40:50

位置数据物联网IOT
大数据公司挖掘数据价值的49个典型案例（值得收藏）
本文是近年来不同行业、不同领域的大数据公司的一些经典案例总结。尽管有些已经是几年前的案例，但其中的深层逻辑对于未来仍有启发。

2018-08-07 15:31:32

大数据挖掘数据
一文详解大规模数据计算处理原理及操作重点
大数据技术主要针对的是大规模数据的计算处理问题，那么要想解决的这一问题，首先要解决的就是大规模数据的存储问题。大规模数据存储要解决的核心问题有三个方面。

2018-08-07 11:27:59

大数据MapReduceHadoop
数据分析或成释放制造业IoT价值的关键所在
曾有专家预测，2020年对制造商来说是重要的一年。接下来，我们将共同了解一下IoT的业务价值，以及制造商如何从中获益。

2018-08-06 22:26:54

数据分析制造业IoT
别跟风了！你的公司根本不需要数据科学家
企业管理者如果能从全局出发部署数据战略，才能真正解决当下数据科学家的痛点，这样数据科学家才能发挥作用解决公司的痛点。

2018-08-06 16:04:31

数据科学家数据库数据分析
对Spark的那些【魔改】
这两年做 streamingpro 时，不可避免的需要对Spark做大量的增强。就如同我之前吐槽的，Spark大量使用了new进行对象的创建，导致里面的实现基本没有办法进行替换。

2018-08-06 12:10:57

SparkRPC Server代码
Kaggle放大招：简单几步实现海量数据分析及可视化
近期，Kaggle发布了新的数据分析及可视化工具——Kaggle Kerneler bot，用户只需上传数据集，便可用Python为用户自动获取相关的深度数据分析结果。本文将带领读者体验一下这款便捷而又高效的工具。

2018-08-06 11:26:10

Kaggle数据集分析
Oracle与Hadoop对比：一致性和高性能不可兼得！
提起Hadoop，我们就可以想到大数据;提起Oracle，我们就可以想到数据库。国内确实有不少企业习惯于将Hadoop作为数据库使用，因此将其与数据库领域同样占据重要位置的Oracle进行对比是有意义的。

2018-08-06 09:30:14

OracleHadoop数据库
NBA球星是如何投篮的？把詹姆斯、库里的投篮数据图3D打印出来
2018年是个”只要有体育就有数据“的年代。NBA也不例外，其为我们提供了所有球员、球队、比赛、进球的数据，还有服务于开发者的API接口。

2018-08-05 05:32:47

3D图数据数据可视化
数据告诉你，中国的房子是不是已经“够”了
今天我们就用这个道理来验证下大家最关心的房地产存量房问题（就是房子究竟有没有过多、有没有泡沫的问题）。

2018-08-03 16:41:23

数据房子存量
实时数据平台设计：解决从OLTP到OLAP实时流转缺失
本文我们探讨了实时数据平台RTDP的相关概念背景和架构设计方案。在架构设计方案中，我们尤其着重讲了RTDP的定位和目标，整体设计架构，以及涉及到的具体问题和考量思路。

2018-08-03 15:28:51

数据平台数据仓库OLTP
想做大数据可视化？来看腾讯高手的实战案例！
在过去一年中，潘洛斯(Penrose)团队参与了「灵鲲」态势感知系统、「麒麟」系统、「鹰眼」反电话诈骗系统等14个大数据可视化产品的设计。随着产品不断的探索和迭代，积累了一些行之有效的大数据可视化设计的心得和方法。基于「灵鲲」这个案例，分享一下我们在大数据可视化方向的设计和思考。

2018-08-03 13:19:10

大数据灵鲲可视化
美团R语言数据运营实战
本文将基于美团到店餐饮技术部的精细化数据运营实践，介绍R在数据分析与可视化方面的工程能力，希望能够抛砖引玉，也欢迎业界同行给我们提供更多的建议。

2018-08-03 11:58:07

美团分布式数据处理可视化
《狄仁杰之四大天王》影评分析（爬虫+词云+热力图）
作为徐老怪的忠实影迷，《狄仁杰之四大天王》肯定是要去看的，看豆瓣评分和前两部相差不多，但其实胡萝卜酱并不是很喜欢前两部，所以在犹豫要不要去看，受到糖甜甜甜的《我不是药神》推送影响，于是也简单去分析了一下《狄仁杰》的影评。

2018-08-02 14:12:16

影评分析狄仁杰之四大天王
大数据解读：金融理财、虚假兼职等四大高危骗局你了解吗？
近日，360互联网安全中心发布《2017年第三季度网络诈骗趋势研究报告》(下称《报告》)，从类型、地域、性别等多个维度总结分析了2018年上半年的网络诈骗形势。

2018-08-01 16:24:56

诈骗虚假兼职分析
图文教程，8步教你变身数据科学家
那么数据科学家是干什么的呢?哪些地方需要数据科学家?怎么样才能成为数据科学家?如果你正因为这些问题而犹豫要不要开始学习数据科学，那么我可以告诉你，成为数据科学家其实非常简单。

2018-08-01 15:22:36

数据科学家数据科学分析
数据科学领域你不容错过的TOP 15个社区
我们带来了下面这张数据科学和机器学习社区的清单，我们梳理了联系方式和信息。来吧，注册然后花点时间和同行们讨论在工作流中阻碍你的问题，需要避免的陷阱以及使生活更轻松一点的窍门。

2018-08-01 14:57:57

数据科学机器学习社区
Gartner预测：90％的数据湖将毫无用处
Gartner此前曾预计，到2018年，90%的数据湖将毫无用处，因为它们充满了原始数据，很少有人会使用这些技术。在当前的技术领域，没有什么能像人工智能(AI)那样引起人们的好奇和兴奋。而AI的潜在优势，也刚刚开始在企业内显现出来。

2018-08-01 14:15:28

数据湖AI人工智能
美国的数据传输计划，是互联网数据大共享的开端吗？
最近，一项由谷歌、微软、Facebook、Twitter四家美国科技巨头共同推出的数据传输计划引起了大家的关注。目前“数据传输计划”还处于白皮书阶段，白皮书中写到：这项计划的目的是打造跨平台数据迁移的新模式和新标准，实现让用户直接将数据从一个服务迁移到另外一个服务，无需重新下载和上传。

2018-08-01 14:02:49

数据传输互联网数据迁移
分析了20万场吃鸡数据后，我有这些发现！
最近老板爱上了吃鸡（手游：全军出击），经常拉着我们开黑，只能放弃午休的时间，陪老板在沙漠里奔波。

2018-08-01 09:50:47

数据吃鸡采集
干货 ：数据分析师的完整流程与知识结构体系
作为数据分析师，无论最初的职业定位方向是技术还是业务，最终发到一定阶段后都会承担数据管理的角色。因此，一个具有较高层次的数据分析师需要具备完整的知识结构。

2018-07-31 14:39:00

数据分析数据库数据存储
Hadoop生态组件Yarn之长期运行服务支持篇！
众所周知，Yarn是大数据核心调度组件，其使用覆盖率非常高。在“Hadoop是否已失宠”的选题调研中，不少专家都对Yarn这一核心组件的生命力表达了自己的看法。

2018-07-31 14:24:02

HadoopYarn服务框架
干货：如何将Hadoop存储容量提升4倍？
本文主要介绍如何通过Federation使用多个独立的Namenodes/Namespaces水平扩展命名空间。Namenodes彼此独立，互不通信，可以共享相同的Datanode存储。

2018-07-30 15:05:26

Hadoop大数据集群
3天破9亿！上万条评论解读《西虹市首富》是否值得一看
纵观近几年的国产电影市场，“开心麻花“似乎已经成为了票房的保证。从《夏洛特烦恼》、《羞羞的铁拳》到最新上映的《西虹市首富》都引爆了票房。本期我们会根据从猫眼电影网爬取到的上万条评论为你解读《西虹市首富》是否值得一看。

2018-07-30 11:18:54

西虹市首富电影数据
对比解读五种主流大数据架构的数据分析能力
数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、对业务发展有着举足轻重的作用。基于大数据架构的数据分析平台侧重于从以下几个维度去解决传统数据仓库做数据分析面临的瓶颈。

2018-07-30 09:06:46

大数据Hadoop数据架构
残酷！如果你35岁破产，你还有多大可能逆袭？（数据分析）
房间里有100个人，每人都有100元钱，他们在玩一个游戏。每轮游戏中，每个人都要拿出一元钱随机给另一个人，最后这100个人的财富分布是怎样的？

2018-07-28 15:15:58

破产逆袭数据分析
数据分析师还吃香吗？用数据告诉你
有人说，这个时代，只要站在了风口，猪都能飞起来，尤其互联网行业，千变万化，日异月殊，一不小心就错过了风口，有人甚至用币圈一日互联网十年来形容虚拟币和区块链的火爆，如果单从热点看，大数据貌似有点out了，那究竟如何呢?

2018-07-27 14:04:24

数据分析薪资数据分析师
不想去健身房的我，最后被贝叶斯分析说服了...
作者从小被人说体型瘦小，于是他用了贝叶斯分析最终得出了自己的体重确实低于本国平均水平的结论。这篇文章将叙述一个在线性回归理论中应用贝叶斯分析的有趣试验。

2018-07-27 13:55:12

贝叶斯分析线性回归数据
7000字深度总结：运营必备的数据分析方法
提起数据分析，大家往往会联想到一些密密麻麻的数字表格，或是高级的数据建模手法，再或是华丽的数据报表。其实，“ 分析 ”本身是每个人都具备的能力;比如根据股票的走势决定购买还是抛出，依照每日的时间和以往经验选择行车路线;购买机票、预订酒店时，比对多家的价格后做出最终选择。

2018-07-26 16:46:44

数据分析用户企业
数据可视化发现[吃鸡]秘密
今天跟朋友玩了几把吃鸡，经历了各种死法，还被嘲笑说论女生吃鸡的100种死法。这种游戏对我来说就是一个让我明白原来还有这种死法的游戏。但是玩归玩，还是得假装一下我沉迷学习，所以今天就用吃鸡比赛的真实数据来看看如何提高你吃鸡的概率。

2018-07-26 16:32:31

数据吃鸡游戏
高德地图宣布易行平台升级 发布一站式全域出行服务平台
在今日举行的2018未来交通峰会上，高德地图宣布易行平台全面升级，推出一站式全域出行服务平台，可以为用户提供包含“去哪儿”“怎么去”以及目的地服务在内的出行全周期服务。同时，为了让易行平台2.0更好地落地，高德还将推出“易行助手”，实现全程智能语音交互，提供一站式全域出行服务。

2018-07-26 15:44:32

高德地图全域
高德地图公布中国十大堵点，北京大山子当选“最堵点”
2018年7月26日，在今日举行的2018未来交通峰会上，高德地图公布了网友票选的中国十大堵点，其中大山子——望京街路口、珠江北岸-沿江西路、无影山-小清河南路获得票数最多，分别成为北京、广州、济南的“最堵点”。

2018-07-26 15:42:04

高德地图北京堵点
大数据时代，传统数据仓库技术是否已经过时？
传统数据仓库由源系统、ODS、EDW、Data Mart这几部分组成，源系统就是业务系统、生产系统，ODS是操作数据存储，EDW是企业级数据仓库，Data Mart是数据集市。

2018-07-26 10:26:09

大数据传统数据
大数据处理引擎Spark与Flink大比拼
正在Spark如日中天高速发展的时候，2016年左右Flink开始进入大众的视野并逐渐广为人知。为什么呢?原来在人们开始使用Spark之后，发现Spark虽然支持各种常见场景，但并不是每一种都同样好用。而Flink凭借更优的流处理引擎，同时也支持各种处理场景，成为Spark的有力挑战者。

2018-07-25 15:31:51

SparkFlink大数据
《邪不压正》究竟算不算好电影？通过爬取豆瓣上万条影评告诉你
今年的暑期《我不是药神》一骑绝尘，而姜文的《邪不压正》却褒贬不一，虽然上映当天豆瓣评分便由8.2跌到7.1，但单日票房却依旧过亿。作为掌握技术Pythoner，我们除了关注彭于晏的屁股，还应该关注许晴的臀部，啊不是，应该透过现象去看清本质。

2018-07-25 13:47:51

彭于晏邪不压正Python
使用Numpy和Opencv完成基本图像的数据分析（Part I）
随着科技的进步，使用Python包访问数字图像的内部变得更容易理解其属性和性质，掌握对数字图像处理的能力显得是十分有必要。下面将向大家介绍如何使用NumPy和OpenCV对数字图像进行简单的处理方法。

2018-07-24 16:05:58

NumpyOpencv数字图像
使用Numpy和Opencv完成图像的基本数据分析（Part II）
本文主要介绍使用Numpy和Opencv完成图像的基本数据分析后续部分，主要包含逻辑运算符操作、掩膜以及卫星图像数据分析等操作。

2018-07-24 16:00:38

NumpyOpencv数字图像
收集和存储数据——数据仓库
数据产品的工作比较杂，从数据仓库建模，指标体系建立，到数据产品工具的设计，再到偶尔一些数据分析报告的撰写，甚至一些机器学习的预测模型都要有所了解。

2018-07-24 09:28:18

存储数据仓库
上一页 1 ··· 9495969798 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服