51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9063内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9063 条
《狄仁杰之四大天王》影评分析（爬虫+词云+热力图）
作为徐老怪的忠实影迷，《狄仁杰之四大天王》肯定是要去看的，看豆瓣评分和前两部相差不多，但其实胡萝卜酱并不是很喜欢前两部，所以在犹豫要不要去看，受到糖甜甜甜的《我不是药神》推送影响，于是也简单去分析了一下《狄仁杰》的影评。

2018-08-02 14:12:16

影评分析狄仁杰之四大天王
大数据解读：金融理财、虚假兼职等四大高危骗局你了解吗？
近日，360互联网安全中心发布《2017年第三季度网络诈骗趋势研究报告》(下称《报告》)，从类型、地域、性别等多个维度总结分析了2018年上半年的网络诈骗形势。

2018-08-01 16:24:56

诈骗虚假兼职分析
图文教程，8步教你变身数据科学家
那么数据科学家是干什么的呢?哪些地方需要数据科学家?怎么样才能成为数据科学家?如果你正因为这些问题而犹豫要不要开始学习数据科学，那么我可以告诉你，成为数据科学家其实非常简单。

2018-08-01 15:22:36

数据科学家数据科学分析
数据科学领域你不容错过的TOP 15个社区
我们带来了下面这张数据科学和机器学习社区的清单，我们梳理了联系方式和信息。来吧，注册然后花点时间和同行们讨论在工作流中阻碍你的问题，需要避免的陷阱以及使生活更轻松一点的窍门。

2018-08-01 14:57:57

数据科学机器学习社区
Gartner预测：90％的数据湖将毫无用处
Gartner此前曾预计，到2018年，90%的数据湖将毫无用处，因为它们充满了原始数据，很少有人会使用这些技术。在当前的技术领域，没有什么能像人工智能(AI)那样引起人们的好奇和兴奋。而AI的潜在优势，也刚刚开始在企业内显现出来。

2018-08-01 14:15:28

数据湖AI人工智能
美国的数据传输计划，是互联网数据大共享的开端吗？
最近，一项由谷歌、微软、Facebook、Twitter四家美国科技巨头共同推出的数据传输计划引起了大家的关注。目前“数据传输计划”还处于白皮书阶段，白皮书中写到：这项计划的目的是打造跨平台数据迁移的新模式和新标准，实现让用户直接将数据从一个服务迁移到另外一个服务，无需重新下载和上传。

2018-08-01 14:02:49

数据传输互联网数据迁移
分析了20万场吃鸡数据后，我有这些发现！
最近老板爱上了吃鸡（手游：全军出击），经常拉着我们开黑，只能放弃午休的时间，陪老板在沙漠里奔波。

2018-08-01 09:50:47

数据吃鸡采集
干货 ：数据分析师的完整流程与知识结构体系
作为数据分析师，无论最初的职业定位方向是技术还是业务，最终发到一定阶段后都会承担数据管理的角色。因此，一个具有较高层次的数据分析师需要具备完整的知识结构。

2018-07-31 14:39:00

数据分析数据库数据存储
Hadoop生态组件Yarn之长期运行服务支持篇！
众所周知，Yarn是大数据核心调度组件，其使用覆盖率非常高。在“Hadoop是否已失宠”的选题调研中，不少专家都对Yarn这一核心组件的生命力表达了自己的看法。

2018-07-31 14:24:02

HadoopYarn服务框架
干货：如何将Hadoop存储容量提升4倍？
本文主要介绍如何通过Federation使用多个独立的Namenodes/Namespaces水平扩展命名空间。Namenodes彼此独立，互不通信，可以共享相同的Datanode存储。

2018-07-30 15:05:26

Hadoop大数据集群
3天破9亿！上万条评论解读《西虹市首富》是否值得一看
纵观近几年的国产电影市场，“开心麻花“似乎已经成为了票房的保证。从《夏洛特烦恼》、《羞羞的铁拳》到最新上映的《西虹市首富》都引爆了票房。本期我们会根据从猫眼电影网爬取到的上万条评论为你解读《西虹市首富》是否值得一看。

2018-07-30 11:18:54

西虹市首富电影数据
对比解读五种主流大数据架构的数据分析能力
数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、对业务发展有着举足轻重的作用。基于大数据架构的数据分析平台侧重于从以下几个维度去解决传统数据仓库做数据分析面临的瓶颈。

2018-07-30 09:06:46

大数据Hadoop数据架构
残酷！如果你35岁破产，你还有多大可能逆袭？（数据分析）
房间里有100个人，每人都有100元钱，他们在玩一个游戏。每轮游戏中，每个人都要拿出一元钱随机给另一个人，最后这100个人的财富分布是怎样的？

2018-07-28 15:15:58

破产逆袭数据分析
数据分析师还吃香吗？用数据告诉你
有人说，这个时代，只要站在了风口，猪都能飞起来，尤其互联网行业，千变万化，日异月殊，一不小心就错过了风口，有人甚至用币圈一日互联网十年来形容虚拟币和区块链的火爆，如果单从热点看，大数据貌似有点out了，那究竟如何呢?

2018-07-27 14:04:24

数据分析薪资数据分析师
不想去健身房的我，最后被贝叶斯分析说服了...
作者从小被人说体型瘦小，于是他用了贝叶斯分析最终得出了自己的体重确实低于本国平均水平的结论。这篇文章将叙述一个在线性回归理论中应用贝叶斯分析的有趣试验。

2018-07-27 13:55:12

贝叶斯分析线性回归数据
7000字深度总结：运营必备的数据分析方法
提起数据分析，大家往往会联想到一些密密麻麻的数字表格，或是高级的数据建模手法，再或是华丽的数据报表。其实，“ 分析 ”本身是每个人都具备的能力;比如根据股票的走势决定购买还是抛出，依照每日的时间和以往经验选择行车路线;购买机票、预订酒店时，比对多家的价格后做出最终选择。

2018-07-26 16:46:44

数据分析用户企业
数据可视化发现[吃鸡]秘密
今天跟朋友玩了几把吃鸡，经历了各种死法，还被嘲笑说论女生吃鸡的100种死法。这种游戏对我来说就是一个让我明白原来还有这种死法的游戏。但是玩归玩，还是得假装一下我沉迷学习，所以今天就用吃鸡比赛的真实数据来看看如何提高你吃鸡的概率。

2018-07-26 16:32:31

数据吃鸡游戏
高德地图宣布易行平台升级 发布一站式全域出行服务平台
在今日举行的2018未来交通峰会上，高德地图宣布易行平台全面升级，推出一站式全域出行服务平台，可以为用户提供包含“去哪儿”“怎么去”以及目的地服务在内的出行全周期服务。同时，为了让易行平台2.0更好地落地，高德还将推出“易行助手”，实现全程智能语音交互，提供一站式全域出行服务。

2018-07-26 15:44:32

高德地图全域
高德地图公布中国十大堵点，北京大山子当选“最堵点”
2018年7月26日，在今日举行的2018未来交通峰会上，高德地图公布了网友票选的中国十大堵点，其中大山子——望京街路口、珠江北岸-沿江西路、无影山-小清河南路获得票数最多，分别成为北京、广州、济南的“最堵点”。

2018-07-26 15:42:04

高德地图北京堵点
大数据时代，传统数据仓库技术是否已经过时？
传统数据仓库由源系统、ODS、EDW、Data Mart这几部分组成，源系统就是业务系统、生产系统，ODS是操作数据存储，EDW是企业级数据仓库，Data Mart是数据集市。

2018-07-26 10:26:09

大数据传统数据
大数据处理引擎Spark与Flink大比拼
正在Spark如日中天高速发展的时候，2016年左右Flink开始进入大众的视野并逐渐广为人知。为什么呢?原来在人们开始使用Spark之后，发现Spark虽然支持各种常见场景，但并不是每一种都同样好用。而Flink凭借更优的流处理引擎，同时也支持各种处理场景，成为Spark的有力挑战者。

2018-07-25 15:31:51

SparkFlink大数据
《邪不压正》究竟算不算好电影？通过爬取豆瓣上万条影评告诉你
今年的暑期《我不是药神》一骑绝尘，而姜文的《邪不压正》却褒贬不一，虽然上映当天豆瓣评分便由8.2跌到7.1，但单日票房却依旧过亿。作为掌握技术Pythoner，我们除了关注彭于晏的屁股，还应该关注许晴的臀部，啊不是，应该透过现象去看清本质。

2018-07-25 13:47:51

彭于晏邪不压正Python
使用Numpy和Opencv完成基本图像的数据分析（Part I）
随着科技的进步，使用Python包访问数字图像的内部变得更容易理解其属性和性质，掌握对数字图像处理的能力显得是十分有必要。下面将向大家介绍如何使用NumPy和OpenCV对数字图像进行简单的处理方法。

2018-07-24 16:05:58

NumpyOpencv数字图像
使用Numpy和Opencv完成图像的基本数据分析（Part II）
本文主要介绍使用Numpy和Opencv完成图像的基本数据分析后续部分，主要包含逻辑运算符操作、掩膜以及卫星图像数据分析等操作。

2018-07-24 16:00:38

NumpyOpencv数字图像
收集和存储数据——数据仓库
数据产品的工作比较杂，从数据仓库建模，指标体系建立，到数据产品工具的设计，再到偶尔一些数据分析报告的撰写，甚至一些机器学习的预测模型都要有所了解。

2018-07-24 09:28:18

存储数据仓库
搞懂5种数据可视化方法，胜任90%热门信息图设计
借助于图形化的手段，清晰、快捷有效的传达与沟通信息。从用户的角度，数据可视化可以让用户快速抓住要点信息，让关键的数据点从人类的眼睛快速通往心灵深处。数据可视化一般会具备以下几个特点：准确性、创新性 和 简洁性。

2018-07-23 16:54:09

数据可视化图形数据
推荐 ：大数据下的用户与价值分析
RFM方法是国际上最成熟、最为接受的客户价值分析方法，RFM实际上是一整套分析方法中的部分内容，但最具代表性，其它还包括客户购买行为随机模型、马可夫链状态移转矩阵方法、贝氏机率推导状态移转概率方法、回归拟合方法等。 它具体的技术原理又是如何呢?

2018-07-23 16:45:36

数据分析RFM方法
用Python做数据科学时容易忘记的八个要点！
网上搜索答案是一种懒惰的行为，虽然在短期内它可能是最简便的途径，但它终究不利于你的成长，并且会降低工作效率和对语法的熟知能力。下面，我们就来总结一下用Python做数据科学时容易忘记的八个要点！

2018-07-23 14:53:44

Python数据科学函数
大数据时代，如何防止“数据裸奔”？
“每个人在网络中都无所遁形。”中国互联网协会个人信息保护工作委员会秘书长李美燕谈到，“数据爬虫”爬进了千家万户，人们发出的每一条信息，浏览的每一个痕迹，都不再是自己独有的存储记录，而是变成他人接近你的路标。国内外频频高发的个人信息保护事件，使个人信息保护态势更加严峻。

2018-07-23 14:51:22

大数据个人信息隐私
让传达更有效！7个提升数据可视化的实用技巧
今天的文章不长，但是干货还是不少的。对于数据可视化，我觉得在设计原理上其实是相通的，都是为了更好的传达信息。所以，同样的，关注核心信息，剔除信息杂质，就能使数据表信息的传达更有效。

2018-07-23 13:02:30

数据可视化颜色数据
《邪不压正》评分持续走低，上万条网友评论揭秘，是救救姜文还是救救观众？
万众期待的《邪不压正》已上映有一周时间。接下来，我们将会跟你一起用猫眼上万条评论数据来分析，网友对这部电影的反响究竟如何？整体思路，将会从数据获取、数据处理、数据可视化三部曲来进行。

2018-07-22 15:57:00

数据可视化大数据数据分析
年薪百万的大数据开发工程师的入门书单
大数据开发工程师是当今技术行业中最受欢迎的工作之一。事实上，如今这些专家供不应求，如果你打算在大数据领域开展职业生涯，不妨先看看这些书，在本文中，我罗列了云计算、大数据、Hadoop和Apache Spark的最佳书籍，希望对大家有帮助

2018-07-20 16:57:51

大数据书单工程师
大数据专业成新宠，232所高校竞相布局大数据相关专业
站在互联网数字经济时代的“风口”，聚焦大数据、人工智能、无人驾驶汽车、中国制造2025、“互联网+”等公认的“暴涨”行业，直接催热了国内各大高校的大数据专业。大数据专业悄无声息的就一下子成为了大学的"新宠"，232所高校竞相布局大数据相关专业，抢抓新机遇，立求在大数据时代占有自己独有的一席之地。

2018-07-20 16:48:11

大数据教育部数据科学
大数据的核心是云技术和BI
整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，当前的大数据处理一直在向着近似于传统数据库体验的方向发展。

2018-07-19 20:35:42

大数据云计算BI
2018年中国大数据产业趋势分析：市场规模或超6000亿元
随着时代的发展，信息技术的更新迭代与人类生存生活产生紧密联系，全球范围内的数据产业呈现爆炸式增长特点，我们的生活迎来了大数据时代，这些技术的发展对经济发展、社会治理、国家管理、人民生活都产生巨大的影响。

2018-07-19 19:53:47

大数据规模产业
大数据时代的数据分析师该了解哪些事情
近几年来，大数据养精蓄锐，从刚开始的无人谈及，到现在的盛行谈论，就这样走进了公众的视野。什么是大数据呢?对于数据分析师，它有意味着什么?处在人人高谈的大数据时代，数据分析师该了解哪些内容，本文将为您解答。

2018-07-19 19:50:48

大数据数据分析师网站分析
用爬虫分析互联网大数据行业薪资情况
随着互联网大数据行业的日渐兴盛，越来越多的人投身其中，也有很多的朋友对此有着浓厚的兴趣，想要投身其中。从本期开始我们将分四期带大家走进互联网大数据行业，分别了解数据挖掘&机器学习、数据分析、算法&深度学习、数据产品经理这四个不同的与大数据相关的职位。

2018-07-19 15:35:29

大数据薪资互联网
51CTO开发者大赛决赛路演+大咖分享

2018-07-19 10:52:00

开发者大赛决赛路演
关于用户画像那些事，看这一文章就够了
用户画像是当前大数据领域的一种典型应用，也普遍应用在多款网易互联网产品中。本文基于网易的实践，深入浅出地解析了用户画像的原理和生产流程。

2018-07-18 12:49:16

用户画像数据数据收集
大数据时代十大热门IT岗位
新的想法诞生新的技术，从而造出许多新词，云计算、大数据、BYOD、社交媒体、3D打印机、物联网……在互联网时代，各种新词层出不穷，令人应接不暇。这些新的技术、新兴应用和对应的IT发展趋势，使得IT人必须了解甚至掌握最新的IT技能。

2018-07-18 12:36:28

大数据工程师开发
Spark性能优化：开发调优篇
在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。本文作为Spark性能优化指南的基础篇，主要讲解开发调优以及资源调优。

2018-07-18 12:12:20

Spark大数据代码
超级干货 ：一文总览数据科学全景：定律、算法、问题类型...
Pradeep Menon是一位在大数据，数据科学，数据架构领域拥有丰富经验以及影响力的专家。这是他今年所撰写的简述数据科学系列文章中的第一篇，主要介绍数据科学中的基本定律、常用算法以及问题类型，读者可以从中一窥数据科学的全景。

2018-07-18 11:23:02

数据科学机器学习定律
半年盘点：2018年10家大数据初创公司
通过对大数据初创公司的盘点发现，企业需要分析来自多个不同来源的客户数据，以了解客户行为并改善客户体验，这是大数据系统部署的主要驱动力。下面，就让我们来看看2018年迄今为止的10个大数据初创公司。

2018-07-18 07:18:58

大数据初创公司数据
你很懂大数据，但是真的懂大数据营销吗？
今天这篇文章主要讲的是后一种，就是每天看着自己的消费者数据如何能帮助公司提提升业绩。在现在很多大公司的大数据应用，主要有两个方式，除了上面讲到的简单粗暴地推送重复信息，更高级一点的用法就是标签+精准营销。

2018-07-17 16:26:17

大数据营销消费者
京东万台规模Hadoop集群 | 分布式资源管理与作业调度
为了增加生产效率和节约成本，必须要将之前分散在各处的集群资源统一管理起来，组成一个超大集群对外提供服务，并且要让各种并行框架可以利用它的存储和计算资源进行业务处理。

2018-07-17 15:05:34

京东Hadoop集群分布式资源管理
怎么看待程序员普遍缺乏数据结构和算法的知识？
在很多程序员看来，数据结构，算法这一类的东西感觉没用，在实践中都不常用，所以都会很忽视这类内容，但是在很多公司看来，尤其是大公司看来数据结构和算法这种东西确实最有用，而且经常在笔试和面试中出现。为什么会这样呢?

2018-07-16 22:25:33

程序员数据结构算法
如何让你的数据直觉更敏锐
你可以为特定的项目去学习最新的代码框架或者阅读该领域最新成果的科研论文。但是，没有捷径可以获得数据科学家所需的基础统计知识。

2018-07-16 00:09:30

数据科学大数据机器学习
数据产品必备技术知识：数据仓库入门，看这这一篇就够了
对于准备求职数据产品的童鞋来说，可能身边没有做数仓开发的朋友可以请教。自学吧，而那几本经典书籍里面又过于理论，看起真是生不如死，而且数据产品并不是数据开发，可能了解一些入门的常识，有个大概的概念就可以了。我也一直零零散散的积累这方面的知识，这两天梳理了下，形成下文。

2018-07-13 16:10:21

数据仓库数据存储
数据科学中的陷阱：定性变量的处理
在《数据科学中的陷阱：变量的数学运算合理吗?》中我们讨论过定性变量，也就是表示类别的变量，比如性别、省份等。对于这类变量，不能在模型里直接使用它们，因为定性变量之间的数学计算是毫无意义的。另外，定性变量是一类很常见的变量，通常带着很有价值的信息。

2018-07-12 13:47:04

数据科学变量虚拟变量
你是如何被“大数据”洗脑的？
在现实生活中，数据就像该比喻中印在壁洞上的影像——它试图利用低维的事物，去给人们描绘一个高维的东西。如果将洞壁的影像进行数据化处理，哪怕技术再先进，收集的数据再多，都难以让洞穴人感知到一个真实的世界，因为他们看到的世界都被“降维处理”了。

2018-07-12 13:15:06

数据用户影像
上一页 1 ··· 9495969798 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服