51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9071内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9071 条
寻找阿登高地——爬虫工程师如何绕过验证码
网站验证码就如同马奇诺防线一样，阻挡了爬虫工程师的正面进攻。随着爬虫和反爬虫双方围绕验证码的不断较量，最终导致了验证码识别难度的不断上升。

2017-05-18 09:36:11

大数据爬虫验证码
ggplot2又添新神器——ggthemr助你制作惊艳美图
这个包里面提供了将近20宽完善的配色和主题风格模板。每一个模板都拥有完善的标度和主题设定(包括离散标度和连续标度、填充颜色和线条颜色)。

2017-05-18 09:00:21

ggplot2ggthemr可视化
Apache Impala引领传统分析数据库技术的发展
与传统的分析数据库(Greenplum)相比，未经修改的基于TPC-DS的性能基准测试表现出了Impala的领导地位，特别是对于多用户并发工作负载而言。此外，基准测试还进一步证明了分析数据库与Hive LLAP、Spark SQL和Presto等SQL-on-Hadoop引擎之间存在的显著性能差距。

2017-05-17 09:42:34

Apache Impa数据库技术
实用 | Apache Kudu读写路径
本篇博文能够对Kudu的读写路径进行清晰简明的概述，并且使读者理解Kudu如何能够在不断变化的数据上支持快速的分析访问模式。

2017-05-17 08:41:15

ApacheKuduMVCC
人人都应学会的4个数据分析思路
在面试的过程中，社招会有面试官会问你以往你负责的产品的相关数据，如何看待这些数据，如何通过这些数据来做接下来的产品优化;校招的面试官可能会问小伙伴们关于分析数据的思维;在产品经理的日常工作当中，要时长盯着数据的报表来分析产品的健康程度。本文不再对一些基本的数据定义再做描述，而是从分析的思路总结了一些心得，欢迎各位一起来讨论。

2017-05-16 13:00:24

大数据数据分析
数据流程图和数据结构是需求分析中不可缺少的一环
在数据流程图中，软件元素被描述成为一个带有输入和输出数据的单个泡，而这些输入和输出数据分别由进入的箭头和出去的箭头来表示。这些数据路径同时也表明了软件元素之间的接口。当把整个软件元素及其之间的数据流都用数据流程图表现出来，实际上，软件的内部、外部接口也就表达得很清楚了。

2017-05-16 10:49:20

大数据数据流程图数据结构
漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现）
本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。

2017-05-16 10:23:51

数据仓库拉链表
如何将枯燥的大数据呈现为可视化的图？
可视化并不局限于数字，概念也同样适用，比如政治倾向图谱。我试图将各种政治倾向融入到图表中，并展示其如何从政府渗透到社会、文化中，对家庭和个人产生影响，继而又反过来影响政治。

2017-05-16 10:05:08

大数据可视化图表
你懂Scrapy吗？Scrapy大型爬虫框架讲解【一】
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

2017-05-15 21:00:15

大数据Scrapy爬虫框架
Python做文本挖掘的情感极性分析（基于情感词典的方法）
「情感极性分析」是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同，可分为基于新闻评论的情感分析和基于产品评论的情感分析。其中，前者多用于舆情监控和信息预测，后者可帮助用户了解某一产品在大众心目中的口碑。

2017-05-15 14:00:28

大数据Python情感极性分析
一文读懂聚类算法
聚类是数据挖掘中的概念，就是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。

2017-05-15 11:10:10

大数据聚类算法
爬虫进阶：反爬策略的应对机制
而在大数据时代，数据就是金钱，很多企业都为自己的网站运用了反爬虫机制，防止网页上的数据被爬虫爬走。然而，如果反爬机制过于严格，可能会误伤到真正的用户请求;如果既要和爬虫死磕，又要保证很低的误伤率，那么又会加大研发的成本。

2017-05-15 10:39:48

爬虫应对机制
数据化运营7大经典思路
做互联网运营的数据分析，首先就是学会“分解”。将数据分解，将问题分解。所有的数据都可以层层向下分解，找出更多的“子数据”，通过对子数据的挖掘和优化，往往能逐个击破，找到方向，提升最后的“关键指标”。这个重要的思路也贯穿了本文章下面几乎所有的内容。

2017-05-15 10:30:00

大数据数据化运营应用
什么时候该用RabbitMQ ，什么时候该用 Apache Kafka
这篇文章致力于给予潜意识，表意识 一些公平的考虑，从今天最现代，最受欢迎的选择： RabbitMQ和Apache Kafka。 每个都有自己的起源故事, 设计意图，使用案例，被应用, 整合能力，和开发人员的经验。对于任何的软件，起源揭示总体设计意图，都是一个很好的起点。

2017-05-15 09:55:07

RabbitMQApacheScala
干货｜大数据应用：前端模块化开发的价值
模块化开发并不新鲜，但在国内Web领域，无论是前端开发还是新生岗位，都保留着比较落后的编码习惯。直到近年，随着各种前端框架的推广和流行，模块化开发理念才被广泛接受和应用。

2017-05-12 14:00:07

大数据前端模块化开发
Python 代码实践小结
传递的数据结构如何考虑(是否对调用方有先验知识的要求，比如返回一个 Tuple，则需要用户了解 tuple 中元素的顺序，这样情况是否应该进行封装;)，数据结构定义清楚了，很多东西也就清楚了。

2017-05-12 09:24:21

Python代码Logger
4大案例分析金融机构的大数据应用
就“大数据+金融”思维利用而言，国外金融机构有着十足丰富的体现，已经将大数据技术在风险控制、运营管理、销售支持及商业模式创新等领域进行了全面的尝试。

2017-05-12 08:56:20

大数据金融机构分析
零基础搭建Hadoop大数据处理-集群安装
经过一系列的前期环境准备，现在可以开始Hadoop的安装了，在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

2017-05-11 17:36:50

数据分析Hadoop大数据
零基础搭建Hadoop大数据处理-环境
由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。

2017-05-11 11:00:11

大数据Hadoop数据处理
Apache Kylin中对上亿字符串的精确Count_Distinct示例
由于Global Dictionary 底层基于bitmap，其最大容量为Integer.MAX_VALUE，即21亿多，如果全局字典中，累计值超过Integer.MAX_VALUE，那么在Build时候便会报错。

2017-05-11 10:44:19

Apache KyliCount_Disti字符串
如何快速成为数据分析师？
优秀的数据分析师是不能速成的，但是零经验也有零经验的捷径。前提是针对入门，目的是达到数据分析师的门槛，顺利拿到一份offer，不涉及数据挖掘等高级技巧。本文所介绍的方法倾向互联网领域，不论是分析师这个职位，还是运营、产品的能力发展都是适用的，其他领域就仁者见仁了。

2017-05-11 10:35:51

数据分析语言学习
产品运营数据分析框架应该包含哪些重要指标？
借助数据分析工具，如国外的 Mixpanel、和国内的 GrowingIO，来持续监控你的北极星指标，在业务实践中不断优化。你的目标是为你的团队找到一个最适合现阶段的聚焦点，让大家在日常工作中能够齐心协力向着一个方向前进。

2017-05-11 10:00:36

数据北极星数据分析
当今世界最有价值的资源是什么？不是石油，而是数据
智能手机和互联网催生了海量数据，不仅无处不在，而且价值大幅提升。无论是跑步、看电视还是堵在车流中慢慢前行，几乎所有的活动都会留下数字足迹——从而贡献更多的原始数据以供分析。与此同时，人工智能技术也可以从数据中挖掘更多价值。

2017-05-10 20:57:32

大数据动向价值
MySQL高可用在网易的更优应用与实践
今天分享主要包括三方面内容：一是常见的MySQL高可用架构;二是分布式数据库高可用实践;三是基于keepalive的MySQL高可用改造。第一部分会介绍业界一些经典的MySQL高可用解决方案，第二部分和第三部分分别介绍网易在分布式数据库和单节点MySQL上的高可用运维实践。

2017-05-10 12:30:42

MySQL高可用架构网易
浅析分布式系统一些事
在运维模型的进化上，从IaaS到PaaS到SaaS，其应用范围也许是越来越窄，但使用的便利性却成倍的提高。这也证明了，软件劳动的工作，也是可以通过分工，向更专业化、更细分的方向去提高效率。

2017-05-10 08:59:18

分布式系统承载量
挨踢部落坐诊第五期:数据采集与前端运用 原创
挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

2017-05-09 14:15:27

大数据来源数据安全云计算
分布式缓存技术redis学习系列----深入理解Spring Redis的使用
关于spring redis框架的使用，网上的例子很多很多。但是在自己最近一段时间的使用中，发现这些教程都是入门教程，包括很多的使用方法，与spring redis丰富的api大相径庭，真是浪费了这么优秀的一个框架。

2017-05-09 08:27:42

分布式缓存技术Spring Redi
使用python和tableau对数据进行抓取及可视化
本篇文章介绍使用python抓取贷款及理财平台的数据，并将数据拼接和汇总。最终通过tableau进行可视化。与之前的python爬虫文章 不同之处在于之前是一次性抓取生产数据表，本次的数据需要每天重复抓取及存储，并汇总在一起进行分析和可视化。

2017-05-08 15:47:06

pythontableau数据可视化
最全解析：大数据和机器学习有什么区别
大数据的核心是利用数据的价值，机器学习是利用数据价值的关键技术，对于大数据而言，机器学习是不可或缺的。相反，对于机器学习而言，越多的数据会越 可能提升模型的精确性，同时，复杂的机器学习算法的计算时间也迫切需要分布式计算与内存计算这样的关键技术。因此，机器学习的兴盛也离不开大数据的帮助。 大数据与机器学习两者是互相促进，相依相存的关系。

2017-05-08 15:15:39

大数据机器学习
在R中使用开源大规模预测工具Prophet
Prophet 是 Facebook 推出的开源大规模预测工具，可以在 R 和 Python 中使用以预测时间序列数据。

2017-05-08 14:56:07

开源Prophet预测
大数据的发展，伴随的将是软件工程师的渐退，算法工程师的崛起
大数据在人类历史长河的各个时期一直存在着，只是要等到技术发展到一定阶段，它才开始崭露头角。而它的未来又在哪里?来自 Intercom 的工程师 Cathal Horan 表达了他对大数据的看法，他认为，未来属于算法，而不是代码。

2017-05-05 10:45:45

大数据动向
MongoDB干货篇之查询数据
本文主要是关于MongoDB的查询数据，在开始之前我们先准备数据方便演示，详细内容见下文。

2017-05-05 10:00:51

MongoDB查询数据
零基础搭建Hadoop大数据处理-初识
Hadoop的学习不仅仅是学习Hadoop，还要学习Linux，网络知识，Java、还有数据结构和算法等等，所以万里长征才开始第一步，希望Hadoop学习不是从了解到放弃。

2017-05-05 09:53:34

Hadoop大数据处理
Spark踩坑记：共享变量
使用spark过程当中踩过的一些坑和经验。我们知道Spark是多机器集群部署的，分为Driver/Master/Worker，Master负责资源调度，Worker是不同的运算节点，由Master统一调度。

2017-05-05 08:12:51

Spark共享变量
卷积神经网络CNN总结
卷积神经网络依旧是层级网络，只是层的功能和形式做了变化，可以说是传统神经网络的一个改进。卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。

2017-05-04 18:30:34

大数据卷积神经网络
HIVE中关于collect_set与explode函数妙用
Hive中的列支持使用三类复杂的集合数据类型，即：array，map及struct。

2017-05-03 09:40:43

HIVEcollectexplode
复杂网络分析之数据准备篇
networkx创建节点需要的数据很简单，就是 字符串或者列表(集合也可以的) 。而且本身nodes数据就是列表，直接就能用到networkx构建节点中来。

2017-05-03 08:59:07

网络分析数据
Apache Kylin优化之—Cube的高级设置
根据本系列的原理介绍，在Kylin的高级设置中，用户可以根据查询需求对Cube构建预计算的结果进行优化(剪枝)，从而减少占用的存储空间。 而优化得当的Cube可以在占用尽量少的存储空间的同时提供极强的查询性能。

2017-05-03 08:32:22

Apache KyliCube设置
ML能用上的实用数据集
机器学习中重要的一步是创建或寻找合适的数据来训练和检验算法。使用好的数据集可以帮助你规避或发现算法中的错误，改善程序的结果。在多数情况下，创建自己的数据集是一件费时的事。本文会向介绍一些有用的数据集，用于文本分类和图像分类问题。

2017-05-02 15:12:14

数据集机器学习
违章停车的大数据计算
爬取了上海摩拜单车的数据，把所有单车叠到图上，变出一幅满城星光的地图，统计上看，深夜时分，大部分的单车分布在路的周边，勾勒出一幅泾渭分明的街道景象，比如虹桥镇附近的小区，小区路边停了好多车，前簇后拥，形成了一条条道路的光带，而小区内部则基本不停车。

2017-05-02 14:15:45

大数据违章停车数据分析
R 和 Python 中的文本挖掘：8 个入门小贴士
在数据科学世界中，凡事的第一步都是“感到好奇”，文本挖掘也不例外。

2017-05-02 09:16:20

RPython文本挖掘
Python程序中不同的重启机制
Gunicorn作为Python的Web容器之一，会接收用户的请求，虽然我们通常都会使用nginx放在Gunicorn前方做反向代理，通常也可以使用nginx来做upstream offline、online的热重启，但那就不是一个层次的事情了。

2017-05-02 08:09:26

Python重启机制
Hadoop没有消亡，它是大数据的未来
有人认为 Hadoop 正在失败，但硅谷数据管理公司 Hortonworks 的总经理 Vamsi K. Chemitiganti 并不这么看，本文就是对其观点的编译介绍。

2017-05-01 22:54:01

Hadoop大数据开源
机器学习项目中的数据预处理与数据整理之比较
本文比较了用于数据准备的几种方法，它们分别是提取-变换-加载(extract-transform-load，ETL)批处理、流式获取(streaming ingestion)和数据整理(data wrangling)。同时借助于先进的分析技术和开源框架(如 R 、 Apache Spark 、 KNIME 、 RapidMiner )，讨论了各种不同的选择及其折中。本文还讨论了数据准备如何与可视化分析相关联，以及不同用户角色(如数据科学家或业务分析人员)应如何共同构建分析模型的最佳实践。

2017-04-29 10:16:14

机器学习数据清洗数据整理
干货｜Kafka在大数据环境中的应用
我们生活在一个数据爆炸的时代，数据的巨量增长给我们的业务处理带来了压力，同时巨量的数据也给我们带来了十分可观的财富。随着大数据将各个行业用户、运营商、服务商的数据整合进大数据环境，或用户取用大数据环境中海量的数据，业务平台间的消息处理将变得尤为复杂。如何高效地采集、使用数据，如何减轻各业务系统的压力，也变得越来越突出。

2017-04-28 11:45:16

大数据Kafka大数据应用
干货：如何构建用户画像
用户画像的核心工作是为用户打标签，打标签的重要目的之一是为了让人能够理解并且方便计算机处理。

2017-04-28 11:15:26

大数据用户画像技术
达观数据：基于webpack实现Web工程搭建
webpack是一款十分优秀的模块管理器。它语法易懂，配置简单，可以实现高效快速的搭建前端工程。

2017-04-28 09:18:39

webpackWeb搭建
大数据分析之技术框架整理
storm是一个实时的计算框架，只负责计算，不负责存储。它通过spout的open和nextTuple方法去外部存储系统(kafka)获取数据，然后传送给后续的bolt处理，bolt利用prepare和execute方法处理完成后，继续往后续的bolt发送，或者根据输出目录，把信息写到指定的外部存储系统中。

2017-04-28 08:13:08

大数据框架HDFS
神州控股发起成立中国健康医疗大数据股份有限公司 构建“整合型”健康医疗服务新业态
4月27日，由神州数码控股有限公司组织并发起的“中国健康医疗大数据股份有限公司筹备签约仪式”在北京举行。国家卫计委金小桃副主任出席签约仪式并致辞。神州数码控股有限公司董事局主席郭为作为中国健康医疗大数据股份有限公司的筹备组织方出席仪式并做主题发言。

2017-04-28 00:00:33

神州控股
造健康医疗大数据国家集团军，强强联合、共建共赢
国家卫计委金小桃副主任、全国工商联党组常务副书记樊友山、厦门市人民政府副市长卢江，及常州市政府代表，以及来自中国人口与发展研究中心、北京协和医院、北京大学等国内各界相关代表见证了签约仪式。

2017-04-27 23:54:36

健康医疗大数据
上一页 1 ··· 118119120121122 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服