51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
数据挖掘核心算法之一--回归
回归，是一个广义的概念，包含的基本概念是用一群变量预测另一个变量的方法，白话就是根据几件事情的相关程度，用其中几件来预测另一件事情发生的概率，最简单的即线性二变量问题(即简单线性)。

2017-05-26 08:53:27

数据挖掘算法
企业必须考虑的关于大数据架构的6大问题
许多用于构建大数据系统的流行工具价格低廉或可以免费使用，并且它们可以更容易地利用独特的价值流。其建设路径为大规模和多样化提供了机会，但这些工具可能非常复杂。互操作性往往是管理员面临的最大问题之一。

2017-05-25 09:23:18

大数据架构Hadoop
使用文本挖掘技术分析Twitter用户对电影的评价
本文将以2017年的宝莱坞电影“Rangoon”为例子，用R语言来分析Twitter用户对他的情感评价。

2017-05-25 08:29:30

文本挖掘技术
Teradata天睿公司业内首创混合云的可移植许可模式
依托可移植的数据库许可方式，Teradata天睿公司客户通过在部署选项间转移许可，可以灵活地选择、转移、扩展并重构他们的混合云环境，满足不断变化的业务需求。这是混合云市场中首创的全新可移植软件许可模式，将帮助用户规避云端许可限制或孤岛式的本地环境部署。

2017-05-24 17:38:38

Teradata
几个连接HiveServer的客户端界面工具
Hive的官网上介绍了三个可以在Windows中通过JDBC连接HiveServer2的图形界面工具，包括：SQuirrel SQL Client、Oracle SQL Developer以及DbVisualizer。

2017-05-24 08:58:16

HiveServer界面工具
用python管理自己的密码
大数据时代，各种网站都需要你注册账号，使用密码。往往大家为了省事，所有的平台的账号密码是一样的，假如某个网站数据泄露后，那你的隐私安全就有问题了，干坏事的有心人就会去窃取你的隐私信息。

2017-05-23 14:34:58

python大数据UUID
大数据+分析学 数字油田的两把利剑
在分析数据时发现的模型可以用来预测未来的资产设备表现，以确定设备性能可以提高的范围，同时可以通过识别故障区域在故障发生前制定风险管理计划。

2017-05-23 14:31:59

大数据分析学数据
一篇文章解决你所有关于数据分析的问题！
展现层在数据分析中是一个很重要的组成部分，在大家的心目中数据分析软件只是读数据和算数据，结果算出来就OK了。但其实结果算出来以后对于数据分析还远没有结束，还需要把结果展现出来，有些时候可能结果的展现比计算花的时间还要多。

2017-05-23 09:20:32

大数据数据分析多层模型
高科技也能“玩时尚”，思科协作重磅推出全新 Spark Room Kit 系列!
谁说高科技一定枯燥呆板，思科协作推出全新 Spark Room Kit 系列，真正的一体化设备，颜值与才华一应俱全!

2017-05-22 15:18:30

思科Spark Room
25张图让你读懂神经网络架构
由于新的神经网络架构无时无刻不在涌现，想要记录所有的神经网络是很困难的事情。要把所有这些缩略语指代的网络(DCIGN，IiLSTM，DCGAN等)都弄清，一开始估计还无从下手。

2017-05-22 14:45:51

大数据神经网络架构
降低数据中心的复杂性：运用基于策略的管理
策略能够让IT团队更有效地管理虚拟机的可用性、安全性以及其他组件。企业可以采取本文提及的策略来降低数据中心 的复杂性。 随着数据中心的不断发展，变得越来越复杂，使用软件来代替人员管理这种复杂性更加有效的同时，也更具性价比。

2017-05-22 10:34:28

数据中心策略虚拟机
这是一篇最通熟易懂的Hadoop HDFS实践攻略！
以下是HDFS的基础内容，希望可以帮助您快速熟悉HDFS的思路和使用方式。

2017-05-22 10:11:11

Hadoop HDFSJava APIHadoop
2017年最流行的15个数据科学Python库
Python 近几年在数据科学行业获得了人们的极大青睐，各种资源也层出不穷。数据科学解决方案公司 ActiveWizards 近日根据他们自己的应用开发经验，总结了数据科学家和工程师将在 2017 年最常使用的 Python 库。

2017-05-22 09:48:04

数据科学Python深度学习
数据分析成就卓越业务，诠释企业数字转型的新未来
本届峰会围绕数据分析和业务咨询在各个行业的应用，尤其探讨了数据分析在人工智能、机器学习、物联网、云计算等前沿领域的应用和趋势，分享了全球领先企业通过数据分析实现业务创新与转型的最佳实践，诠释了数据分析成就卓越业务的巨大价值。

2017-05-19 14:16:20

数据分析
基于时空算法研究的商业决策分析
IBM SPSS 提供了结合时间与空间的数据分析模型( Spatio-Temporal Prediction ，简称 STP )。通过使用 STP 进行建模和预测，能够为管理者或者企业提供最佳的决策支持，以节省时间、成本和资源。本文主要阐述了时空分析算法的特点及其应用举例，来帮助人们了解其使用方法和实际的价值意义。

2017-05-19 12:49:18

大数据时空算法商业决策
做数据分析时，R 用户如何学习 Python？
Python 是一门功能强大和多用途的编程语言，在过去几年取得惊人发展。它过去用于 Web 开发和游戏开发，现在数据分析和机器学习也要用到它。数据分析和机器学习是 Python 应用上相对新的分支。

2017-05-19 08:45:34

R用户Python数据分析
手把手教你做数据分析
在数据已经被有效记录的前提下，如何有效的去分析数据呢?

2017-05-18 12:45:35

数据分析数据理解数据
如何让热点图支持大数据
数据解析是瓶颈，比如经纬度点最终要转换到像素单。如果性能还不够，就“偷工减料”，建立矢量金字塔，本质就是把N个点合并成一个，减少渲染过程的计算量。

2017-05-18 10:43:36

热点图大数据CPU
寻找阿登高地——爬虫工程师如何绕过验证码
网站验证码就如同马奇诺防线一样，阻挡了爬虫工程师的正面进攻。随着爬虫和反爬虫双方围绕验证码的不断较量，最终导致了验证码识别难度的不断上升。

2017-05-18 09:36:11

大数据爬虫验证码
ggplot2又添新神器——ggthemr助你制作惊艳美图
这个包里面提供了将近20宽完善的配色和主题风格模板。每一个模板都拥有完善的标度和主题设定(包括离散标度和连续标度、填充颜色和线条颜色)。

2017-05-18 09:00:21

ggplot2ggthemr可视化
Apache Impala引领传统分析数据库技术的发展
与传统的分析数据库(Greenplum)相比，未经修改的基于TPC-DS的性能基准测试表现出了Impala的领导地位，特别是对于多用户并发工作负载而言。此外，基准测试还进一步证明了分析数据库与Hive LLAP、Spark SQL和Presto等SQL-on-Hadoop引擎之间存在的显著性能差距。

2017-05-17 09:42:34

Apache Impa数据库技术
实用 | Apache Kudu读写路径
本篇博文能够对Kudu的读写路径进行清晰简明的概述，并且使读者理解Kudu如何能够在不断变化的数据上支持快速的分析访问模式。

2017-05-17 08:41:15

ApacheKuduMVCC
人人都应学会的4个数据分析思路
在面试的过程中，社招会有面试官会问你以往你负责的产品的相关数据，如何看待这些数据，如何通过这些数据来做接下来的产品优化;校招的面试官可能会问小伙伴们关于分析数据的思维;在产品经理的日常工作当中，要时长盯着数据的报表来分析产品的健康程度。本文不再对一些基本的数据定义再做描述，而是从分析的思路总结了一些心得，欢迎各位一起来讨论。

2017-05-16 13:00:24

大数据数据分析
数据流程图和数据结构是需求分析中不可缺少的一环
在数据流程图中，软件元素被描述成为一个带有输入和输出数据的单个泡，而这些输入和输出数据分别由进入的箭头和出去的箭头来表示。这些数据路径同时也表明了软件元素之间的接口。当把整个软件元素及其之间的数据流都用数据流程图表现出来，实际上，软件的内部、外部接口也就表达得很清楚了。

2017-05-16 10:49:20

大数据数据流程图数据结构
漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现）
本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。

2017-05-16 10:23:51

数据仓库拉链表
如何将枯燥的大数据呈现为可视化的图？
可视化并不局限于数字，概念也同样适用，比如政治倾向图谱。我试图将各种政治倾向融入到图表中，并展示其如何从政府渗透到社会、文化中，对家庭和个人产生影响，继而又反过来影响政治。

2017-05-16 10:05:08

大数据可视化图表
你懂Scrapy吗？Scrapy大型爬虫框架讲解【一】
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

2017-05-15 21:00:15

大数据Scrapy爬虫框架
Python做文本挖掘的情感极性分析（基于情感词典的方法）
「情感极性分析」是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同，可分为基于新闻评论的情感分析和基于产品评论的情感分析。其中，前者多用于舆情监控和信息预测，后者可帮助用户了解某一产品在大众心目中的口碑。

2017-05-15 14:00:28

大数据Python情感极性分析
一文读懂聚类算法
聚类是数据挖掘中的概念，就是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。

2017-05-15 11:10:10

大数据聚类算法
爬虫进阶：反爬策略的应对机制
而在大数据时代，数据就是金钱，很多企业都为自己的网站运用了反爬虫机制，防止网页上的数据被爬虫爬走。然而，如果反爬机制过于严格，可能会误伤到真正的用户请求;如果既要和爬虫死磕，又要保证很低的误伤率，那么又会加大研发的成本。

2017-05-15 10:39:48

爬虫应对机制
数据化运营7大经典思路
做互联网运营的数据分析，首先就是学会“分解”。将数据分解，将问题分解。所有的数据都可以层层向下分解，找出更多的“子数据”，通过对子数据的挖掘和优化，往往能逐个击破，找到方向，提升最后的“关键指标”。这个重要的思路也贯穿了本文章下面几乎所有的内容。

2017-05-15 10:30:00

大数据数据化运营应用
什么时候该用RabbitMQ ，什么时候该用 Apache Kafka
这篇文章致力于给予潜意识，表意识 一些公平的考虑，从今天最现代，最受欢迎的选择： RabbitMQ和Apache Kafka。 每个都有自己的起源故事, 设计意图，使用案例，被应用, 整合能力，和开发人员的经验。对于任何的软件，起源揭示总体设计意图，都是一个很好的起点。

2017-05-15 09:55:07

RabbitMQApacheScala
干货｜大数据应用：前端模块化开发的价值
模块化开发并不新鲜，但在国内Web领域，无论是前端开发还是新生岗位，都保留着比较落后的编码习惯。直到近年，随着各种前端框架的推广和流行，模块化开发理念才被广泛接受和应用。

2017-05-12 14:00:07

大数据前端模块化开发
Python 代码实践小结
传递的数据结构如何考虑(是否对调用方有先验知识的要求，比如返回一个 Tuple，则需要用户了解 tuple 中元素的顺序，这样情况是否应该进行封装;)，数据结构定义清楚了，很多东西也就清楚了。

2017-05-12 09:24:21

Python代码Logger
4大案例分析金融机构的大数据应用
就“大数据+金融”思维利用而言，国外金融机构有着十足丰富的体现，已经将大数据技术在风险控制、运营管理、销售支持及商业模式创新等领域进行了全面的尝试。

2017-05-12 08:56:20

大数据金融机构分析
零基础搭建Hadoop大数据处理-集群安装
经过一系列的前期环境准备，现在可以开始Hadoop的安装了，在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

2017-05-11 17:36:50

数据分析Hadoop大数据
零基础搭建Hadoop大数据处理-环境
由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。

2017-05-11 11:00:11

大数据Hadoop数据处理
Apache Kylin中对上亿字符串的精确Count_Distinct示例
由于Global Dictionary 底层基于bitmap，其最大容量为Integer.MAX_VALUE，即21亿多，如果全局字典中，累计值超过Integer.MAX_VALUE，那么在Build时候便会报错。

2017-05-11 10:44:19

Apache KyliCount_Disti字符串
如何快速成为数据分析师？
优秀的数据分析师是不能速成的，但是零经验也有零经验的捷径。前提是针对入门，目的是达到数据分析师的门槛，顺利拿到一份offer，不涉及数据挖掘等高级技巧。本文所介绍的方法倾向互联网领域，不论是分析师这个职位，还是运营、产品的能力发展都是适用的，其他领域就仁者见仁了。

2017-05-11 10:35:51

数据分析语言学习
产品运营数据分析框架应该包含哪些重要指标？
借助数据分析工具，如国外的 Mixpanel、和国内的 GrowingIO，来持续监控你的北极星指标，在业务实践中不断优化。你的目标是为你的团队找到一个最适合现阶段的聚焦点，让大家在日常工作中能够齐心协力向着一个方向前进。

2017-05-11 10:00:36

数据北极星数据分析
当今世界最有价值的资源是什么？不是石油，而是数据
智能手机和互联网催生了海量数据，不仅无处不在，而且价值大幅提升。无论是跑步、看电视还是堵在车流中慢慢前行，几乎所有的活动都会留下数字足迹——从而贡献更多的原始数据以供分析。与此同时，人工智能技术也可以从数据中挖掘更多价值。

2017-05-10 20:57:32

大数据动向价值
MySQL高可用在网易的更优应用与实践
今天分享主要包括三方面内容：一是常见的MySQL高可用架构;二是分布式数据库高可用实践;三是基于keepalive的MySQL高可用改造。第一部分会介绍业界一些经典的MySQL高可用解决方案，第二部分和第三部分分别介绍网易在分布式数据库和单节点MySQL上的高可用运维实践。

2017-05-10 12:30:42

MySQL高可用架构网易
浅析分布式系统一些事
在运维模型的进化上，从IaaS到PaaS到SaaS，其应用范围也许是越来越窄，但使用的便利性却成倍的提高。这也证明了，软件劳动的工作，也是可以通过分工，向更专业化、更细分的方向去提高效率。

2017-05-10 08:59:18

分布式系统承载量
挨踢部落坐诊第五期:数据采集与前端运用 原创
挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

2017-05-09 14:15:27

大数据来源数据安全云计算
分布式缓存技术redis学习系列----深入理解Spring Redis的使用
关于spring redis框架的使用，网上的例子很多很多。但是在自己最近一段时间的使用中，发现这些教程都是入门教程，包括很多的使用方法，与spring redis丰富的api大相径庭，真是浪费了这么优秀的一个框架。

2017-05-09 08:27:42

分布式缓存技术Spring Redi
使用python和tableau对数据进行抓取及可视化
本篇文章介绍使用python抓取贷款及理财平台的数据，并将数据拼接和汇总。最终通过tableau进行可视化。与之前的python爬虫文章 不同之处在于之前是一次性抓取生产数据表，本次的数据需要每天重复抓取及存储，并汇总在一起进行分析和可视化。

2017-05-08 15:47:06

pythontableau数据可视化
最全解析：大数据和机器学习有什么区别
大数据的核心是利用数据的价值，机器学习是利用数据价值的关键技术，对于大数据而言，机器学习是不可或缺的。相反，对于机器学习而言，越多的数据会越 可能提升模型的精确性，同时，复杂的机器学习算法的计算时间也迫切需要分布式计算与内存计算这样的关键技术。因此，机器学习的兴盛也离不开大数据的帮助。 大数据与机器学习两者是互相促进，相依相存的关系。

2017-05-08 15:15:39

大数据机器学习
在R中使用开源大规模预测工具Prophet
Prophet 是 Facebook 推出的开源大规模预测工具，可以在 R 和 Python 中使用以预测时间序列数据。

2017-05-08 14:56:07

开源Prophet预测
大数据的发展，伴随的将是软件工程师的渐退，算法工程师的崛起
大数据在人类历史长河的各个时期一直存在着，只是要等到技术发展到一定阶段，它才开始崭露头角。而它的未来又在哪里?来自 Intercom 的工程师 Cathal Horan 表达了他对大数据的看法，他认为，未来属于算法，而不是代码。

2017-05-05 10:45:45

大数据动向
MongoDB干货篇之查询数据
本文主要是关于MongoDB的查询数据，在开始之前我们先准备数据方便演示，详细内容见下文。

2017-05-05 10:00:51

MongoDB查询数据
上一页 1 ··· 118119120121122 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服