51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9066内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9066 条
像Excel一样使用python进行数据分析-(2)
Excel是数据分析中最常用的工具，本篇文章通过python与excel的功能对比介绍如何使用python通过函数式编程完成excel中的数据处理及分析工作。在Python中pandas库用于数据处理，我们从1787页的pandas官网文档中总结出最常用的36个函数，通过这些函数介绍如何通过python完成数据生成和导入，数据清洗，预处理，以及最常见的数据分类，数据筛选，分类汇总，透视等最常见的操作。

2017-04-26 14:02:18

大数据数据分析Excel
大规模爬虫流程总结
爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。

2017-04-26 13:30:24

爬虫数据采集数据存储
大数据到底怎么学：数据科学概论与大数据学习误区
本文从数据科学和大数据关键技术体系角度，来说说大数据的核心技术什么，到底要怎么学习它，以及怎么避免大数据学习的误区，以供参考。

2017-04-26 13:18:35

大数据数据科学人工智能
MongoDB集群和实战详解
本篇文章是基于MongoDB集群(Sharding+Replica Sets)上演示的，故操作的内容都是集群层面的，所以有些命令和单独的使用MongoDB库有异样。

2017-04-26 08:51:36

MongoDB集群实战
如何用PyTorch实现递归神经网络？
PyTorch 是 Facebook AI Research 和其它几个实验室的开发人员的成果，该框架结合了 Torch7 高效灵活的 GPU 加速后端库与直观的 Python 前端，它的特点是快速成形、代码可读和支持最广泛的深度学习模型。

2017-04-26 08:31:10

神经网络自然语言PyTorch
硅谷资深数据科学家教你认清探索性数据分析（EDA）的价值
本文主要介绍了探索性数据分析的价值，说明了探索性数据分析（EDA）是什么以及详细介绍了两种假设，另外文中分析了探索性数据分析对于建模而言是很重要的一步，能够帮助数据科学家找到模型结果出错的原因。

2017-04-25 18:35:47

硅谷数据科学家数据分析
Python分布式抓取和分析京东商城评价
互联网购物现在已经是非常普遍的购物方式，在互联网上购买商品并且使用之后，很多人都会回过头来对自己购买的商品进行一些评价，以此来表达自己对于该商品使用后的看法。商品评价的好坏对于一个商品的重要性显而易见，大部分消费者都以此作为快速评判该商品质量优劣的方式。所以，与此同时，有些商家为了获得好评，还会做一些 “好评优惠” 或者 “返点” 活动来刺激消费者评价商品。

2017-04-25 15:40:12

数据分析商品评价
干货｜国内外十大主流采集软件盘点
大数据技术用了多年时间进行演化，才从一种看起来很炫酷的新技术变成了企业在生产经营中实际部署的服务。其中，数据采集产品迎来了广阔的市场前景，无论国内外，市面上都出现了许多技术不一、良莠不齐的采集软件。

2017-04-25 15:00:29

大数据技术采集软件数据采集
Spark中的核心概念RDD，我们了解多少？
RDD全称叫做弹性分布式数据集(Resilient Distributed Datasets)，它是一种分布式的内存抽象，表示一个只读的记录分区的集合，它只能通过其他RDD转换而创建，为此RDD支持丰富的转换操作。通过这种转换操作，新的RDD则包含了如何从其他RDDs衍生所必需的信息，所以说RDDs之间是有依赖关系的。

2017-04-25 09:50:16

SparkRDD核心
大数据在制造领域落地应用之降本、提质、增效
产品企划→研发→生产制造→营销推广→渠道铺货→售后，这是一条完整的制造业流程。在没有大数据之前，这一切的工作都是靠着企业自己去想象挖掘。所以有的时候一款产品的上市可能会出现功能不完善，不受欢迎的现象。我们期许能够看到一个由众多厂商合力打造的面向制造业的大数据平台，助力“中国智造”。

2017-04-24 13:27:50

大数据制造领域降本
大数据系列之并行计算引擎Spark介绍
Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

2017-04-24 12:07:44

Spark大数据并行计算
大数据如何在制造企业中落地？
每个企业都有自己的规划和自己企业在运营环节的管理最佳实践，毕竟，这么多年的信息化建设，对企业的产品制造的方方面面都有了很大的提升。大数据对促进供应链中的生产环节产生了前所未有的巨大影响，在众多的运营决策改进里面，这些影响包括产品设计，质量控制，客户画像等等。由于任何问题都有可能在某种程度得到优化，问题在于，大数据在企业运营(产品制造)中到底有哪些应用值得我们关注？

2017-04-24 11:40:26

大数据制造企业
工业大数据正用七大方式改变制造业
工业大数据是互联网、大数据和工业产业结合的产物，是中国制造2025、工业互联网、工业4.0等国家战略在企业的落脚点。

2017-04-24 11:32:33

工业大数据制造业
传统制造业面临大数据的7种改变方式
　　工业革命来临，整个领域面临大数据影响，技术也在面临飞跃。未来，如果要继续生产，就要鼓励制造业厂商采用数据采集、存储和分析。

2017-04-24 11:22:10

传统制造业大数据
大数据+制造业怎么做？请看这6大应用场景
这些创新和变革，将全面影响我们的生活，给全球工业带来革命性的变化，改变企业的研发、生产、运营、营销和管理方式。“大数据+制造业”将如何进行？这是本文要探讨的重点，今天极星大数据将通过大数据分析在制造业的6大应用场景，给您一个全新的认知。

2017-04-24 10:25:20

大数据制造业
除了董明珠 家电领域有更值得关注的 原创
到底市场上什么东西是主流的商品？用户需要什么东西？你的竞争对手在做什么？可能现在的发展趋势是什么？这些问题大数据都给出了明晰的指向。我们期许能够看到一个由众多厂商合力打造的健康制造大数据平台，助力“中国智造”。

2017-04-24 10:10:00

董明珠家电领域美的
Spark源码分析之分区器的作用
首先对spark有一定了解的都应该知道，在spark中每个RDD可以理解为一组分区，这些分区对应了内存块block,他们才是数据最终的载体。那么一个RDD由不同的分区组成，这样在处理一些map,filter等算子的时候，就可以直接以分区为单位并行计算了。直到遇到shuffle的时候才需要和其他的RDD配合。

2017-04-24 09:20:05

Spark分析分区器
美国购物平台Stitch Fix王建强：数据驱动的决策辅助与产品智能化 原创
笔者在峰会现场对来自美国购物平台Stitch Fix的数据科学总监王建强进行了专访，主题主要围绕数据驱动的决策辅助与产品智能化展开。

2017-04-22 09:48:00

数据驱动决策产品
python学习之路——python切片模拟LRU算法
LRU算法常用于页面置换算法中。当我们新要访问的页面不在主存中时，就将最近最少使用的页面移除主存，将新的页面存入主存。

2017-04-20 09:21:44

pythonLRU算法
SPSS干货：区分T检验与F检验
为了确定从样本 (sample) 统计结果推论至总体时所犯错的概率，我们会利用统计学家所开发的一些统计方法，进行统计检定。

2017-04-20 08:51:15

SPSST检验F检验
Spark：超越Hadoop MapReduce
和 Hadoop 一样，Spark 提供了一个 Map/Reduce API(分布式计算)和分布式存储。二者主要的不同点是，Spark 在集群的内存中保存数据，而 Hadoop 在集群的磁盘中存储数据。

2017-04-19 11:17:48

SparkHadoopMapReduce
高可用大数据计算服务如何持续发布和演进
MaxCompute 是一种统一的大数据计算平台， MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，比如 SQL 、图计算、流计算和机器学习等，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

2017-04-19 10:06:56

大数据计算服务批处理计算
加速平台创新，奏响“云、大、物、智”新乐章
席卷全球的数字化转型为各行各业带来了巨大的发展机遇，而微软智能云作为推动技术创新的平台和动力源，其自身也实现了远超预期的快速发展： Azure云服务已覆盖全球38个区域；有超过90%的世界“财富500强”企业采用微软智能云服务；增长强劲的企业级云计算业务，已经成为引领整个微软成功实现业务转型、并取得健康发展的重要引擎。

2017-04-19 08:52:30

加速平台
一文看懂数据可视化：从编程工具到可视化表现方式
数据可视化的目的其实就是直观地展现数据，例如让花费数小时甚至更久才能归纳的数据量，转化成一眼就能读懂的指标;通过加减乘除、各类公式权衡计算得到的两组数据差异，在图中颜色敏感、长短大小即能形成对比;数据可视化是一个沟通复杂信息的强大武器。通过可视化信息，我们的大脑能够更好地抓取和保存有效信息，增加信息的印象。

2017-04-19 08:32:50

大数据数据可视化编程工具
Apriori算法介绍（Python实现）
本文首先对Apriori算法进行简介，而后进一步介绍相关的基本概念，之后详细的介绍Apriori算法的具体策略和步骤，最后给出Python实现代码。

2017-04-18 16:09:28

Apriori算法Python
六个提示 预防企业数据发生灾难
IT和业务方面经常会有数据需要恢复，哪些数据需要立即恢复，以及以后可以收回哪些数据。结合许多企业仍然依赖基础数据保护系统和解决方案，难以备份业务所需的所有数据，或者在业务需要的时间和方式下恢复。

2017-04-18 11:14:04

数据灾难大数据企业
数据分析与可视化，你靠什么搞定？
在本文中，我们将共同了解四款出色的JavaScript库，其能够帮助大家更为轻松地完成数据分析与可视化工作。

2017-04-18 11:01:14

数据分析数据可视化
Hadoop常见错误和处理方式
目前发现很多的地方，TASKTRACKER和HDFS都分了组，但是只修改一组的参数，造成系统大量出问题。java heap size以及tasktracker被拉黑名单的问题。

2017-04-17 10:05:51

Hadoop错误方式
微信高可用分布式数据库PhxSQL设计与实现
本文详细描述了PhxSQL的设计与实现。从MySQL的容灾缺陷开始讲起，接着阐述实现高可用强一致的思路，然后具体分析每个实现环节要注意的要点和解决方案，最后展示了PhxSQL在容灾和性能上的成果。

2017-04-17 09:54:34

分布式数据库PhxSQL
如何做好数据精细化分析，让你的运营效果指数级增长？
数据分析对于运营来说非常重要，它就像航海中的指南针，越精确的数据细度能反映不同运营手段对应的不同效果。

2017-04-14 09:23:19

数据精细化运营效果
借hbase-rdd二次开发谈如何在Spark Core之上扩建自己的模块
我是51CTO学院讲师张敏，在51CTO学院 “4.20 IT充电节”(4月19~20日) 到来之际，和大家分享一下Spark Core之上扩建自己的模块的经验。

2017-04-14 09:03:00

RDD模块Hbase
中国不允许信息数据随意离境，可能会影响不少跨国公司
微软曾于去年起诉美国司法部不让用户知道政府秘密获取数据。美国政府当时想获得微软海外服务器上的数据。但随着现在政策愈发收紧，跨国公司找海外数据安全港是越来越难了。

2017-04-13 15:30:09

大数据动向
Spark for python developers —Spark与数据的机器学习
机器学习可以从数据中得到有用的见解. 目标是纵观Spark MLlib，采用合适的算法从数据集中生成见解。对于 Twitter的数据集, 采用非监督集群算法来区分与Apache
Spark相关的tweets。 初始输入是混合在一起的tweets。 首先提取相关特性, 然后在数据集中使用机器学习算法, 最后评估结果和性能。

2017-04-13 13:30:56

SparkSpark MLlib机器学习
数据分析的一些常见问题
数据分析重要，但是，很多时候却不知道该如何去做，面对大量的数据，却无从下手。概括起来，经常面临的困难有：

2017-04-13 12:59:43

数据分析
数据监测驱动下的信息流广告优化
“今日头条和百度必有一战”，相信不少的互联网人在过去几个月都听到过类似的断言。定位于信息分发平台的今日头条和主营搜索业务的百度会产生如此大的利益冲突，最核心的点其实就是信息流广告。

2017-04-13 12:01:54

数据监测信息流
百万自媒体大V的数据分析师成长线路，薪水过万难吗？
今天这个标题有点大，内容可能涉及的比较多，但也是数据君多年来一直想写的，却一直不敢写的。微博玩了7年，已有近120万的粉丝，微信玩了4年多，也有20万+粉丝了，许多人都知道这个账号，但从来不知道运营这个账号的是一个团队还是一个人？

2017-04-13 11:59:34

数据分析师
NLP与知识图谱的对接
本文整理自中国中文信息学会常务理事、白硕博士在杭州金融知识图谱论坛上的演讲。

2017-04-13 11:48:05

NLP知识图谱
十个建议，你的报表也可以高大上
本文作者是个在数据可视化领域有着十五 年经验的设计师，所以每天都会进行图表设计。这里他为大家分享了他做出兼具美学与实用性图表的设计原则。

2017-04-13 11:45:56

报表大数据应用
关于移动互联网产品的指标分析初探
移动互联网产品的本质是信息与数据的传输和交换，其商业模式与数据流量息息相关，因而会产生面向运营的产品设计等诸多方法。

2017-04-13 09:20:07

移动互联网产品指标分析
Spark名词解释及关系
随着对spark的业务更深入，对spark的了解也越多，然而目前还处于知道的越多，不知道的更多阶段，当然这也是成长最快的阶段。这篇文章用作总结最近收集及理解的spark相关概念及其关系。

2017-04-13 09:10:06

Spark解释关系
主流开源SQL引擎总结，不断改进的Hive始终遥遥领先
本文涵盖了6个开源领导者：Hive、Impala、Spark SQL、Drill、HAWQ 以及Presto，还加上Calcite、Kylin、Phoenix、Tajo 和Trafodion。以及2个商业化选择Oracle Big Data SQL 和IBM Big SQL，IBM 尚未将后者更名为“Watson SQL”。

2017-04-13 08:49:16

SQLHive改进
全栈必备 面向数据的架构
数据是系统的核心，在面向服务的架构之外，可以考虑面向数据的架构方式。面向数据的服务架构需要支持多数据源异构，支持动态数据和静态数据，既支持公有云部署又支持私有云部署，提供多种数据应用和数据产品。

2017-04-12 14:45:20

数据架构数据源
助你所在团队走上大数据路途的六大规则 原创
由于“大数据”的热点集中和可以处理海量数据如大规模并行计算(massively parallel computing)、云计算、Hadoop和MapReduce。因此，Oracle、IBM、微软、SAP和其他大厂家目前共同在推动相关对话。

2017-04-12 13:42:53

大数据规则团队
企业应用大数据的三重境界：数据·分析·成果 原创
处理数量庞大、增长迅猛、种类繁多的数据成为众多企业面临的挑战。Teradata天睿公司作为全球领先的分析解决方案与咨询服务供应商，基于客户需求，提供领先、全面、有效的解决方案，帮助企业获取商业洞察力，并且将之转化为行动力，创造商业价值。

2017-04-12 13:12:42

teradata大数据数据
大数据道场(HDP SandBox) 初探
这里的大数据道场是以HDP sandbox 为基础的，安装好了virtual box，导入了sandbox镜像之后，启动虚拟机，来看看我们的大数据道场吧。

2017-04-12 12:34:00

大数据sandbox浏览器
数据获取不畅通，中国科学家做研究也受影响
在这个大数据时代，生物信息数据库和数据共享都有所发展，可用的技术资源也越来越多。直到最近，这种开放科学的趋势一直在帮助中国科学家获得国际竞争力。然而，中国社会正日益感受到对于公共数据搜索和共享的限制。如果这个问题不能尽快解决，便将拖累科学研究和创新。

2017-04-12 10:15:21

大数据数据获取数据分析
大数据在预测性维修中的应用
大量来自于发动机和其他一些关键部件的监控数据，使得预测性维修具备了可行性。越来越多的数据的收集和分析工具正在被开发或者投入运用。大数据在航空维修业的应用仍处于初始阶段，为了有效地处理这些来自飞机的数据，还要有思维及工作方式的转变。

2017-04-12 09:49:54

大数据应用预测性维修
数据科学家 / 统计学家应该养成哪些好习惯？
做过一点统计模型，做过一点数据分析，现在工作名字叫数据科学家，厚着脸皮抛砖引玉，聊聊数据分析中需要养成的良好习惯。

2017-04-12 09:34:30

数据科学家统计学家好习惯
Hive、MapReduce、Spark分布式生成唯一数值型ID
Spark中生成这样的非连续唯一数值型ID，非常简单，直接使用zipWithUniqueId()即可。

2017-04-12 09:29:02

HiveMapReduceSpark
玩笑到现实，大数据涉足文学研究–用数据模型分析莎翁著作
自然语言研究一直以来都是计算机研究的一个重要方向。随着大数据时代的到来，人们也越来越关注自然语言这方面的进展。而文学是自然语言这个皇冠上的明珠。人们都拭目以待大数据摘下这颗明珠的那一天。

2017-04-12 09:18:48

大数据数据模型数据分析
上一页 1 ··· 119120121122123 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服