51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
零基础搭建Hadoop大数据处理-初识
Hadoop的学习不仅仅是学习Hadoop，还要学习Linux，网络知识，Java、还有数据结构和算法等等，所以万里长征才开始第一步，希望Hadoop学习不是从了解到放弃。

2017-05-05 09:53:34

Hadoop大数据处理
Spark踩坑记：共享变量
使用spark过程当中踩过的一些坑和经验。我们知道Spark是多机器集群部署的，分为Driver/Master/Worker，Master负责资源调度，Worker是不同的运算节点，由Master统一调度。

2017-05-05 08:12:51

Spark共享变量
卷积神经网络CNN总结
卷积神经网络依旧是层级网络，只是层的功能和形式做了变化，可以说是传统神经网络的一个改进。卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。

2017-05-04 18:30:34

大数据卷积神经网络
HIVE中关于collect_set与explode函数妙用
Hive中的列支持使用三类复杂的集合数据类型，即：array，map及struct。

2017-05-03 09:40:43

HIVEcollectexplode
复杂网络分析之数据准备篇
networkx创建节点需要的数据很简单，就是 字符串或者列表(集合也可以的) 。而且本身nodes数据就是列表，直接就能用到networkx构建节点中来。

2017-05-03 08:59:07

网络分析数据
Apache Kylin优化之—Cube的高级设置
根据本系列的原理介绍，在Kylin的高级设置中，用户可以根据查询需求对Cube构建预计算的结果进行优化(剪枝)，从而减少占用的存储空间。 而优化得当的Cube可以在占用尽量少的存储空间的同时提供极强的查询性能。

2017-05-03 08:32:22

Apache KyliCube设置
ML能用上的实用数据集
机器学习中重要的一步是创建或寻找合适的数据来训练和检验算法。使用好的数据集可以帮助你规避或发现算法中的错误，改善程序的结果。在多数情况下，创建自己的数据集是一件费时的事。本文会向介绍一些有用的数据集，用于文本分类和图像分类问题。

2017-05-02 15:12:14

数据集机器学习
违章停车的大数据计算
爬取了上海摩拜单车的数据，把所有单车叠到图上，变出一幅满城星光的地图，统计上看，深夜时分，大部分的单车分布在路的周边，勾勒出一幅泾渭分明的街道景象，比如虹桥镇附近的小区，小区路边停了好多车，前簇后拥，形成了一条条道路的光带，而小区内部则基本不停车。

2017-05-02 14:15:45

大数据违章停车数据分析
R 和 Python 中的文本挖掘：8 个入门小贴士
在数据科学世界中，凡事的第一步都是“感到好奇”，文本挖掘也不例外。

2017-05-02 09:16:20

RPython文本挖掘
Python程序中不同的重启机制
Gunicorn作为Python的Web容器之一，会接收用户的请求，虽然我们通常都会使用nginx放在Gunicorn前方做反向代理，通常也可以使用nginx来做upstream offline、online的热重启，但那就不是一个层次的事情了。

2017-05-02 08:09:26

Python重启机制
Hadoop没有消亡，它是大数据的未来
有人认为 Hadoop 正在失败，但硅谷数据管理公司 Hortonworks 的总经理 Vamsi K. Chemitiganti 并不这么看，本文就是对其观点的编译介绍。

2017-05-01 22:54:01

Hadoop大数据开源
机器学习项目中的数据预处理与数据整理之比较
本文比较了用于数据准备的几种方法，它们分别是提取-变换-加载(extract-transform-load，ETL)批处理、流式获取(streaming ingestion)和数据整理(data wrangling)。同时借助于先进的分析技术和开源框架(如 R 、 Apache Spark 、 KNIME 、 RapidMiner )，讨论了各种不同的选择及其折中。本文还讨论了数据准备如何与可视化分析相关联，以及不同用户角色(如数据科学家或业务分析人员)应如何共同构建分析模型的最佳实践。

2017-04-29 10:16:14

机器学习数据清洗数据整理
干货｜Kafka在大数据环境中的应用
我们生活在一个数据爆炸的时代，数据的巨量增长给我们的业务处理带来了压力，同时巨量的数据也给我们带来了十分可观的财富。随着大数据将各个行业用户、运营商、服务商的数据整合进大数据环境，或用户取用大数据环境中海量的数据，业务平台间的消息处理将变得尤为复杂。如何高效地采集、使用数据，如何减轻各业务系统的压力，也变得越来越突出。

2017-04-28 11:45:16

大数据Kafka大数据应用
干货：如何构建用户画像
用户画像的核心工作是为用户打标签，打标签的重要目的之一是为了让人能够理解并且方便计算机处理。

2017-04-28 11:15:26

大数据用户画像技术
达观数据：基于webpack实现Web工程搭建
webpack是一款十分优秀的模块管理器。它语法易懂，配置简单，可以实现高效快速的搭建前端工程。

2017-04-28 09:18:39

webpackWeb搭建
大数据分析之技术框架整理
storm是一个实时的计算框架，只负责计算，不负责存储。它通过spout的open和nextTuple方法去外部存储系统(kafka)获取数据，然后传送给后续的bolt处理，bolt利用prepare和execute方法处理完成后，继续往后续的bolt发送，或者根据输出目录，把信息写到指定的外部存储系统中。

2017-04-28 08:13:08

大数据框架HDFS
神州控股发起成立中国健康医疗大数据股份有限公司 构建“整合型”健康医疗服务新业态
4月27日，由神州数码控股有限公司组织并发起的“中国健康医疗大数据股份有限公司筹备签约仪式”在北京举行。国家卫计委金小桃副主任出席签约仪式并致辞。神州数码控股有限公司董事局主席郭为作为中国健康医疗大数据股份有限公司的筹备组织方出席仪式并做主题发言。

2017-04-28 00:00:33

神州控股
造健康医疗大数据国家集团军，强强联合、共建共赢
国家卫计委金小桃副主任、全国工商联党组常务副书记樊友山、厦门市人民政府副市长卢江，及常州市政府代表，以及来自中国人口与发展研究中心、北京协和医院、北京大学等国内各界相关代表见证了签约仪式。

2017-04-27 23:54:36

健康医疗大数据
达观推荐算法实现：协同过滤之item embedding
推荐系统本质是在用户需求不明确的情况下，解决信息过载的问题，联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢(这里的信息的含义可以非常广泛，比如咨询、电影和商品等，下文中统称为item)。

2017-04-27 18:09:26

item embedd推荐系统算法
加速协作体验 诸葛io看板功能升级
不同于传统统计工具，诸葛io关注用户全生命周期流程，帮助客户捕获颗粒度极细的用户数据，并使之相互关联，多维度交叉分析出有效信息，促使产品及业务有针对性的优化。

2017-04-27 17:50:40

诸葛io数据分析
常用排序算法比较与分析
本文主要从排序算法的基本概念、原理出发,分别从算法的时间复杂度、空间复杂度、算法的稳定性和速度等方面进行分析比较。

2017-04-27 10:38:28

排序算法比较分析
未来物联网、人工智能无法迈过的技术是什么？
未来50年，互联网、物联网、人工智能都无法迈过的技术是什么？ 大数据应用！

2017-04-27 10:16:21

人工智能
文本分析之制作网络关系图——Python
这篇文章写的很好(希望不要黑我，我也是觉得真心好)。我基本上借鉴了这篇文章思路写今天这个脚本，实现了自动生成关系网络图。

2017-04-27 08:54:54

Python文本分析网络
数据和分析带来五大积极业务成果
本文将概述企业可以从数据和分析中获得的五大好处，这包括为企业自身的业务和客户带来积极成果，同时维持和推进最高级别的数据保护。

2017-04-26 14:30:36

数据分析预测需求缓冲风险
像Excel一样使用python进行数据分析-(2)
Excel是数据分析中最常用的工具，本篇文章通过python与excel的功能对比介绍如何使用python通过函数式编程完成excel中的数据处理及分析工作。在Python中pandas库用于数据处理，我们从1787页的pandas官网文档中总结出最常用的36个函数，通过这些函数介绍如何通过python完成数据生成和导入，数据清洗，预处理，以及最常见的数据分类，数据筛选，分类汇总，透视等最常见的操作。

2017-04-26 14:02:18

大数据数据分析Excel
大规模爬虫流程总结
爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。

2017-04-26 13:30:24

爬虫数据采集数据存储
大数据到底怎么学：数据科学概论与大数据学习误区
本文从数据科学和大数据关键技术体系角度，来说说大数据的核心技术什么，到底要怎么学习它，以及怎么避免大数据学习的误区，以供参考。

2017-04-26 13:18:35

大数据数据科学人工智能
MongoDB集群和实战详解
本篇文章是基于MongoDB集群(Sharding+Replica Sets)上演示的，故操作的内容都是集群层面的，所以有些命令和单独的使用MongoDB库有异样。

2017-04-26 08:51:36

MongoDB集群实战
如何用PyTorch实现递归神经网络？
PyTorch 是 Facebook AI Research 和其它几个实验室的开发人员的成果，该框架结合了 Torch7 高效灵活的 GPU 加速后端库与直观的 Python 前端，它的特点是快速成形、代码可读和支持最广泛的深度学习模型。

2017-04-26 08:31:10

神经网络自然语言PyTorch
硅谷资深数据科学家教你认清探索性数据分析（EDA）的价值
本文主要介绍了探索性数据分析的价值，说明了探索性数据分析（EDA）是什么以及详细介绍了两种假设，另外文中分析了探索性数据分析对于建模而言是很重要的一步，能够帮助数据科学家找到模型结果出错的原因。

2017-04-25 18:35:47

硅谷数据科学家数据分析
Python分布式抓取和分析京东商城评价
互联网购物现在已经是非常普遍的购物方式，在互联网上购买商品并且使用之后，很多人都会回过头来对自己购买的商品进行一些评价，以此来表达自己对于该商品使用后的看法。商品评价的好坏对于一个商品的重要性显而易见，大部分消费者都以此作为快速评判该商品质量优劣的方式。所以，与此同时，有些商家为了获得好评，还会做一些 “好评优惠” 或者 “返点” 活动来刺激消费者评价商品。

2017-04-25 15:40:12

数据分析商品评价
干货｜国内外十大主流采集软件盘点
大数据技术用了多年时间进行演化，才从一种看起来很炫酷的新技术变成了企业在生产经营中实际部署的服务。其中，数据采集产品迎来了广阔的市场前景，无论国内外，市面上都出现了许多技术不一、良莠不齐的采集软件。

2017-04-25 15:00:29

大数据技术采集软件数据采集
Spark中的核心概念RDD，我们了解多少？
RDD全称叫做弹性分布式数据集(Resilient Distributed Datasets)，它是一种分布式的内存抽象，表示一个只读的记录分区的集合，它只能通过其他RDD转换而创建，为此RDD支持丰富的转换操作。通过这种转换操作，新的RDD则包含了如何从其他RDDs衍生所必需的信息，所以说RDDs之间是有依赖关系的。

2017-04-25 09:50:16

SparkRDD核心
大数据在制造领域落地应用之降本、提质、增效
产品企划→研发→生产制造→营销推广→渠道铺货→售后，这是一条完整的制造业流程。在没有大数据之前，这一切的工作都是靠着企业自己去想象挖掘。所以有的时候一款产品的上市可能会出现功能不完善，不受欢迎的现象。我们期许能够看到一个由众多厂商合力打造的面向制造业的大数据平台，助力“中国智造”。

2017-04-24 13:27:50

大数据制造领域降本
大数据系列之并行计算引擎Spark介绍
Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

2017-04-24 12:07:44

Spark大数据并行计算
大数据如何在制造企业中落地？
每个企业都有自己的规划和自己企业在运营环节的管理最佳实践，毕竟，这么多年的信息化建设，对企业的产品制造的方方面面都有了很大的提升。大数据对促进供应链中的生产环节产生了前所未有的巨大影响，在众多的运营决策改进里面，这些影响包括产品设计，质量控制，客户画像等等。由于任何问题都有可能在某种程度得到优化，问题在于，大数据在企业运营(产品制造)中到底有哪些应用值得我们关注？

2017-04-24 11:40:26

大数据制造企业
工业大数据正用七大方式改变制造业
工业大数据是互联网、大数据和工业产业结合的产物，是中国制造2025、工业互联网、工业4.0等国家战略在企业的落脚点。

2017-04-24 11:32:33

工业大数据制造业
传统制造业面临大数据的7种改变方式
　　工业革命来临，整个领域面临大数据影响，技术也在面临飞跃。未来，如果要继续生产，就要鼓励制造业厂商采用数据采集、存储和分析。

2017-04-24 11:22:10

传统制造业大数据
大数据+制造业怎么做？请看这6大应用场景
这些创新和变革，将全面影响我们的生活，给全球工业带来革命性的变化，改变企业的研发、生产、运营、营销和管理方式。“大数据+制造业”将如何进行？这是本文要探讨的重点，今天极星大数据将通过大数据分析在制造业的6大应用场景，给您一个全新的认知。

2017-04-24 10:25:20

大数据制造业
除了董明珠 家电领域有更值得关注的 原创
到底市场上什么东西是主流的商品？用户需要什么东西？你的竞争对手在做什么？可能现在的发展趋势是什么？这些问题大数据都给出了明晰的指向。我们期许能够看到一个由众多厂商合力打造的健康制造大数据平台，助力“中国智造”。

2017-04-24 10:10:00

董明珠家电领域美的
Spark源码分析之分区器的作用
首先对spark有一定了解的都应该知道，在spark中每个RDD可以理解为一组分区，这些分区对应了内存块block,他们才是数据最终的载体。那么一个RDD由不同的分区组成，这样在处理一些map,filter等算子的时候，就可以直接以分区为单位并行计算了。直到遇到shuffle的时候才需要和其他的RDD配合。

2017-04-24 09:20:05

Spark分析分区器
美国购物平台Stitch Fix王建强：数据驱动的决策辅助与产品智能化 原创
笔者在峰会现场对来自美国购物平台Stitch Fix的数据科学总监王建强进行了专访，主题主要围绕数据驱动的决策辅助与产品智能化展开。

2017-04-22 09:48:00

数据驱动决策产品
python学习之路——python切片模拟LRU算法
LRU算法常用于页面置换算法中。当我们新要访问的页面不在主存中时，就将最近最少使用的页面移除主存，将新的页面存入主存。

2017-04-20 09:21:44

pythonLRU算法
SPSS干货：区分T检验与F检验
为了确定从样本 (sample) 统计结果推论至总体时所犯错的概率，我们会利用统计学家所开发的一些统计方法，进行统计检定。

2017-04-20 08:51:15

SPSST检验F检验
Spark：超越Hadoop MapReduce
和 Hadoop 一样，Spark 提供了一个 Map/Reduce API(分布式计算)和分布式存储。二者主要的不同点是，Spark 在集群的内存中保存数据，而 Hadoop 在集群的磁盘中存储数据。

2017-04-19 11:17:48

SparkHadoopMapReduce
高可用大数据计算服务如何持续发布和演进
MaxCompute 是一种统一的大数据计算平台， MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，比如 SQL 、图计算、流计算和机器学习等，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

2017-04-19 10:06:56

大数据计算服务批处理计算
加速平台创新，奏响“云、大、物、智”新乐章
席卷全球的数字化转型为各行各业带来了巨大的发展机遇，而微软智能云作为推动技术创新的平台和动力源，其自身也实现了远超预期的快速发展： Azure云服务已覆盖全球38个区域；有超过90%的世界“财富500强”企业采用微软智能云服务；增长强劲的企业级云计算业务，已经成为引领整个微软成功实现业务转型、并取得健康发展的重要引擎。

2017-04-19 08:52:30

加速平台
一文看懂数据可视化：从编程工具到可视化表现方式
数据可视化的目的其实就是直观地展现数据，例如让花费数小时甚至更久才能归纳的数据量，转化成一眼就能读懂的指标;通过加减乘除、各类公式权衡计算得到的两组数据差异，在图中颜色敏感、长短大小即能形成对比;数据可视化是一个沟通复杂信息的强大武器。通过可视化信息，我们的大脑能够更好地抓取和保存有效信息，增加信息的印象。

2017-04-19 08:32:50

大数据数据可视化编程工具
Apriori算法介绍（Python实现）
本文首先对Apriori算法进行简介，而后进一步介绍相关的基本概念，之后详细的介绍Apriori算法的具体策略和步骤，最后给出Python实现代码。

2017-04-18 16:09:28

Apriori算法Python
六个提示 预防企业数据发生灾难
IT和业务方面经常会有数据需要恢复，哪些数据需要立即恢复，以及以后可以收回哪些数据。结合许多企业仍然依赖基础数据保护系统和解决方案，难以备份业务所需的所有数据，或者在业务需要的时间和方式下恢复。

2017-04-18 11:14:04

数据灾难大数据企业
上一页 1 ··· 119120121122123 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服