51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9074内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9074 条
发展“大数据+环保”，需转变“重建设，轻管理”思维 原创
‘十三五’环保产业迎来良好开局，但在政策和市场双向给力的大背景下，环保产业企业自身却依然存在很多不容忽视的问题值得更多决策者警醒。比如具体到围绕“水、气、土”等核心资源展开的节能减排、环境监测与预报等，市场对环保企业的技术服务能力、顺应变化的反应力、综合管理水平等都提出了更高的要求和需求。

2017-07-17 13:19:04

大数据云计算环保
你以为自己真的了解用户画像？其实猫腻可多了
“用户画像”并不是最近才出现的，只是近几年谈得比较多。对用户进行画像分析就是将用户信息标签化的过程，打标签是为了帮助理解且方便计算机处理。除了分析数据源，“用户画像”最关键的是根据用户行为及数据，构建模型产出标签、权重。简单的说，就是要设计标签体系，并规定符合该行为的人对应的标签。

2017-07-14 13:07:03

大数据用户画像
谁在人肉搜索？——网络人肉搜索主体的Logistic回归模型分析
本文发表于《广告大观(理论版)》2010年02期，主要使用SPSS软件对一份包含5758个样本的数据进行Logistic回归分析，考察网络人肉搜索参与主体的人口统计特征、基本网络使用情况以及具体的网络参与行为对其参与人肉搜索的影响程度。研究发现23-27岁的男性低收入群体、经常参与网络口水战的人、在网络上爱说谎的人、网络发言是为了发泄情绪的人、网络发言为了引起别人注意的人、更愿意讨论陌生人的私人话题的人、在网络和现实中表现不一的人更容易参与人肉搜索。而且是否参与人肉搜索与网龄和每天上网时间相关。

2017-07-14 10:59:30

大数据人肉搜索网络行为
数据湖恶化成了数据沼泽?你一定没有注意这3点
在Apache Hadoop等技术的支持下，组织一直在寻求构建数据湖——企业范围的数据管理平台，允许以原生格式存储所有数据。数据湖可通过提供给一个单一的数据存储库来打破信息孤岛问题，整个组织都可以使用从业务分析到数据挖掘的所有东西。原始和不受约束，数据湖被认为是一个包罗万象的大数据。

2017-07-14 09:28:47

数据湖Hadoop存储
谁拥有你的数据？谁又动了你的数据？
很多时候我们不会去阅读服务协议，却习惯于签署、通过它们。但现在，这越来越成为一个民生问题了。像 UPS 和亚马逊这样的物流公司，能通过他们先进的监控网络，对员工进行微观管理。而国际零售商和快餐连锁店，则可以利用复杂的数据反馈效率算法生成雇员的时间表。孟山都的“智能农场”技术从大批独立的农民那里提取出有价值的内部数据，而优步司机甚至可以通过建立规模空前的细节数据库，来帮助开发他们的自动驾驶替代品。

2017-07-14 09:13:53

大数据安全
大数据泄露你的行踪？隐私不再是隐私
虽然大数据是大势所趋，也能为我们的生活带来很多便利与进步，但是，当自己的生活有可能完全暴露在别人眼前，甚至受到监控。我们是否应该认真看待这件事情的重要性，在享受科技带来的进步与方便之余，也能同时保护自己的个人隐私?

2017-07-14 08:49:53

大数据隐私普及
有效利用大数据资源，释放数据隐藏的价值
数据的真实价值就像漂浮在海洋中冰山，第一眼只能看到冰山一角，而绝大部分则隐藏在表面之下。在大数据时代，数据的价值仍然存在，只是处于“休眠”状态，而要解锁这些数据的价值，就必须通过统计人员的不懈努力并借助新一代的方法和工具，来释放数据隐藏的价值。

2017-07-13 10:14:20

大数据动向数据价值
Hadoop会取代数仓吗？看硅谷专家怎么说
一想数据管理世界中的那个伟大的存在–数据仓库吧。在过去的二十年中，尽管其他的系统和软件在许许多多的迭代、变革中演进，甚至完全被新模型所抛弃，数据仓库这个老骨干却安然屹立。她可能会偷偷地给自己的面颊，皱纹整容，也可能会激起一些不那么令人深刻的模仿，但是没有什么能长期的吸引她的注意力。

2017-07-13 09:48:22

Hadoop数据仓库
大数据面临的风险和现存问题
人们在谈论大数据的美好图景时当然没有完全忘记它可能带来的风险，但担忧多集中于大数据的后果，如信息安全，而没有集中于如何看待大数据本身。本文将就当前尤其国内技术环境下，进入大数据时代所面临的风险和存在的问题做简要分析，以希望能厘清概念，澄清一些误解。

2017-07-13 09:48:17

大数据动向风险和问题
数据可视化的7个好处
大量研究结果表明人类通过图形获取信息的速度比通过阅读文字获取信息的速度要快很多，那么将数字以可视化的形式展示出来还有其它什么好处，本文详细列举了7种优势。

2017-07-13 09:21:05

大数据数据可视化
数据可视化——“科学与艺术的结合”
数据可视化，是关于数据视觉表现形式，在大数据领域中，素来有“科学与艺术的结合”的说法。这种数据的视觉表现形式被定义为，一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。

2017-07-12 16:07:49

大数据数据可视化
数据专家必知必会的7款Python工具
我咨询了我们真正的数据专家，收集整理了他们认为所有数据专家都应该会的七款 Python 工具。The Galvanize Data Science 和 GalvanizeU 课程注重让学生们花大量的时间沉浸在这些技术里。当你找第一份工作的时候，你曾经投入的时间而获得的对工具的深入理解将会使你有更大的优势。

2017-07-12 15:32:12

大数据大数据技术Python
数据赋能变现时代，应用有哪些有效的变现方式？
应用变现可以通过商品延伸、增值服务和广告服务的主流方式，也有小比例通过金融支付的方式变现，不过从现实操作来看，广告服务始终还是最具效率的方式。

2017-07-12 08:44:24

数据变现应用
Kafka和消息队列之间的超快速比较
Kafka最初是由Linkedin社区开发的一项技术。简而言之，它有点像消息队列系统，但它与消息队列系统不同的就是它能够支持pub/sub，可以在许多服务器上进行扩展，并重新播放消息。

2017-07-11 16:19:50

大数据Kafka消息队列
挨踢部落坐诊第七期：王者农药福利局究竟是用什么函数写出来的？ 原创
挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

2017-07-11 15:47:14

PythonPHP FC
《网络安全法》实施一个月，大数据创业进入迷茫期
《网络安全法》正式实施前后，像一场寒流，席卷了整个大数据行业。首先，3万多家做数据接口的公司可能直接关门。其次，新三板上市的数据堂公司，另外还有14家数据型的公司，被介入查封。再次，2017年5月20号左右，最高人民法院和最高人民检察院出台了一个《关于打击倒卖公民隐私数据的办法》，此办法将让很多做大数据营销的公司在法律上出现一些障碍。

2017-07-11 14:10:07

大数据动向
10 亿级海量数据运算下，Apache Spark 的四个技术应用实践 原创
本文主要介绍 Apache Spark 如何实现苏宁中台商品价格信息的 TB 级别复杂业务数据处理运算，以及其中碰到的问题和解决方案。

2017-07-11 09:59:22

Apache Spar技术数据
如何利用数据赚钱？大数据价值变现的10种商业0模式及利弊分析
当大数据应用在不同的领域和不同的场景下，所产生的意义及其所代表的意义也都不一样，你没有办法用一句话完全概况。大数据是互联网时代不可或缺的产物，不管你愿不愿意，大数据就在那里，你我都是大数据的制造者同时也是受惠者，这个生态圈的闭环已经形成，而且还在不断的延伸到各行各业，为不同的行业创造着更新、更大的价值。

2017-07-11 08:25:07

大数据商业模式0模式
浅谈金融大数据
金融大数据是大数据技术在金融行业的应用，也指在经济和金融活动之中产生的海量数据。金融大数据的应用带动了金融行业的转型，成为了行业新的驱动力和增长模式。

2017-07-11 06:07:59

金融大数据互联网
工业互联网怎么让大数据产生价值？
中国需要加速从低成本生产向高附加值、高科技制造转型。这是一个非常严峻的挑战。大部分新兴市场国家在转型中失败，陷入“中等收入陷阱”无法自拔：在这种境况中，人均收入没有能够向发达国家的高水平靠拢，而是停滞不前。

2017-07-11 05:11:20

工业互联网大数据
打破数据统一的七大原则
数据统一在数据分析领域里是个长期的挑战，从事数据分析的从业者希望在数据分析之前，来自不同实体的数据能够在同一个地方呈现出来。

2017-07-11 05:03:54

数据分析大数据数据
大数据应用价值发现的三大方法
大数据价值的发现与其所处的应用场景密切相关。概括起来，大数据价值发现可以划分为三大类：数据服务、数据分析和数据探索。

2017-07-11 04:16:30

大数据数据大数据应用
Teradata天睿公司获评为实时交互管理市场领导者
Forrester报告基于Teradata客户体验之旅分析解决方案(Teradata Customer Journey Analytic Solution)评价Teradata在实时交互市场上的表现。企业依托该解决方案完善的能力，可识别每位客户的各种行为路径，确定下一步最佳交互方案，并通过每个渠道和接触点提供一致的个性化品牌体验。

2017-07-10 15:23:09

Teradata天睿管理市场
物联网下：大数据属于谁？
除了避免数据不足之外，数据支持意味着IT还需要考虑如何管理和解决数据隐私与真实性中的关键问题。在这个时代分析中正确使用数据的深入讨论尚在填补空白，且仍然未确定，但IT需要为未来几年出现的任何数据政策作好准备。

2017-07-10 10:15:34

大数据动向
大数据技术在发展 挑战与机遇并存
大数据技术是在传统数据处理手段无法应对海量数据的实时需求的情况下，采用新的信息技术来应对大数据爆发进行数据处理的技术。大数据技术一般可以包括基础架构支持、数据采集、数据存储、数据计算和数据展现交互等。

2017-07-10 09:51:20

大数据数据技术数据分析
Spark UDF变长参数的二三事儿
在复杂业务逻辑中，我们经常会用到Spark的UDF，当一个UDF需要传入多列的内容并进行处理时，UDF的传参该怎么做呢? 下面通过变长参数引出，逐一介绍三种可行方法以及一些不可行的尝试...

2017-07-10 08:30:11

Spark UDF变长参数
如何做到“恰好一次”地传递数十亿条消息
在分布式领域中存在着三种类型的消息投递语义，分别是：最多一次(at-most-once)、至少一次(at-least-once)和恰好一次(exactly-once)。本文作者介绍了一个利用Kafka和RocksDB来构建的“恰好一次”消息去重系统的实现原理。

2017-07-07 11:28:24

大数据大数据技术
手把手教你 Spark 性能调优
集群部分 spark 任务执行很慢，且经常出错，参数改来改去怎么都无法优化其性能和解决频繁随机报错的问题。

2017-07-07 11:01:04

Spark性能调优
贷还是不贷：如何用 Python 和机器学习帮你决策？
耳闻目睹了机器学习的诸般神奇，有没有冲动打算自己尝试一下?本文我们通过一个贷款风险评估的案例，用最通俗的语言向你介绍机器学习的基础招式，一步步帮助你用Python完成自己的第一个机器学习项目。试过之后你会发现，机器学习真的不难

2017-07-07 09:21:53

Python 机器学习决策
大数据环境下该如何优雅地设计数据分层
大数据环境下该如何优雅地设计数据分层

2017-07-06 15:52:22

大数据数据分层数据仓库
数据如何为新零售赋能？
关于新零售，阿里给出的定义是“以消费者体验为中心的，数据驱动的泛零售业态”，这里道出了两个关键点，一个是“以消费者体验为中心”，另外一个是“数据驱动”。本文将立足新零售，浅谈数据是如何为其赋能?

2017-07-06 12:48:35

大数据动向新零售
哪些地铁房上班方便还划算？
本次研究即是围绕“地段”中的“地铁房”展开的，由数据团与安居客合作完成，我们以上海作为研究城市。

2017-07-05 18:33:36

大数据数据分析地铁房
大数据分析思路的4点心得
本文不再对一些基本的数据定义再做描述，而是从分析的思路总结了一些心得，欢迎各位一起来讨论。

2017-07-05 18:10:23

大数据分析思路心得
MongoDB家族添新！推出了自己的后端即服务Stitch
MongoDB是最受欢迎的、开放源码的、面向文档的NoSQL数据库，目前已经推出了自己的后端即服务(BaaS)，有望减轻数据开发人员编写样板代码的难度。

2017-07-05 08:40:50

MongoDBStitch后端
这些硬技术，UCloud安全屋都有 原创
作为我国中立云服务商，继今年3月D轮成功融资9.6亿元人民币后，UCloud最近又发新动态，经过八个月的低调研发，旗下产品“安全屋”的问世让学术与产业发展达成深度融合。

2017-07-04 18:57:13

UCloud安全屋技术
滴滴出行与CCF达成合作 携手共建大数据联合实验室
中国计算机学会（CCF）和滴滴出行今天宣布达成战略合作伙伴关系，双方将共建CCF-滴滴大数据联合实验室，在前沿型科研平台搭建及探索、学术交流、人才评选和培养等领域展开深入合作，共同推进我国信息科学及互联网领域的学术进步和技术成果转化。

2017-07-04 16:13:04

滴滴出行
大数据变现四种途径，如何把海量数据变成现金？
大数据变现是大数据热潮中最现实的话题之一。 西班牙电信、沃达丰电信、DHL等企业在大数据变现方面率先开始了探索，以下为大家呈现他们在这一领域的4种创意和途径。

2017-07-04 13:35:05

大数据应用
数字化革命的最终归宿是“跨界”！未来将诞生一批数据寡头
移动互联网的蓬勃发展，已经把移动终端用户数推到了人口半数以上的高位。今天，随便哪一个传统产业的数字化，都难以摆脱移动终端这个入口载体，都难以绕开移动终端来谈数字化。不把自己的服务入口架设在移动终端上就没有客源，不把自己的数字化进程对接到移动终端上就没有未来。

2017-07-04 13:23:01

大数据数字化革命跨界
hadoop hbase集群断电数据块被破坏无法启动
集群机器意外断电重启，导致hbase 无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block块不完整。

2017-07-04 10:39:21

hadoop hbas数据块启动
建设大数据平台，从“治理”数据谈起
我国最早意识到数据治理重要性的行业银行是金融行业。由于对数据的强依赖，金融业一直非常重视数据平台的建设，经过几代数据平台的验证，发现数据治理是平台建设的主要限制因素，而且随着投资和建设的投入增加，对数据治理的重要性的认识也越来越深刻。

2017-07-03 13:53:17

大数据大数据平台数据治理
大数据框架Hadoop主要模块介绍
本文涉及到的所有模块，都是属于Apache组织，不包括其他第三方的模块。

2017-07-03 13:11:39

大数据Hadoop模块介绍
NNabla：索尼开源的一款神经网络框架
NNabla是一款用于研究、开发和生产的深度学习框架。NNabla的目标是要能在台式电脑、HPC集群、嵌入式设备和生产服务器上都能运行。

2017-06-30 16:24:40

大数据神经网络NNabla
以滴滴出行为例，谈谈如何分析用户评论
现在用研也不是什么罕见工作了，分析用户评论的方法非常多，而且谁都可以自创一种。我并不觉得有什么方法是一定好的，有什么是一定不好的。不过，学术界有一个叫做内容分析(Content Analysis)的领域，专门研究文字、媒体信息，半个世纪的时间里有很多人通过研究分析，终于找到了一套较为成熟的方法。所以，我决定在这里介绍一个以内容分析法为基础的，分析产品评论和反馈的方法。

2017-06-30 15:33:57

大数据数据分析用户评论
爬虫需谨慎！那些你不知道的爬虫反爬虫套路 学起来
反爬虫很好理解，有了爬虫我们自然要反爬虫。对于程序员来说，哪怕仅仅是出于“我就是要证明我技术比你好”的目的，也会去做。对于公司来说，意义更加重大，最少，也能降低服务器负载，光凭这一点，反爬虫就有充足的生存价值。

2017-06-30 13:23:02

大数据爬虫爬虫反爬虫
Hadoop+数据仓库到底是梦幻组合还是命中的宿敌？
现在。自从Hadoop出现在舞台上之后，一直有人嘀咕说，这个闪亮的新星正在为一些最好的数据管理角色提供服务–这些角色就是，在几年前，数据仓库已稳操胜券。

2017-06-30 09:29:00

Hadoop数据仓库
大数据将如何改变垂直电商?
垂直电商的玩法到底走到哪一步了?它们如何从各大电商平台中突围、又会和这些平台产生什么样的联结?记者采访了2016年风靡全美的零食类垂直电商Snackoo CEO Baylor Wei，与她聊了聊垂直电商过去的一些误区及未来的新玩法。

2017-06-29 13:54:05

大数据大数据应用垂直电商
PAI分布式机器学习平台编程模型演进之路
机器学习即服务，把机器学习作为服务对外推出，大家可以在平台上使用比较先进的机器学习算法。将多种深度学习框架集成到PAI中，同时基于深度学习框架包装成更加易用的组件。具备异构的计算服务能力，把CPU计算能力和GPU计算能力统一调度起来，异构的计算能力透明，大家的注意力是哪些机器学习算法可以帮助业务，不用关心底层资源的申请和分配。PAI也支持在线预测服务，模型一键发布。

2017-06-29 13:29:34

大数据PAI机器学习
自然语言处理技术（NLP）在推荐系统中的应用
个性化推荐是大数据时代不可或缺的技术，在电商、信息分发、计算广告、互联网金融等领域都起着重要的作用。具体来讲，个性化推荐在流量高效利用、信息高效分发、提升用户体验、长尾物品挖掘等方面均起着核心作用。在推荐系统中经常需要处理各种文本类数据，例如商品描述、新闻资讯、用户留言等等。

2017-06-29 13:02:54

大数据自然语言NLP
从算法原理，看推荐策略
协同过滤推荐算法应该算是一种用的最多的推荐算法，它是通过用户的历史数据来构建“用户相似矩阵”和“产品相似矩阵”来对用户进行相关item的推荐，以达到精准满足用户喜好的目的。比如亚马逊等电商网站上的“买过XXX的人也买了XXX”就是一种协同过滤算法的应用。

2017-06-29 09:15:36

推荐算法策略
关于数据分析思路的4点心得
本文不再对一些基本的数据定义再做描述，而是从分析的思路总结了一些心得，欢迎各位一起来讨论。

2017-06-28 15:24:10

大数据数据分析心得
上一页 1 ··· 115116117118119 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服