51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
大数据如何解决大问题
对许多行业来说,大数据不再是“大忽悠”,其应用意味着从客户分析开始,通过真正了解客户需求,并预测未来行为,从而为客户提供更好的服务。

2017-07-20 07:30:16

大数据数据互联网
发挥大数据及其产业在推动发展方式转变上的作用
大数据时代的到来，互联网成为基础设施，数据变成重要资源，这不仅意味着海量、多样、快速的数据处理和技术创新，更为重要的是改变了传统要素的组合方式。这种变化客观上要求必须转变传统的经济增长方式，实现创新驱动发展。

2017-07-20 06:51:59

大数据互联网数据
人工智能和机器学习如何帮助IT团队解决数据管理问题
掌握和处理大量数据对于IT部门来说是一个挑战。以下是人工智能(AI)和机器学习如何帮助人们分类、组织和汇总大量信息的方法。

2017-07-20 06:27:22

机器学习人工智能数据
大数据治理需要具备哪些能力和关键技术？
从企业数据资产管理和提升数据质量，到自服务和智能化的数据应用，大数据治理的内容在不断发展和完善，其落地实施的过程中会遇到各种各样的难题和挑战。本篇文章通过分析大数据治理建设中的沟沟坎坎，总结出了大数据治理需要具备的能力和关键技术。

2017-07-20 06:08:04

大数据自服务智能化
每个人都应该知道的25个大数据术语
如果你初来乍到，大数据看起来很吓人！根据你掌握的基本理论，让我们专注于一些关键术语以此给你的约会对象、老板、家人或者任何一个人带来深刻的印象。

2017-07-20 01:59:19

大数据算法数据
大数据时代必须破解的重大现实课题
当今，社会信息化和网络化的发展导致数据爆炸式增长，全球数据量大约每两年翻一番，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。大数据时代已经到来，大数据渗透到各个行业领域，逐渐成为一种生产要素发挥着重要作用，成为未来竞争的制高点。然而，大数据掀起新一轮生产率提高和生活方式改变的同时，随之而来的是安全挑战，这是我们必须破解的重大现实课题。

2017-07-19 14:40:37

大数据数据隐患数据安全
智能数据变革来临：我为什么看好Chinapex创略模式
在不少人认为这是一个创新的时代，这是一个变革的年代。因为唯有创新与变革，才能给今天的中国社会与经济注入“新动能”。过去的十多年，因为互联网技术和模式的出现，中国社会经济不断创造“新动能”，我们的广大企业积极参与创造了诸多创新奇迹。

2017-07-19 13:59:07

大数据Chinapex创略应用
大数据应用方向思考
本文是作者针对大数据应用方向提出了九大方面的见解。

2017-07-19 11:04:40

大数据大数据应用方向
超实用的数据可视化零基础教程之实战案例篇
将数据可视化后，我们可以发现数据中更大的意义，最重要的还是实践做出来，这篇文章简单的讲解了下可视化的整个过程，我们如何寻找数据，以及做出有意义的可视化图表出来。希望更多的人兴趣，一起来做数据可视化。

2017-07-18 14:40:05

大数据数据可视化
Apache Flume之正则过滤器
在当今的大数据世界中，应用程序产生大量的电子数据 – 这些巨大的电子数据存储库包含了有价值的、宝贵的信息。 对于人类分析师或领域专家，很难做出有趣的发现或寻找可以帮助决策过程的模式。 我们需要自动化的流程来有效地利用庞大的，信息丰富的数据进行规划和投资决策。 在处理数据之前，收集数据，聚合和转换数据是绝对必要的，并最终将数据移动到那些使用不同分析和数据挖掘工具的存储库中。

2017-07-18 14:10:31

大数据Apache Flum过滤器
Python Crawler – 网信贷黑名单数据爬取
现在我要获取的是“姓名、身份证、手机号、微信、支付宝”，这里我使用的是XPATH来获取这些数据，因为这样更简单一些。

2017-07-18 09:15:23

Python Craw数据爬取
如何做好大数据产品设计架构和技术策略？
很多人都看过不同类型的书，也接触过很多有关大数据方面的文章，但都是很零散不成系统，对自己也没有起到多大的作用，所以作者第一时间，带大家从整体体系思路上，了解大数据产品设计架构和技术策略。

2017-07-17 16:06:58

大数据产品设计架构技术策略
银行如何通过大数据预测并防止用户流失？
在现今这个万物互联的时代，在爆炸式的社交媒体中，坏消息的传播速度惊人。经调查，调查显示，有接近63%的用户使用在线个人网络以及社交网站作为获取可靠银行产品信息的来源。并且，有45%的用户会在社交媒体中对他们获得的服务作出评价。因此通过数据，跟踪到用户的想法并及时的作出相应的决策为客户提供更好的服务及合理的定价策略。

2017-07-17 15:02:51

大数据银行用户流失
人工智能和大数据的开发过程中需要注意这12点
人工智能是近年来科技发展的重要方向，在大数据时代，对数据采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据的开发过程中，有哪些特别需要注意的要点?

2017-07-17 14:15:43

大数据人工智能注意要点
HBase原理－要弄懂的sequenceId
本文从hbase中非常重要的一个变量(sequenceId)入手，将其所涉及到的WAL模块、Flush模块分别进行了说明。文中只讲了一个大概，很多细节知识并没有深究，有兴趣的同学可以根据文中所讲内容深入源码，相信会比较容易。

2017-07-17 13:59:02

大数据HBase原理sequenceid
发展“大数据+环保”，需转变“重建设，轻管理”思维 原创
‘十三五’环保产业迎来良好开局，但在政策和市场双向给力的大背景下，环保产业企业自身却依然存在很多不容忽视的问题值得更多决策者警醒。比如具体到围绕“水、气、土”等核心资源展开的节能减排、环境监测与预报等，市场对环保企业的技术服务能力、顺应变化的反应力、综合管理水平等都提出了更高的要求和需求。

2017-07-17 13:19:04

大数据云计算环保
你以为自己真的了解用户画像？其实猫腻可多了
“用户画像”并不是最近才出现的，只是近几年谈得比较多。对用户进行画像分析就是将用户信息标签化的过程，打标签是为了帮助理解且方便计算机处理。除了分析数据源，“用户画像”最关键的是根据用户行为及数据，构建模型产出标签、权重。简单的说，就是要设计标签体系，并规定符合该行为的人对应的标签。

2017-07-14 13:07:03

大数据用户画像
谁在人肉搜索？——网络人肉搜索主体的Logistic回归模型分析
本文发表于《广告大观(理论版)》2010年02期，主要使用SPSS软件对一份包含5758个样本的数据进行Logistic回归分析，考察网络人肉搜索参与主体的人口统计特征、基本网络使用情况以及具体的网络参与行为对其参与人肉搜索的影响程度。研究发现23-27岁的男性低收入群体、经常参与网络口水战的人、在网络上爱说谎的人、网络发言是为了发泄情绪的人、网络发言为了引起别人注意的人、更愿意讨论陌生人的私人话题的人、在网络和现实中表现不一的人更容易参与人肉搜索。而且是否参与人肉搜索与网龄和每天上网时间相关。

2017-07-14 10:59:30

大数据人肉搜索网络行为
数据湖恶化成了数据沼泽?你一定没有注意这3点
在Apache Hadoop等技术的支持下，组织一直在寻求构建数据湖——企业范围的数据管理平台，允许以原生格式存储所有数据。数据湖可通过提供给一个单一的数据存储库来打破信息孤岛问题，整个组织都可以使用从业务分析到数据挖掘的所有东西。原始和不受约束，数据湖被认为是一个包罗万象的大数据。

2017-07-14 09:28:47

数据湖Hadoop存储
谁拥有你的数据？谁又动了你的数据？
很多时候我们不会去阅读服务协议，却习惯于签署、通过它们。但现在，这越来越成为一个民生问题了。像 UPS 和亚马逊这样的物流公司，能通过他们先进的监控网络，对员工进行微观管理。而国际零售商和快餐连锁店，则可以利用复杂的数据反馈效率算法生成雇员的时间表。孟山都的“智能农场”技术从大批独立的农民那里提取出有价值的内部数据，而优步司机甚至可以通过建立规模空前的细节数据库，来帮助开发他们的自动驾驶替代品。

2017-07-14 09:13:53

大数据安全
大数据泄露你的行踪？隐私不再是隐私
虽然大数据是大势所趋，也能为我们的生活带来很多便利与进步，但是，当自己的生活有可能完全暴露在别人眼前，甚至受到监控。我们是否应该认真看待这件事情的重要性，在享受科技带来的进步与方便之余，也能同时保护自己的个人隐私?

2017-07-14 08:49:53

大数据隐私普及
有效利用大数据资源，释放数据隐藏的价值
数据的真实价值就像漂浮在海洋中冰山，第一眼只能看到冰山一角，而绝大部分则隐藏在表面之下。在大数据时代，数据的价值仍然存在，只是处于“休眠”状态，而要解锁这些数据的价值，就必须通过统计人员的不懈努力并借助新一代的方法和工具，来释放数据隐藏的价值。

2017-07-13 10:14:20

大数据动向数据价值
Hadoop会取代数仓吗？看硅谷专家怎么说
一想数据管理世界中的那个伟大的存在–数据仓库吧。在过去的二十年中，尽管其他的系统和软件在许许多多的迭代、变革中演进，甚至完全被新模型所抛弃，数据仓库这个老骨干却安然屹立。她可能会偷偷地给自己的面颊，皱纹整容，也可能会激起一些不那么令人深刻的模仿，但是没有什么能长期的吸引她的注意力。

2017-07-13 09:48:22

Hadoop数据仓库
大数据面临的风险和现存问题
人们在谈论大数据的美好图景时当然没有完全忘记它可能带来的风险，但担忧多集中于大数据的后果，如信息安全，而没有集中于如何看待大数据本身。本文将就当前尤其国内技术环境下，进入大数据时代所面临的风险和存在的问题做简要分析，以希望能厘清概念，澄清一些误解。

2017-07-13 09:48:17

大数据动向风险和问题
数据可视化的7个好处
大量研究结果表明人类通过图形获取信息的速度比通过阅读文字获取信息的速度要快很多，那么将数字以可视化的形式展示出来还有其它什么好处，本文详细列举了7种优势。

2017-07-13 09:21:05

大数据数据可视化
数据可视化——“科学与艺术的结合”
数据可视化，是关于数据视觉表现形式，在大数据领域中，素来有“科学与艺术的结合”的说法。这种数据的视觉表现形式被定义为，一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。

2017-07-12 16:07:49

大数据数据可视化
数据专家必知必会的7款Python工具
我咨询了我们真正的数据专家，收集整理了他们认为所有数据专家都应该会的七款 Python 工具。The Galvanize Data Science 和 GalvanizeU 课程注重让学生们花大量的时间沉浸在这些技术里。当你找第一份工作的时候，你曾经投入的时间而获得的对工具的深入理解将会使你有更大的优势。

2017-07-12 15:32:12

大数据大数据技术Python
数据赋能变现时代，应用有哪些有效的变现方式？
应用变现可以通过商品延伸、增值服务和广告服务的主流方式，也有小比例通过金融支付的方式变现，不过从现实操作来看，广告服务始终还是最具效率的方式。

2017-07-12 08:44:24

数据变现应用
Kafka和消息队列之间的超快速比较
Kafka最初是由Linkedin社区开发的一项技术。简而言之，它有点像消息队列系统，但它与消息队列系统不同的就是它能够支持pub/sub，可以在许多服务器上进行扩展，并重新播放消息。

2017-07-11 16:19:50

大数据Kafka消息队列
挨踢部落坐诊第七期：王者农药福利局究竟是用什么函数写出来的？ 原创
挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

2017-07-11 15:47:14

PythonPHP FC
《网络安全法》实施一个月，大数据创业进入迷茫期
《网络安全法》正式实施前后，像一场寒流，席卷了整个大数据行业。首先，3万多家做数据接口的公司可能直接关门。其次，新三板上市的数据堂公司，另外还有14家数据型的公司，被介入查封。再次，2017年5月20号左右，最高人民法院和最高人民检察院出台了一个《关于打击倒卖公民隐私数据的办法》，此办法将让很多做大数据营销的公司在法律上出现一些障碍。

2017-07-11 14:10:07

大数据动向
10 亿级海量数据运算下，Apache Spark 的四个技术应用实践 原创
本文主要介绍 Apache Spark 如何实现苏宁中台商品价格信息的 TB 级别复杂业务数据处理运算，以及其中碰到的问题和解决方案。

2017-07-11 09:59:22

Apache Spar技术数据
如何利用数据赚钱？大数据价值变现的10种商业0模式及利弊分析
当大数据应用在不同的领域和不同的场景下，所产生的意义及其所代表的意义也都不一样，你没有办法用一句话完全概况。大数据是互联网时代不可或缺的产物，不管你愿不愿意，大数据就在那里，你我都是大数据的制造者同时也是受惠者，这个生态圈的闭环已经形成，而且还在不断的延伸到各行各业，为不同的行业创造着更新、更大的价值。

2017-07-11 08:25:07

大数据商业模式0模式
浅谈金融大数据
金融大数据是大数据技术在金融行业的应用，也指在经济和金融活动之中产生的海量数据。金融大数据的应用带动了金融行业的转型，成为了行业新的驱动力和增长模式。

2017-07-11 06:07:59

金融大数据互联网
工业互联网怎么让大数据产生价值？
中国需要加速从低成本生产向高附加值、高科技制造转型。这是一个非常严峻的挑战。大部分新兴市场国家在转型中失败，陷入“中等收入陷阱”无法自拔：在这种境况中，人均收入没有能够向发达国家的高水平靠拢，而是停滞不前。

2017-07-11 05:11:20

工业互联网大数据
打破数据统一的七大原则
数据统一在数据分析领域里是个长期的挑战，从事数据分析的从业者希望在数据分析之前，来自不同实体的数据能够在同一个地方呈现出来。

2017-07-11 05:03:54

数据分析大数据数据
大数据应用价值发现的三大方法
大数据价值的发现与其所处的应用场景密切相关。概括起来，大数据价值发现可以划分为三大类：数据服务、数据分析和数据探索。

2017-07-11 04:16:30

大数据数据大数据应用
Teradata天睿公司获评为实时交互管理市场领导者
Forrester报告基于Teradata客户体验之旅分析解决方案(Teradata Customer Journey Analytic Solution)评价Teradata在实时交互市场上的表现。企业依托该解决方案完善的能力，可识别每位客户的各种行为路径，确定下一步最佳交互方案，并通过每个渠道和接触点提供一致的个性化品牌体验。

2017-07-10 15:23:09

Teradata天睿管理市场
物联网下：大数据属于谁？
除了避免数据不足之外，数据支持意味着IT还需要考虑如何管理和解决数据隐私与真实性中的关键问题。在这个时代分析中正确使用数据的深入讨论尚在填补空白，且仍然未确定，但IT需要为未来几年出现的任何数据政策作好准备。

2017-07-10 10:15:34

大数据动向
大数据技术在发展 挑战与机遇并存
大数据技术是在传统数据处理手段无法应对海量数据的实时需求的情况下，采用新的信息技术来应对大数据爆发进行数据处理的技术。大数据技术一般可以包括基础架构支持、数据采集、数据存储、数据计算和数据展现交互等。

2017-07-10 09:51:20

大数据数据技术数据分析
Spark UDF变长参数的二三事儿
在复杂业务逻辑中，我们经常会用到Spark的UDF，当一个UDF需要传入多列的内容并进行处理时，UDF的传参该怎么做呢? 下面通过变长参数引出，逐一介绍三种可行方法以及一些不可行的尝试...

2017-07-10 08:30:11

Spark UDF变长参数
如何做到“恰好一次”地传递数十亿条消息
在分布式领域中存在着三种类型的消息投递语义，分别是：最多一次(at-most-once)、至少一次(at-least-once)和恰好一次(exactly-once)。本文作者介绍了一个利用Kafka和RocksDB来构建的“恰好一次”消息去重系统的实现原理。

2017-07-07 11:28:24

大数据大数据技术
手把手教你 Spark 性能调优
集群部分 spark 任务执行很慢，且经常出错，参数改来改去怎么都无法优化其性能和解决频繁随机报错的问题。

2017-07-07 11:01:04

Spark性能调优
贷还是不贷：如何用 Python 和机器学习帮你决策？
耳闻目睹了机器学习的诸般神奇，有没有冲动打算自己尝试一下?本文我们通过一个贷款风险评估的案例，用最通俗的语言向你介绍机器学习的基础招式，一步步帮助你用Python完成自己的第一个机器学习项目。试过之后你会发现，机器学习真的不难

2017-07-07 09:21:53

Python 机器学习决策
大数据环境下该如何优雅地设计数据分层
大数据环境下该如何优雅地设计数据分层

2017-07-06 15:52:22

大数据数据分层数据仓库
数据如何为新零售赋能？
关于新零售，阿里给出的定义是“以消费者体验为中心的，数据驱动的泛零售业态”，这里道出了两个关键点，一个是“以消费者体验为中心”，另外一个是“数据驱动”。本文将立足新零售，浅谈数据是如何为其赋能?

2017-07-06 12:48:35

大数据动向新零售
哪些地铁房上班方便还划算？
本次研究即是围绕“地段”中的“地铁房”展开的，由数据团与安居客合作完成，我们以上海作为研究城市。

2017-07-05 18:33:36

大数据数据分析地铁房
大数据分析思路的4点心得
本文不再对一些基本的数据定义再做描述，而是从分析的思路总结了一些心得，欢迎各位一起来讨论。

2017-07-05 18:10:23

大数据分析思路心得
MongoDB家族添新！推出了自己的后端即服务Stitch
MongoDB是最受欢迎的、开放源码的、面向文档的NoSQL数据库，目前已经推出了自己的后端即服务(BaaS)，有望减轻数据开发人员编写样板代码的难度。

2017-07-05 08:40:50

MongoDBStitch后端
这些硬技术，UCloud安全屋都有 原创
作为我国中立云服务商，继今年3月D轮成功融资9.6亿元人民币后，UCloud最近又发新动态，经过八个月的低调研发，旗下产品“安全屋”的问世让学术与产业发展达成深度融合。

2017-07-04 18:57:13

UCloud安全屋技术
上一页 1 ··· 115116117118119 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服