51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9063内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9063 条
避免数据备份中的7大风险
如今，全球各地的组织和个人所存储和传输的数据量激增。数据已经无处不在，随着文件规模的增加，其倍增的速率正在快速增长，需要备份的数据比以往更多。

2018-06-06 14:15:12

数据备份勒索软件数据
Kafka解惑之时间轮 (TimingWheel)
Kafka中存在大量的延迟操作，比如延迟生产、延迟拉取以及延迟删除等。Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能，而是基于时间轮自定义了一个用于实现延迟功能的定时器(SystemTimer)。

2018-06-06 10:14:32

Kafka时间轮任务
开源模式下的云计算和大数据现状
开源云计算带来的好处很多，其中最吸引人的就是可以帮助企业降低成本。另外，开源模式消除了供应商的限制和壁垒，并且可让技术变得更加协作，合作者会不断更新开源软件，使该技术得到持续的完善和发展。

2018-06-06 10:06:05

云计算大数据开源
还不收藏？Spark动态内存管理源码解析！
Spark有两种内存管理模式，静态内存管理(Static MemoryManager)和动态（统一）内存管理（Unified MemoryManager）。动态内存管理从Spark1.6开始引入，在SparkEnv.scala中的源码可以看到，Spark目前默认采用动态内存管理模式，若将spark.memory.useLegacyMode设置为true，则会改为采用静态内存管理。

2018-06-06 08:28:37

Spark内存管理
数据开启基础设施现代化之门
实现数字化转型的致胜点在于业务和技术的完美结合，而云在其中扮演着一个至关重要的角色——数字化转型的基石。目前，大多数企业正处于传统架构和新型IT架构并存的状态，在上云的道路上，众多企业采用了多云部署的策略，即采用超过一家的云服务商来构建和提供云服务。

2018-06-05 13:43:49

数据基础设施
大数据分析系统Hadoop的13个开源工具
Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。

2018-06-05 12:06:20

Hadoop开源工具
数据科学“内战”：统计vs.机器学习
和武侠世界里有少林和武当两大门派一样，数据科学领域也有两个不同的学派：以统计分析为基础的统计学派，以及以机器学习为基础的人工智能派。而本文将从数据科学的研究目标和挑战聊起，用几个简单的例子，对比数据科学圈这两大门派之争。

2018-06-05 11:30:22

数据科学机器学习统计学
零售业强竞争，大数据如何帮助弱者角逐
大数据时代，数据分析已经渗透到各行各业，这里也包括零售行业。目前，各大中小型零售商都在努力为客户提供更好的购物体验，用有限的预算为顾客提供满意的服务。零售商业内存在很强的竞争压力，不断的技术创新使得行业景观变化迅速。

2018-06-05 11:20:33

大数据人工智能零售
当大数据满足数据可视化时，如何使数据变得可操作
如今，数据科学家可以使用数据可视化来使他们的信息更具可操作性插图、图表、图表和电子表格可以把枯燥的报告变成有启发性的内容，更容易收集洞察力和可操作的结果。

2018-06-05 10:47:37

数据可视化数据分析
深度:Hadoop对Spark五大维度正面比拼报告！
为了增加混淆，Spark和Hadoop经常与位于HDFS，Hadoop文件系统中的Spark处理数据一起工作。但是，它们都是独立个体，每一个体都有自己的优点和缺点以及特定的商业案例。本文将从以下几个角度对Spark和Hadoop进行对比：体系结构，性能，成本，安全性和机器学习。

2018-06-04 11:28:49

HadoopSpark数据
伯克利发布迄今为止最大驾驶数据集BDD100K，含10万段视频
日前，伯克利发布了迄今最大、最多样化的带有丰富注释的驾驶视频数据集 BDD100K。大家可以访问 http://bdd-data.berkeley.edu 获取该数据集。同时，他们也在 arXiv 上发布了关于该数据集的报告，大家也可以利用该数据集参加他们主办的的 CVPR 2018 挑战赛。

2018-06-04 11:09:04

数据集自动驾驶道路区域
用Python将数据写到CSV文件
我们从网上爬取数据，最后一步会考虑如何存储数据。如果数据量不大，往往不会选择存储到数据库，而是选择存储到文件中，例如文本文件、CSV 文件、xls 文件等。因为文件具备携带方便、查阅直观。

2018-06-04 10:04:48

Python数据语言
你的数据化经营为何屡战屡败，118位CTO给出的7个管理经验
成功的企业数字化案例显然有自己的共同点：重视数据质量、重视数据上下文、以及建立有效的数据管理体制。而失败的企业则各有各的问题。

2018-06-03 15:45:33

数据分析数据数据科学
如何在万亿级别规模的数据量上使用 Spark？
Spark 作为大数据计算引擎，凭借其快速、稳定、简易等特点，快速的占领了大数据计算的领域。本文主要为作者在搭建使用计算平台的过程中，对于 Spark 的理解，希望能给读者一些学习的思路。

2018-06-01 09:42:43

数据Spark规模
什么是预测分析技术?将数据转化为对未来的见解
根据Zion Market Research 市场研究机构2017年发布的报告，预测分析技术已获得众多组织的支持，预计到2022年全球市场将达到约109.5亿美元，2016年至2022年期间的复合年增长率(CAGR)约为21%。

2018-05-31 21:57:13

预测分析技术传统分析算法
Facebook科学家：别给算法模型喂垃圾数据了…
在最近的一次谈话中，Facebook人工智能研究科学家Moustapha Cissé告诉我，“你吃什么你就是什么，而我们正在给算法模型喂垃圾食品。”如果你不知道食物中有什么，你就很难合理饮食。同理，如果你不理解训练数据的原理，就不能训练出偏差更小的模型。

2018-05-31 21:41:57

数据手册人工智能数据集
Amas：基于大数据平台技术开发的统一监控平台
Amas是基于大数据平台技术开发的统一监控平台，其特点包括：全维度监控指标，覆盖从操作系统、中间件、大数据平台(Hadoop/Spark/HBase/Kakfa等)到代码级别、可扩展、自定义的采集框架，支持不同语言(Python/Perl/Shell/...)开发的采集器等

2018-05-31 21:14:49

Amas大数据监控平台
短视频现状如何？大数据告诉你抖音较火，快手较赚钱！
近年来，“短视频”的热度一直高居不下。截止2018年2月，短视频综合平台与短视频聚合平台活跃用户规模分别达到4.035亿人与1.655亿人。短视频对用户的生活方式正带来深刻的变革。

2018-05-31 21:11:24

短视频抖音快手
一文理清Apache Spark内存管理脉络
本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuffle、JVM 等相关概念。

2018-05-31 20:49:50

Spark堆内内存优化机制
WOT干货大放送：大数据架构发展趋势及探索实践分享 原创
WOT大数据处理技术分会场，PingCAP CTO黄东旭、易观智库CTO郭炜、Mob开发者服务平台技术副总监林荣波、宜信技术研发中心高级架构师王东及商助科技(99Click)顾问总监郑泉五位讲师，分别针对时下热门的HTAP数据库TiDB、去ETL化的IOTA架构、数据工厂架构、实时敏捷大数据理念实践、基于场景的大数据营销等话题，展开实践分享。

2018-05-31 16:13:12

大数据架构趋势
页面可视化搭建工具的前生今世
页面可视化搭建, 是一个历久弥新的话题. 更广义上讲, 页面是 GUI 的一部分, GUI 的拖拉生成在各种开发工具上很常见, 如 Android Studio, Xcode, Visual Studio 等. 前端页面早在十几年前就能用 Dreamweaver, Frontpage 等工具可视化搭建出来.

2018-05-31 12:12:12

页面可视化工具
2018年数据科学和机器学习调查:Python完胜R语言，Hadoop被抛弃！
近日，数据科学网站KDnuggets发布 2018年数据科学和机器学习工具调查结果。

2018-05-31 09:40:55

数据机器学习Python
可视化的三大误区，哪些可视化工具受欢迎？
数据可视化主要旨在借助于图形化手段，清晰有效地传达与沟通信息。为了有效地传达思想概念，美学形式与功能需要齐头并进，通过直观地传达关键的方面与特征，从而实现对于相当稀疏而又复杂的数据集的深入洞察。

2018-05-31 08:25:13

误区工具可视化
大数据的4大宏观趋势
一系列不同的趋势正在影响大数据举措，但四个总体主题正在成为2018年影响大数据的关键因素：云计算、机器学习、数据治理，以及对速度的需求。

2018-05-30 11:53:27

大数据数据分析数据
深入浅出：大妈也能看懂的大数据分布式计算
本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从 MapReduce 分布式计算模型开始。

2018-05-30 09:27:15

大数据分布式计算
数据科学目标、挑战以及门派
就像“一千个人眼里有一千个哈姆雷特”一样，对于什么是数据科学也有很多种不同的解读，并由此衍生出很多相关概念，比如数据驱动、大数据、分布式计算等。但这些概念都没能全面地描述数据科学的内涵，本文将从目标、挑战和门派三个方面来阐述什么是数据科学。

2018-05-29 22:34:26

数据科学数据分析工程
一文读懂 Spring Boot、微服务架构和大数据治理三者之间的故事
微服务的诞生并非偶然，它是在互联网高速发展，技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物。

2018-05-29 15:33:33

Spring Boot微服务大数据
大数据技术在金融行业的典型应用
从发展特点和趋势来看，“金融云”快速建设落地奠定了金融大数据的应用基础，金融数据与其他跨领域数据的融合应用不断强化，人工智能正在成为金融大数据应用的新方向，金融行业数据的整合、共享和开放正在成为趋势，给金融行业带来了新的发展机遇和巨大的发展动力。

2018-05-29 09:38:40

大数据金融行业银行业
全球大数据发展的新动向与新趋势
目前，伴随移动互联网、智能硬件和物联网的快速普及，全球数据总量呈现指数级增长态势，与此同时，机器学习等先进的数据分析技术创新也日趋活跃，使得大数据隐含的价值得以更大程度的显现，一个更加注重数据价值的新时代正悄然来临。

2018-05-28 22:26:18

大数据智能终端数据挖掘
高效的数据压缩编码方式 Protobuf
Protocol buffers 很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式 。

2018-05-28 21:51:25

Protocol bu数据存储序列化
十张图告诉你大数据的增长趋势
在McKinsey 2018年1月的研究报告 “Analytics Comes of Age”中，以大数据分析为代表的高级分析技术对于销售与营销、研究与开发(R&D)、包括分销在内的供应链管理(SCM)、工作场所管理与运行等领域的营收促进效果最为明显。

2018-05-28 21:17:57

大数据分析软件
Teradata助力企业实现数字化转型 规避投资风险 原创
全球领先的数据和分析解决方案供应商Teradata天睿公司在近日举办的“2018 Teradata大数据峰会”上正式发布Teradata Everywhere和感知型企业理念。

2018-05-28 18:10:15

Teradata数字化转型大数据
一文简述如何使用嵌套交叉验证方法处理时序数据
本文简要讲解了交叉验证和嵌套交叉验证，并介绍了针对单个时序数据和多个时序数据的嵌套交叉验证方法。

2018-05-28 11:03:22

交叉验证时序数据数据集
Spark调优的关键—RDD Cache缓存使用详解
Spark的开发调优有一个原则，即对多次使用的RDD进行持久化。如果要对一个RDD进行持久化，只要对这个RDD调用cache()和persist()即可。

2018-05-28 08:54:45

SparkRDD Cache缓存
简单快捷的数据处理，数据科学需要注意的命令行
对很多数据科学家而言，他们的数据操作经常需要使用 Pandas 或者 Tidyverse。理论上，这个说法没有任何错误，毕竟这就是这些工具存在的原因。然而，对于分隔符转换这样的简单任务而言，这些工具往往是大材小用，我们可以直接使用命令行快速处理。

2018-05-28 08:42:56

数据处理数据科学命令行
工业大数据产业应用联盟携八家成员企业共同亮相数博会
5月26日，由国家发改委、工信部、国家互联网信息办公室、贵州省人民政府共同主办的2018中国国际大数据产业博览会上，工业大数据产业应用联盟的八家联盟成员企业共同参展，为数博会带来工业大数据产业联盟及旗下成员在标准制定、落地应用等方面的一系列成果展示。

2018-05-27 11:47:01

大数据工业应用
深度揭秘Airbnb的跨洋大数据挑战及架构实战 原创
大数据时代，每个公司都会遇到一些共性的挑战，比如大数据的采集、整合、存储、计算。Airbnb 在大数据平台架构构建的过程中，也收获了很多宝贵的经验。

2018-05-25 10:05:13

大数据架构实战
大妈也能看懂的大数据分布式计算图解
本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从MapReduce分布式计算模型开始。

2018-05-24 22:58:26

大数据分布式计算统计
帮助你做高级数据分析的各类 ETL 工具比较 译文
如今对于数据的高级分析需要有一套最新的数据集成方法。如果需要整合来自数据库、流媒体服务、文件以及其他来源的数据，您可以通过本文的介绍，选择出一个合适的工具平台。

2018-05-24 13:35:22

数据分析ETL工具处理
大数据时代，这些专业人才最吃香
通过大数据，百度掌握你的隐私，微信知道你的社交圈子，淘宝了解你的购物习惯，移动电信联通三大运营商存有你的通话记录和上网记录……

2018-05-24 09:29:27

大数据数据科学分析
四项更佳实践让您的云部署准备好迎接GDPR 译文
关注这四项重要提示，确保您的云部署在系统审计与主动安全性等各个层面为GDPR的正式生效做好准备。GDPR即将在本月晚些时候正式生效，这意味着满足安全性与合规性将成为一切包含有欧盟公民个人数据的云部署方案的首要任务。

2018-05-24 09:00:45

云环境GDPR云部署
最新发布：2018年五个大数据热门岗位
数据质量决定了数据对业务的内在价值。信息技术只是这个内在价值的放大镜。因此，高质量的数据与有效的技术相结合是一项巨大的资产，但低质量的数据与有效的技术相结合也是一项巨大的责任。

2018-05-23 20:25:41

数据科学数据库信息技术
改善企业业务的6个数据管理技巧
对于许多组织来说，转变业务需求和预算现实意味着技术部署必须既有战略性又有敏捷性。C&W Services公司专注于使用技术改进业务流程。许多组织的大量数据存在于独立应用程序中，处于闲置状态并等待被利用。而寻找一种分析应用程序间数据的方法有可能提高效率。

2018-05-23 13:47:24

数据数据管理可视化
Accordion：HBase的 “呼吸式”内存压缩算法
HBase 所支持的现代产品对Hbase读写性能的期望越来越高。理想情况下，HBase 也希望在保证其可靠的持久存储的前提下能同时享有内存数据库的速度。社区的贡献者在HBase 2.0中引入了一种名为Accordion的新算法，这促使Hbase又朝着其理想的目标迈出了重要的一步。

2018-05-23 08:52:40

HBase内存压缩算法
将企业数据分析移至云端并非易事
如果企业希望在云计算的新平台上实现数据仓库和数据集市的现代化，那么请注意，这并不像人们想象的那么容易。

2018-05-22 12:27:52

数据分析云端企业
一份关于数据科学家应该具备的技能清单
大数据时代，什么职业比较吃香?答案可以从今年的校招薪资列表上知道——算法工程师、人工智能研究员、数据分析等职位。那么作为一名数据科学家，应该具备的技能有哪些呢?本文将一窥究竟。

2018-05-22 09:07:54

数据科学语言职位
数据是制造业实现物联网价值的关键
2020年将是制造业期待的一年。Deloitte预测15个最有竞争力的制造业国家将有10个在亚洲。不过，为实现此一目标，亚太制造业将需拥抱物联网(IoT)。

2018-05-22 07:55:12

物联网IoT数据制造业
华尔街日报畅销书《感知型企业》中文版正式出版
全球领先的数据和分析解决方案供应商Teradata天睿公司（Teradata Corporation，纽交所：TDC）宣布，公司首席运营官Oliver Ratzesberger和美国西北大学凯洛格商学院Mohan Sawhney教授合著的新书《感知型企业：数据驱动的商业决策演进》（The Sentient Enterprise: The Evolution of Business Decision Making）的中文版正式出版。

2018-05-21 23:44:23

数据分析供应商
HIVE和HBASE之间，主要的区别是什么？
Apache Hive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。

2018-05-21 21:26:59

Apache HiveHbaseSQL
对数据科学家来说最重要的算法和统计模型
作为一个在这个行业已经好几年的数据科学家，在LinkedIn和QuoLa上，我经常接触一些学生或者想转行的人，帮助他们进行机器学习的职业建议或指导方面相关的课程选择。一些问题围绕教育途径和程序的选择，但许多问题的焦点是今天在数据科学领域什么样的算法或模型是常见的。

2018-05-21 21:04:07

数据科学家算法统计模型
上一页 1 ··· 979899100101 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服