51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
TiDB Binlog 组件正式开源
TiDB Binlog 组件用于收集 TiDB 的 binlog，并准实时同步给下游，如：TiDB/MySQL等。该组件在功能上类似于 MySQL 的主从复制，会收集各个 TiDB 实例产生的 binlog，并按事务提交的时间排序，全局有序的将数据同步至下游。利用 TiDB Binlog 可以实现数据准实时同步到其他数据库，以及 TiDB 数据准实时的备份与恢复。

2019-05-07 09:31:41

TiDBMySQL数据
一篇文章看懂大数据分析就业前景及职能定位
今天主要给大家好好说说python的发展方向，但是一篇可能不够，因为我想尽可能的给大家剖析行业情况，让大家在做选择的时候不至于还不知道这是干啥的，只知道这个很火。今天就先给大家讲大数据分析工程师。

2019-05-06 16:28:05

数据分析python
Splunk利用Splunk Connected Experiences和Splunk Business Flow 扩大数据访问
致力于将数据转化为行动和价值的Splunk公司(NASDAQ: SPLK)今日宣布Splunk® Connected Experiences 和Splunk Business Flow全面上市——这两款新产品让Splunk客户更加贴近他们的数据。Splunk Connected Experiences通过增强现实(AR)、iPhone等移动设备和能让用户随时随地访问数据的移动应用程序，提供即时洞察。

2019-05-06 14:12:57

数据SplunkIT
AI专家：大数据知识图谱——实战经验总结
作为数据科学家，我想把行业最新知识图谱总结并分享给技术专家们，让大数据知识真正转化为互联网生产力!大数据与人工智能、云计算、物联网、区块链等技术日益融合，成为全球最热的战略性技术，给大数据从业者带来了前所未有的发展机遇，同时也对大数据工程师提出了高标准的技能要求。

2019-05-06 13:42:13

大数据分布式架构
大数据开发常见的9种数据分析手段
数据分析是从数据中提取有价值信息的过程，过程中需要对数据进行各种处理和归类，只有掌握了正确的数据分类方法和数据处理模式，才能起到事半功倍的效果，以下是数据分析员必备的9种数据分析思维模式。

2019-05-06 09:27:13

数据分析大数据开发数据
以免在景区看人，我爬了5W条全国景点门票数据...
五一去哪儿玩?相信有的同学已经为这个问题纠结了好久好久。到底应该去哪个省/城市玩儿，哪里才能玩得尽兴?哪些城市哪些景点最火?各个省份都有哪些好评又热门的景点?哪些景点打折力度大?一连串问题在脑海打转。

2019-05-05 09:14:19

数据.
【实战解析】基于HBase的大数据存储在京东的应用场景
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，适用于结构化的存储，底层依赖于Hadoop的HDFS，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。

2019-05-05 09:03:06

HBase大数据存储数据存储
利用数据分析量化协同过滤算法的两大常见难题 原创
推荐系统自从问世以来解决了许多不同的商业产品问题，深受广大互联网从业者的喜爱。传统的互联网电商公司像阿里巴巴和京东已经把推荐系统当成了自己的核心技术资产之一，而新兴的互联网产品像今日头条和抖音，也早已把推荐系统作为了自己的技术立足之本。

2019-05-05 09:00:00

数据分析算法推荐系统
数据科学家告诉你哪些计算机科学书籍是你应该看的
人们常说数据科学建立在三大支柱上：领域专业知识，统计数据和编程。RStudio的首席科学家，开发30多个R包的Hadley Wickham推荐了5本他认为最好的关于计算机科学基础的书籍。

2019-04-30 15:14:11

数据科学家计算机书
Kafka作为大数据的核心技术，你了解多少？
Kafka作为大数据最核心的技术，作为一名技术开发人员，如果你不懂，那么就真的“out”了。DT时代的快速发展离不开kafka，所以了解kafka，应用kafka就成为一种必须。

2019-04-30 14:19:24

Kafka大数据分布式流平台
大数据学习必须掌握的五大核心技术有哪些？
首先做为大数据，拿不到大量数据都白扯。现在由于机器学习的兴起，以及万金油算法的崛起，导致算法地位下降，数据地位提高了。举个通俗的例子，就好比由于教育的发展，导致个人智力重要性降低，教育背景变重要了，因为一般人按标准流程读个书，就能比牛顿懂得多了。

2019-04-30 13:54:55

大数据Hadoop数据清洗
作为一名阿里巴巴数据分析大牛，送给学弟学妹的经验积分
作为一名热爱数据分析、通过努力拿到心仪offer的学生，是许许多多通过努力实现目标的学生中的普通一员。一路走来，我把自己的经历按照时间线写下来，中间穿插我的经验，在记录自己工作的同时，希望能给想要进入数据分析师岗位的学弟学妹们一点点的小收获

2019-04-30 13:41:54

数据分析阿里数据分析师
基于Antlr在Apache Flink中实现监控规则DSL化的探索实践 原创
目前业界已经有很多杰出的监控系统如Nagios、Zabbix、Prometheus，但都是面向运维人员，在应对复杂多变的业务指标监控时显得不够灵活。为此苏宁数据云在流式计算框架Apache Flink之上设计了一组包含ETL、指标计算、告警触发、告警通知模块的业务监控引擎。

2019-04-30 09:00:33

SQL数据库Apache Flin
甲骨文再次被Gartner评为分析型数据管理解决方案魔力象限领导者
甲骨文公司近日宣布，凭借强大的执行力和愿景完整性，甲骨文在 Gartner 2019 年分析型数据管理解决方案魔力象限1中被评为领导者。

2019-04-29 15:17:40

甲骨文数据管理
怎么做大数据工作流调度系统？大厂架构师一语点破！
文章介绍了EasyScheduler的架构设计，以及每个组件工作的方式。如果你的工作中遇到需要大数据工作流的场景可以尝试使用这个架构。由于文章比较长建议先收藏再阅读。

2019-04-29 13:27:09

大数据系统架构前端
2019大数据处理必备的十大工具，从Linux到架构师必修
大数据的日益增长,给企业管理大量的数据带来了挑战的同时也带来了一些机遇。下面是用于信息化管理的大数据工具列表。

2019-04-29 13:20:00

大数据工具数据库
推荐！数据可视化的十种优秀JavaScript图表库 译文
网上有许多具有不同特点的JavaScript图表库资源，本文列举了十种能够实现数据可视化最佳JS库，供您参考。

2019-04-29 09:00:00

数据可视化JavaScript图表库
腾讯入资东方金信数亿元，共建大数据生态体系
近日，腾讯入资大数据领军企业北京东方金信科技有限公司数亿元；同时腾讯云宣布，与东方金信在大数据生态领域建立全面的战略合作伙伴关系。

2019-04-28 19:50:56

东方金信
爬取吴亦凡微博102118条转发数据，扒一扒流量的真假
Alfred又来搞事情了。我们通过微博移动端随机抓取了吴亦凡发布新歌《大碗宽面》的微博转发数据10万条(时间节点2019年4月20日01时)。该微博于2019年4月19日10时发布，到4月20日01时已被转发超过36万。

2019-04-28 14:24:54

吴亦凡流量数据
183条地铁线路，3034个地铁站，发现中国地铁名字的秘密
最近看了新周刊的一篇推送，有关地铁名字的分析。于是乎也想着自己去获取数据，然后进行分析一番。当然分析水平不可能和他们的相比，毕竟文笔摆在那里，也就那点水平。

2019-04-28 12:00:56

地铁数据代码
我们分析了复仇者联盟系列所有台词，看看英雄们都爱说什么？没有剧透！
复仇者系列火遍全球绝非意外，这部作品尽管出现了各种人物，而台词可以说是最能塑造人物性格的部分了。因此，文摘菌希望用数据分析的方式，看看漫威宇宙的英雄喜欢用的词汇可视化，并通过此分析他们的人物特点，向这部伟大的作品致敬。

2019-04-28 06:27:25

复仇者联盟数据分析可视化
百 PB 级 Hadoop 集群存储空间治理
现在这个世道，随便什么公司什么人都张嘴闭嘴大数据，连做个几十人的问卷都敢叫大数据调查分析。真是无知者无畏。

2019-04-26 15:38:34

Hadoop集群存储
数据工程师和数据科学家有什么不同
我们最近在Reddit上做了问答活动。有个最常见的问题是数据科学家和数据工程师之间的区别。因此，我们想在这个主题上下写一篇文章来深入探讨下这个话题。

2019-04-26 14:27:07

大数据数据科学数据工程师
“数据分析岗位”招聘情况分析！| Excel版
为了练习Excel技能，以及实践数据分析的流程。我用Web Scraper爬取了前程无忧4月16日全国发布的约2500条数据分析的职位信息，对数据分析岗位的招聘情况进行简单的分析。整个过程分为五个步骤：明确目的，观察数据，清洗数据，分析过程，得出结论。

2019-04-26 13:13:47

Excel数据分析招聘信息
4大数据分析要素 “套路”方法要学会！
要做一名优秀数据分析师，首先对数据分析岗位有基本的概念，其次，要明白数据分析中有哪些套路和方法，如此，才能举一反三，才能不同场景数据分析切换自如。下面我们高屋建瓴，抽茧剥丝般讲讲数据分析四大要素。

2019-04-25 14:20:56

数据分析套路工具
从主数据到大数据 企业数字化转型的必由之路
近年来，在很多行业和企业中，在讨论或谋求数字化转型升级，但是显得有些浮躁，潮流的概念也层出不穷，德国工业4.0、中国制造2025、数字化转型、两化融合等热词和口号喊的很多，但距离实际发展方向和目标感觉差的很远，其中原因我认为主要是数字化的基础没有打好。

2019-04-25 14:16:37

主数据工业4.0物联网
联通大数据赵越：大数据是“智能经济”时代的源动力
4月23日，2019上海5G创新发展峰会暨中国联通全球产业链合作伙伴大会在上海世博中心正式拉开帷幕。

2019-04-24 15:04:18

大数据上海智能经济
浅谈大数据开发工程师的两年工作经验总结
今天呢，博主主要回顾这两年来，在大数据行业公司从事大数据类的前端开发的工作。最近刚刚换了一份工作，把我的经验稍作总结分享给大家，有什么建议大家在评论区踊跃。 谢谢。

2019-04-24 13:28:17

大数据大数据开发可视化
大数据：学Hadoop好还是Spark好？
相信看这篇文章的你们，都和我一样对Hadoop和Apache Spark的选择有一定的疑惑，今天查了不少资料，我们就来谈谈这两种 平台的比较与选择吧，看看对于工作和发展，到底哪个更好。

2019-04-24 13:07:16

HadoopSpark分布式架构
数据分析师、大数据开发、Hadoop开发工程师等各路人才薪资怎么样？
根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

2019-04-24 12:45:00

大数据就业平均工资
适用于物联网应用的强大数据可视化工具
在这篇文章里，我将介绍一些用于物联网应用程序数据可视化的最强大的工具，并讨论选择相关的选择标准。

2019-04-23 15:54:04

物联网数据可视化IOT
Hadoop大数据分析平台的介绍性讨论
Hadoop是迄今为止MapReduce最主流的执行，是一个完全开源的平台，用于处理大数据。它具有足够的适应性，能够同时处理各种数据源，或者汇集不同的信息源(记住进行大规模处理的最终目标)或者从数据库中读取数据以便运行处理器 - 学习机器学习的工作。

2019-04-23 15:35:53

Hadoop大数据数据处理
大数据应用案例：Dealer Tire通过大数据预测消费者何时需要轮胎
利用大量交易数据和别的数据来增加收入的策略比比皆是。为了实现这些大数据目标，各大公司正在投资分析项目，这些项目的核心工具包括可以清理、组织和对数据进行建模的软件，以培养业务洞察力。IDC的市场调研称，大数据和商业分析软件在全球的收入将在2022年达到2,600亿美元，从2017年到2022年的复合年增长率为12%。

2019-04-23 11:38:30

数据科学Dealer Tire轮胎
强推！十大顶级大数据可视化工具
要使数据分析真正有价值和有洞察力，就需要高质量的可视化工具。市场上有很多产品，特点和价格各不相同，本文列出了一些广泛认可的工具。

2019-04-23 08:00:25

大数据可视化工具数据分析
大数据开发：剖析Hadoop和Spark的Shuffle过程差异
本文旨在剖析Hadoop和Spark的Shuffle过程，并对比两者Shuffle的差异。Shuffle描述的是数据从Map端到Reduce端的过程，大致分为排序(sort)、溢写(spill)、合并(merge)、拉取拷贝(Copy)、合并排序(merge sort)这几个过程。

2019-04-22 15:24:24

HadoopSuffleMap端
你应该知道的HBase基础，都在这儿了
2006 年10 月Google 发布三架马车之一的《Bigtable：A Distributed Storage System for Strctured Data》论文之后，Powerset 公司就宣布 HBase 在 Hadoop 项目中成立，作为子项目存在。今天，蚂蚁金服的南俊从基础开始讲起，希望有助于增强大家在实际业务中对 HBase 的理解。

2019-04-22 14:12:12

HBase集群Google
企业如何实现对工业大数据的预处理？
数据分析，包括大数据分析，在企业的业务中，特别是在传统的商务行业，已有多年的应用实践，在消费者市场的营销中已成了必不可缺的技术。随着工业互联网和智能制造的兴起和发展，工业大数据技术也越来越受到各方关注。

2019-04-19 15:00:29

工业大数据数据分析企业
大数据行业步入快车道？忽视了它最终要被大浪淘沙
Gartner一份分析报告指出：使用先进的大数据分析系统的企业将比未使用的企业盈利能力高出20%，更多的企业开始将大数据分析作为公司盈利能力增强的潜在手段而进行摸索。

2019-04-19 14:28:16

大数据数据分析数据科学
大数据应成为大学课程的重中之重
随着技术的进步，越来越多的公司正在生产大量数据，作为其日常运营的副产品。虽然专家并不认为“大多数企业实际上已经淹没”数据海洋，但可以说，想要长期未来的公司最好开始认真对待大数据。

2019-04-19 14:09:36

大数据数据科学教育
大规模集群下的Hadoop NameNode
本文我们来看看，如果大量客户端对NameNode发起高并发(比如每秒上千次)访问来修改元数据，此时NameNode该如何抗住?

2019-04-18 11:37:49

NameNodeHDFS架构
大数据生态系统入门必看：Pig、Hive、Hadoop、Storm等白话诠释
大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。

2019-04-18 10:30:50

大数据Hadoop数据分析
医疗大数据：如何实现商业化变现？
医疗大数据的火，早在2018年已有据可循，截止去年12月医疗大数据赛道，累积有600+创业公司，193个融资项目，230+家投资机构争相入场，创与投量级增长背后是全行业的蓄势待发。

2019-04-18 09:04:32

医疗大数据AI医疗大数据
一篇文章看懂 Spark RDD
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。它产生于 UC Berkeley AMP Lab，继承了 MapReduce 的优点，但是不同于 MapReduce 的是，Spark 可以将结果保存在内存中，一直迭代计算下去，除非遇到 shuffle 。

2019-04-17 15:16:00

Sparkshuffle算法
从源码解密Spark内存管理
我们都知道spark之所以比mapreduce计算的快，是因为他是基于内存的，不用每次计算完都写磁盘，再读取出来进行下一次计算，spark直接把内存作为数据的临时储存介质。所以mapreduce就没有强调内存管理，而spark需要管理内存。

2019-04-17 14:44:42

Spark内存源码
大数据告诉你，996戳中了谁又戳痛了谁？
“工作996，生病ICU”，一句原本程序员之间的自嘲，在最近一个月却突然引起全社会的关注。先来看看近一个月“996工作制”在网络上的热度走势。

2019-04-17 14:36:38

大数据工作996制员工
DaaS能否帮助企业从数据湖中获益？
数据即服务(DaaS)从2015年开始被使用，是一项较新的技术。它通过各种API将数据按需交付给消费者，以避免需要获取和存储大型数据资产，然后在数据资产中搜索所需信息。

2019-04-17 09:10:00

DaaS数据湖云计算
如何11步转行数据科学家 (适用数据员/ MIS / BI分析师)
我经常遇到一些优秀的商业智能分析师 (BI)，寻求获得自己人生的第一个数据科学角色。但他们常常因缺乏机会而沮丧。他们中很多人感觉自己的角色是重复的，或者只需要扮演好被要求的角色。

2019-04-16 15:06:41

数据科学职业BI
大数据开发和大数据分析有什么不同？
大数据分析工程师和大数据开发工程师分别能做什么?非要把他俩分开的话，一个是偏向于数据，一个偏向于工程。好比要炒个菜，工程师是烧火、颠勺的那个，偏向于工具的使用。分析师是放调料、掌握火候的那个，偏向菜怎么做好吃。

2019-04-15 15:32:12

大数据开发数据分析数据科学
大数据改变了网络主机市场的两端
大数据已经改变了网络主机市场的两端。文中将讨论这一点的重要性以及应该了解的内容。云计算技术对网络托管行业产生了深远的影响。它主要是由大数据的进步推动的。由于大数据已经彻底改变了网络托管行业，因此有大量新的托管选项可供选择。

2019-04-15 15:13:00

大数据网络托管网络主机
数据分析与可视化：谁是安全圈的吃鸡第一人
安全圈的黑阔大佬们，在不开挂的情况下，谁会是他们之中技术最好的呢？带着这样的疑问，作者试着从数据分析的角度来看看谁会是安全圈的吃鸡第一人。

2019-04-15 14:15:59

web安全数据分析可视化
上一页 1 ··· 8485868788 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服