51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
这才是数据分析项目失败的主要原因
今天我们先不谈“为啥每天瞎忙没项目做”的问题，就谈“为啥已经开工的项目会失败”。因为认真梳理下会发现，至少四分之三的数据分析项目失败，和这个事有关。

2023-01-14 17:45:28

数据分析项目
多云数据库深入探讨 译文
由于企业需要存储和访问的数据量不断增长，多云数据库越来越受欢迎，因为它可以融合公共云和私有云的优势。但是，如何选择最合适的多云数据库呢？我们将在这篇博文中讨论众多解决方案的优缺点。

2023-01-12 17:18:06

数据库多云
数据分析师 PK 运营，不再被追着要数！
数据分析之所以做了没屁用，80%是脱离实际，闭门造车的结果。脱离实际，闭门造车的根源，在于做数据的人太沉迷于数据本身，忘了真正要干啥。

2023-01-12 12:50:07

数据分析师运营，场景
传统数仓的三大缺陷，一篇梳理清楚
使用Hive作为数仓，受限于HDFS的性能瓶颈，Hive的查询速度比较慢，难以支撑低延迟场景，无法应用在实时计算的场景中。

2023-01-11 18:23:38

传统数仓Hadoop数仓技术
2023年与企业发展相关的14项数据领域的预测
由于在完成这一使命过程中数据发挥着关键作用，一些优秀的行业专家和供应商就未来几个月数据领域如何发展分享了自己的预测。

2023-01-11 14:20:50

企业发展数据领域
把握数据治理三大趋势，做强做优做大我国数字经济
在数字经济时代，数据既是新动力，也是新生产要素。党的十九届四中全会要求“健全劳动、资本、土地、知识、技术、管理、数据等生产要素由市场评价贡献、按贡献决定报酬的机制”，首次提出将“数据”作为生产要素参与分配。

2023-01-11 13:26:07

数据治理数据安全数字经济
大数据和物联网如何互助
我们已经开始看到数据分析和物联网在使用专业技术和技术高效分析大量数据方面的巨大影响。在收集和分析数据方面，物联网和大数据集成似乎是前进的方向。

2023-01-11 12:29:15

大数据物联网
五种加速云数据仓库迁移的方法
您可能决定集成业务目录或数据质量工作流等功能。确保您已经投资了具有灵活性的工具或服务，以处理您独特且不断变化的环境。通过严格的自动化，可以节省数百个小时，但是当他们需要解决边缘情况时，可以节省这些时间。

2023-01-11 10:29:26

数据仓库迁移
为啥集群小文件治理那么重要，你真的懂吗？
小文件对于计算的影响就是需要大量节点之间频繁建立联系，数据传输等，浪费资源，消耗时间长。其次小文件相关大量的任务初始化时间甚至比计算时间还长，造成计算资源的使用浪费，降低集群的吞吐量。​

2023-01-11 09:01:00

集群小文件存储
大数据如何成功实施三个V
当企业开始其大数据之旅时，利用数量、速度和多样性来更好地理解潜力，但不要忘记价值、有效性和活力，因为它与成功的执行有关。

2023-01-10 14:29:34

大数据数据仓库
这个简单的行业分析套路，服了服了
做分析，罗列事实和数字仅仅是第一步。如何基于数字和事实做判断更重要。做行业分析，要先清晰对象：一个行业的新玩家/老玩家，需要关注的是不同的。

2023-01-10 11:29:34

行业分析套路
​字节跳动埋点成本治理实践
埋点数据是用户在使用产品过程中产生的一系列行为日志，比如用户使用抖音过程中点击、滑动等操作。对了解用户、优化业务来说，用户行为日志是非常重要的数据来源。

2023-01-10 09:08:53

埋点数据数据处理
大数据架构师一定要弄清楚Fair Scheduler和Capacity Scheduler
如果是中小型集群，上千节点以内，资源比较紧张，建议使用Fair Scheduler,配置简单，对资源的使用效率也高。相比Fair Scheduler更加灵活，允许作业使用群集中未使用的资源。它通过基于定义的权重来给任务的公平抢占和稳定提供保证。对于中小型集群，这是一个很好的默认设置。

2023-01-09 08:38:22

大数据架构师YARN
我搭建了一个强大的数据预警模型
数据预警的错误做法，当然是指望一个神威无敌大将军模型，能把所有指标100%预测准确。实际影响指标的因素太多，且外部环境压力，内部主动行为，都很难量化。因此完全把宝赌在靠着极其有限的几个数预测的模型，完全不靠谱。

2023-01-08 21:05:45

数据预警模型
大数据在未来破产程序中如何发挥关键作用
关于大数据在金融中的作用的大部分讨论都围绕着保险行业的精算模型，以及将数据分析和机器学习用于股市预测。

2023-01-06 16:38:02

大数据
还在用 Zookeeper 作为注册中心？小心坑死你！
在 Zookeeper 中，进行服务注册，实际上就是在 Zookeeper 中创建了一个 znode 节点，该节点存储了该服务的 IP、端口、调用方式(协议、序列化方式)等。

2023-01-05 07:55:59

Zookeeper服务注册
你见过这样精准的预测模型吗？
预售、团购、饥饿营销、订金膨胀、缺货登记……所有的业务手段，需要的不但是运营能力，更需要系统建设支持。显然，对业务来说，比起搞这些系统建设和复杂的运营手段，还是直接甩锅给“模型预测不准”更轻松。因此你要是直接问业务预测需求，他们都会倾向于“不高不低刚刚好”的赌命式预测。

2023-01-04 11:35:21

预测模型预售
2023展望：大数据会更加繁荣
大数据是数字化转型和人工智能的基石。对于未来大数据发展趋势。2023将近，众多专业人士发表了自己对大数据前景的观点和态度。

2023-01-04 11:34:19

大数据数字化转型人工智能
数据治理之参考数据与主数据管理
主数据管理和参考数据管理，是我们眼前大型企业必备核心数据治理工作。

2023-01-04 09:54:02

数据治理
2022年第十七届中国企业年终评选榜单揭晓：亿万克分布式存储在大型数据仓库的解决方案荣获2022年度 IT行业优秀解决方案奖 原创
截止到2022年12月28日，激扬创新动能，掘金数字时代｜2022年第十七届中国企业年终评选榜单正式揭晓。亿万克分布式存储在大型数据仓库的解决方案凭借其良好的扩展能力、高可靠性及数据安全性，荣获2022年度 IT行业优秀解决方案奖。

2023-01-04 09:44:26

解决方案数据安全
网易邮箱数仓演进之路
展望未来，邮箱业务会持续发展，甚至会尝试突破业务的领域边界。预计会有更多针对特定领域的数据应用出现。这些应用实际上是把调用数仓算力的门槛降低了，会给数据支撑工作带来更大的压力。

2023-01-03 17:43:39

网易邮箱数仓
基于沉淀数据的尾部流量建模方法
在当前的市场情况下，市场上的机构都面临着信贷市场的规模增长开始进入存量阶段，流量的价格日益昂贵的问题。

2023-01-03 14:10:32

沉淀数据大数据
数据又双叒叕波动了？五步法，准确识别数据异常波动
“对数据进行监控，分析指标异动原因”是数据分析常见工作内容。这个需求看似简单，可实际做起来却让很多同学很困惑：到底指标波动多大算大？为啥有时候看起来没多大波动，业务却很紧张问原因，有时候波动很大业务又不着急呢？

2023-01-03 11:34:08

数据异常波动
​图表示学习技术在药物推荐系统中的应用
如果能够利用大数据人工智能技术，充分挖掘此信息并提取相关知识，则有可能帮助我们理解这些高水平机构中医疗专家的一些诊疗方式和思想，进而支撑智慧复诊、医疗影像分析、慢性病随访等一系列的下游智慧医疗的应用，这些具有显著的意义。

2022-12-30 15:35:30

智慧医疗人工智能
Pandas处理大数据的性能优化技巧
Pandas是Python中最著名的数据分析工具。在处理数据集时，每个人都会使用到它。但是随着数据大小的增加，执行某些操作的某些方法会比其他方法花费更长的时间。

2022-12-30 15:29:35

数据分析工具Pandas
金融数据治理实践与思考
在这几年的金融行业的数据治理过程中，有哪些具体的实践？为了帮助大家解决这些困扰，本文将对金融数据治理的实践与思考，做一个梳理和总结。

2022-12-30 15:27:13

金融行业数据治理
数据中心的计算和存储要「分家」？
到底为什么需要Diskless架构？Diskless架构能发挥怎样的优势？

2022-12-30 14:47:36

数据中心架构
数据中台项目管理实践分享
本文总结了企业级数据中台项目的实践经验，希望能够为正在规划或者已在实施数据中台类项目的企业和个人提供经验。

2022-12-30 11:46:00

数据中台
人货匹配模型搞懂没？大家都在讨论它
所谓电子商务，还是商务，本质上运作的逻辑是一样的。不同的是，互联网上用户行为能留下充分的数据记录，因此能进行相对准确的分析。再也不用像传统门店那样，靠研究人员现场肉眼观察消费动线了。

2022-12-29 11:45:52

人货匹配模型电子商务
ClickHouse与Hive的区别，终于有人讲明白了
ClickHouse目的在于压榨单机性能，并没有真正的分布式表，数据都在本地，这也使得ClickHouse不需要复杂的调度，直接在本机执行SQL即可。而Hive的数据都在HDFS上，在真正任务前需要依据数据分布确定更复杂的物理计划，然后将Spark程序调度到对应的Data Node上，调度的过程非常消耗时间。

2022-12-28 18:31:43

Hive性能分布式表
我不建议你抄大厂的用户画像，为什么？
从本质上看，对非互联网大厂而言，想靠一己之力收集全量用户信息是不可能的，也不能吃透这些互联网平台的广告规则与收费机制。因此对抗外部信息不足的办法，是做好内部管控，在内部对自己家的产品/内容/运营能力做好盘点，从而有充足的准备应对外部挑战。

2022-12-28 11:44:19

用户画像互联网用户信息
从数据到见解：商业智能(BI)如何改变医疗服务？
数据分析为医疗保健业务带来了巨大的好处，包括降低治疗成本、预测疾病爆发和提高患者生活质量的能力。

2022-12-26 15:48:41

数据分析医疗保健
Cloudera：十大安全实践为云数据湖仓安全保驾护航
数据湖仓的架构设计包含一个复杂的组件生态系统，其中每个组件都是一条可以使用数据的潜在路径。从规避风险的角度而言，有的企业可能不愿将生态系统迁移到云端，但经过多年的发展，云数据湖仓已经变得更加安全、合理，相比本地数据湖仓具有明显的优势。

2022-12-26 15:20:16

数据湖仓Cloudera
数据孤岛是业务效率的无声杀手
打破数据孤岛是改进组织数据管理和实现数据有效利用以实现业务目的的重要一步。组织可以使用多种策略来打破数据孤岛并促进跨部门和团队共享和使用数据。

2022-12-26 15:04:44

数据孤岛数据管理
图像处理工具Python扩展库，你了解吗？
opencv 是一个非常流行的数据可视化图形库，它底层使用 c++进行开发，拥有非常高效的执行效率。

2022-12-26 00:43:26

python扩展库可视化
求职数据分析，项目经验该怎么写
首先得正本清源：什么是项目？答：项目是在特定时间内，集合特定资源，为达成特定目标所做的工作。简而言之一句话：项目不是临时性工作，是特事特办。

2022-12-26 00:00:03

求职数据分析项目
在OKR中，我看到了数据驱动业务的未来
数字化时代，新商业模式、新技术应用，都需要大量技术手段运营，需要试点，不再是拉横幅、喊口号、打鸡血能解决问题的了。因此可以期待，在未来，OKR方法能更深入地使用，能真正带来数据驱动。​

2022-12-26 00:00:02

数据驱动业务
2023展望：新的一年将给大数据分析领域带来什么？
数据仓库一直很受欢迎，尤其是在云端。但SAS执行副总裁兼首席信息官Jay Upchurch表示，预计2023年将有更多客户从传统数据仓库转向实时数据存储和分析。

2022-12-25 15:33:36

数据分析数据仓库数据存储
阿里云ADB基于Hudi构建Lakehouse的实践
今天非常高兴能够借这个机会和大家分享下阿里云 ADB 基于 Apache Hudi 构建 Lakehouse 的应用与实践。

2022-12-23 16:52:22

Lakehouse数据湖
火山引擎云原生大数据在金融行业的实践
大数据架构向云原生演进是行业的重要趋势，火山引擎协助关键金融客户在大数据云原生方向进行了深度实践，形成了整体解决方案，本文将分享火山引擎云原生大数据在金融行业的实践。

2022-12-23 09:29:52

大数据
《数据成熟度指数》报告：64%的企业领袖认为大多数员工“不懂数据”
来自世界各地的数百位行业领袖接受了“关于数据在其组织中的作用”的调查和采访，64%的受访者表示员工对数据缺乏理解。

2022-12-22 14:32:41

大数据
肯睿中国（Cloudera）：2023年企业数字战略三大趋势预测
随着越来越多的行业在数字化方面趋于成熟并广泛采用这些技术，2023年将成为企业寻求跨业务职能部署新兴技术解决方案的关键一年。以下列举了在未来一年中可能主导业务重心的三大关键趋势。

2022-12-21 14:22:15

ClouderaCDP
大数据在医疗保健领域的使用案例
使用大数据分析技术促进健康，帮助医疗干预和管理至关重要。大数据分析可以增强患者体验、提高效率、降低费用并提高服务质量。

2022-12-21 09:48:12

大数据
夯实数据智能底座 共筑数字经济发展“新基石” 原创
12月15日，在第三届银行业数字化创新（中国）峰会上，中电金信“源启数据资产平台”正式发布。该平台是中国电子金融级数字底座“源启”的重要组成，基于DataOps和DataFabric理念，以数据资产积累和数据价值创造为目标，利用大数据技术、AI技术以及数据安全技术，打造集数据管控平台、数据中台和AI平台为一体的数据智能底座。

2022-12-19 10:35:57

中电金信数据智能
2022 Gartner全球云数据库管理系统魔力象限发布 腾讯云数据库入选
12月16日，在刚刚发布的 Gartner® 2022年度《云数据库管理系统魔力象限》研究报告中，腾讯云数据库进入特定领域者（Niche Players）象限。

2022-12-16 17:56:34

Gartner腾讯云数据库
场景化、重实操，分享一个实时数仓实践案例
本文将从一个实际业务场景和一个模拟数仓构建的案例来说明如何利用 EasyData 实时开发平台来建设实时数仓。

2022-12-15 17:50:14

场景化重实操实时数仓
Denodo预测2023年数据管理和分析的未来
我们可以看到，在与数据管理基础设施和架构相关的领域内出现了很多创新。以下是Denodo认为将在 2023 年产生最大影响的五大趋势，这些趋势与数据和分析有关。

2022-12-14 15:53:22

数据管理数据分析
利用数据推动可持续发展
通过优先考虑数据驱动的可持续发展计划，企业可以领先于新的和不断变化的监管标准。

2022-12-14 15:37:23

大数据
七步走！做出高质量的数据分析项目
数据分析项目特别需要仪式感！因为数据分析成果很少能成为白花花的银子，等年底做总结的时候可能大家都忘得差不多了。因此一定要做足仪式。比如项目启动时和合作方一起开个会，开到中午大家一起大圆桌搓一顿。项目结束汇报时专门约上大老板，汇报完合影留念。

2022-12-14 14:13:01

数据分析项目
Arctic的湖仓一体践行之路
简单说，我们可以把数据湖当做一个存储各类结构化、半结构化和非结构化数据的池子，这个池子可以是私有化的 hadoop 集群，也可以是云端的对象存储，因为我们要存储体量非常大的原始数据和明细数据，这个池子的成本必须足够低，开启 EC 的 HDFS 或对象存储无疑是最佳选择。这个大需要多大？

2022-12-13 17:42:47

Arctic存储湖仓
上一页 1 ··· 2021222324 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服