鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 25年5月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

分布式

1388内容

关注

涵盖分布式相关研究热点、技术难点与应用场景。

文章博文课程

共 1388 条

Ceph运维告诉你分布式存储的那些“坑”

过去两年，我的主要工作都在Hadoop这个技术栈中，而最近有幸接触到了Ceph。我觉得这是一件很幸运的事，让我有机会体验另一种大型分布式存储解决方案，可以对比出HDFS与Ceph这两种几乎完全不同的存储系统分别有哪些优缺点、适合哪些场景。

2018-06-28 08:18:56

Ceph 运维存储

分布式之Redis数据库复习精讲

博主的《分布式之消息队列复习精讲》得到了大家的好评，内心诚惶诚恐，想着再出一篇关于复习精讲的文章。但是还是要说明一下，复习精讲的文章偏面试准备，真正在开发过程中，还是脚踏实地，一步一个脚印，不要投机取巧。

2018-06-26 18:10:43

分布式 Redis 数据库

虚拟化和分布式：云储存的手段与未来趋势

网络之于云存储是重要的，但其只是存储虚拟化的一个功能。存储虚拟化可以在系统架构的各个层实现，而在网络层可以做到横跨异构磁盘阵列，相当于在数据中心内部构建了一个大型的资源池。

2018-06-26 10:41:19

CIO 云储存虚拟化

【专题】挨踢部落坐诊第十七期：分布式事务处理及前后端分离部署问题原创

挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

2018-06-25 14:58:54

蚂蚁技术专家：一篇文章带你学习分布式事务

分布式事务是企业集成中的一个技术难点，也是每一个分布式系统架构中都会涉及到的一个东西，特别是在这几年越来越火的微服务架构中，几乎可以说是无法避免，本文就围绕分布式事务各方面与大家进行介绍。

2018-06-25 10:10:11

分布式事务 Transaction

虚拟化和分布式：云储存的手段与未来趋势

将存储资源虚拟化的概念由来已久。起初，云存储是为了解决存储的低成本、可扩展和资源池化，从而实现所谓的按需所取，涉及的技术不仅有虚拟化、分布式，还有网络与负载均衡等等。

2018-06-25 09:30:14

虚拟化分布式云储存

挨踢部落坐诊第十七期：分布式事务处理及前后端分离部署问题原创

挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

2018-06-22 16:12:53

分布式系统知识分享：正确理解CAP定理

CAP的理解我也看了很多书籍，也看了不少同行的博文，基本每个人的理解都不一样，而布鲁尔教授得定义又太过的简单，没有具体描述和场景案例分析。因此自己参考部分资料梳理了一篇与大家互相分享一下。

2018-06-20 10:42:47

分布式系统 CAP

从构建分布式秒杀系统聊聊限流特技

俗话说的好，冰冻三尺非一日之寒，滴水穿石非一日之功，罗马也不是一天就建成的。两周前秒杀案例初步成型，分享到了中国最大的同×××友网站-码云。同时也收到了不少小伙伴的建议和投诉。我从不认为分布式、集群、秒杀这些就应该是大厂的专利，在互联网的今天无论什么时候都要时刻武装自己，只有这样，也许你的春天就在明天。

2018-06-19 09:35:51

分布式系统限流

从构建分布式秒杀系统聊聊限流特技

俗话说的好，冰冻三尺非一日之寒，滴水穿石非一日之功，罗马也不是一天就建成的。两周前秒杀案例初步成型，分享到了中国最大的交友网站。同时也收到了不少小伙伴的建议和投诉。我从不认为分布式、集群、秒杀这些就应该是大厂的专利，在互联网的今天无论什么时候都要时刻武装自己，只有这样，也许你的春天就在明天。

2018-06-11 11:12:09

秒杀限流分布式

是时候把分布式存储系统的理论指导从CAP转到PACELC

CAP理论是当前分布式存储系统设计的理论指导，而PACELC理论是CAP理论的扩展，分布式存储系统设计的理论依据是时候从CAP理论扩展为PACELC理论。

2018-06-08 09:10:49

CAP ACELC 存储系统

Raft和Paxos在分布式存储系统中的应用差异

最新在看Group Replication(简称GR)的代码，从Codeship的Galera到MariaDB Galera Cluster/Percona XtrDB Cluster的多主集群技术，再到如今的GR; 分布式存储系统，尤其是分布式的RDBMS必然是未来的趋势。

2018-06-08 08:46:14

Raft Paxos 系统

Oracle 关系型分布式内存数据库

Oracle的内存TimesTen内存数据库为有高并发，低延时和高可用要求的关键业务系统提供了一个接近完美的解决方案：把数据放进内存，使用SQL简化开发，应用开发者可以更加专注在业务实现上而不用关心底层的内存分配。

2018-06-07 08:31:33

Oracle 分布式内存

如何打造一款NewSQL + MySQL的分布式数据库？

对分布式数据库感兴趣的朋友都知道，谷歌的F1和Spanner引领了 NewSQL 技术的发展，于是很多公司去做 NewSQL，导致好多人认为基于MySQL的分布式数据库过时了。其实不然，MySQL 并没有过时，本篇文章的主角 —— RadonDB ，就是把NewSQL领域比较流行的分布式一致性算法和MySQL结合起来，形成了新一代的分布式数据库MyNewSQL。

2018-06-05 14:21:33

NewSQL MySQL RadonDB

【经验帖】为什么分布式一定要有Redis?

考虑到绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知。

2018-06-05 09:14:42

Redis 分布式场景

大型分布式服务器架构原理解析

作为技术人员，我们都知道：几乎所有的项目，都是由简单到复杂，从单一服务器到集群服务器进行开发。但又有多少人知道这其中的技术原理呢？其实，这并不是那么深奥难懂。那么，就由码先生给您一一道来~

2018-05-31 09:27:38

服务器架构原理

分布式块存储的研发如何设计元数据服务？

一般来说，我们根据存储的访问接口以及应用场景，把分布式存储分为三种类型，包括分布式块存储，分布式文件存储，和分布式对象存储。

2018-05-31 08:57:59

分布式块存储元数据

深入浅出：大妈也能看懂的大数据分布式计算

本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从 MapReduce 分布式计算模型开始。

2018-05-30 09:27:15

大数据分布式计算

UCloud分布式数据库UDDB：技术实现

在此之前，我们介绍过UDDB的功能特性和产品理念，明确了产品的发展方向——基于数据库中间件来做公有云上的分布式数据库。在刚开始选择较为简单的工程实现复杂度，然后通过公有云这种互联网服务的快速迭代能力和在线服务能力，不断的提高对业务的支持度，从而覆盖更多的业务。

2018-05-25 13:12:10

UCloud 数据库 UDDB

分布式架构的基本思想汇总

关于分布式系统，并没有一个标准答案，说某某架构一定是最好的。不同的业务形态所面对的挑战不一样，使用的架构设计也不一样，通常都需要具体业务具体分析。但不管那种业务，不管何种分布式系统，有一些基本的思想还是相通的。本文将对这些基本思想进行一个梳理汇总。

2018-05-25 09:29:18

架构分布式架构系统分拆

看主流分布式存储Ceph如何与私有云领导者VMware碰撞

目前，互联网和物联网推动数据呈指数增长，每天增加百万兆字节的数据是很常见的，存储需要满足业务应用快速上线或者变更的需求。传统的解决方案面临着巨大的挑战，迫切需要一种能灵活扩展有合理成本简化运维管理等有效的方式，软件定义存储是解决这些问题的最好方案。

2018-05-25 08:56:35

存储 Ceph VMware

大妈也能看懂的大数据分布式计算图解

本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从MapReduce分布式计算模型开始。

2018-05-24 22:58:26

大数据分布式计算统计

华为云分布式缓存Redis服务助力企业数据处理加速

华为云分布式缓存Redis服务是兼容Redis的内存数据库服务，基于双机热备的高可用架构，提供单机、主从、集群等丰富类型的缓存类型，为用户提供高性能、高可用、可伸缩的数据缓存服务。

2018-05-24 13:51:04

你真的了解软件定义的分布式存储吗？

目前我们正处于一个新的时代，这个时代被赋予了许多标签：互联网+时代、云计算时代、大数据时代、人工智能时代。

2018-05-24 08:37:30

软件定义存储

Spring Cloud构建微服务架构：分布式配置中心（加密解密）

在微服务架构中，我们通常都会采用DevOps的组织方式来降低因团队间沟通造成的巨大成本，以加速微服务应用的交付能力。

2018-05-23 15:58:27

Spring Clou 微服务架构

手把手教你写网络爬虫（6）：分布式爬虫

对于分布式爬虫系统来说，假设1台机器能10天爬完一个任务，如果部署10台机器，那么1天就会完成这个任务。这样就用可以接受的成本，让系统的效率提高十倍。之前介绍的单机架构师达不到这种效果的，是时候介绍信的架构了！

2018-05-22 15:30:30

Python 网络爬虫分布式爬虫

如何优雅的解决分布式数据库的复杂故障

ACID是事务的四个特性，其中D(Duration)就是讲的持久性，数据库的一大价值就在于可以有效处理的故障，保证数据不会丢失。随着分布式数据库的发展，部署的复杂度上升，数据库面临的故障场景也越来越多。

2018-05-21 14:31:44

分布式数据库故障

基于UAI Train平台的分布式训练

在大型数据集上进行训练的现代神经网络架构可以跨广泛的多种领域获取可观的结果，领域涵盖从图像识别、自然语言处理，到欺诈检测和推荐系统等各个方面。但是训练这些神经网络模型需要大量浮点计算能力。

2018-05-19 00:26:13

UAI Train 分布式训练

分布式之数据库和缓存双写一致性方案解析

首先，缓存由于其高并发和高性能的特性，已经在项目中被广泛使用。在读取缓存方面，大家没啥疑问，都是按照下图的流程来进行业务操作。

2018-05-16 16:10:28

数据库缓存 MySQL

【DTCC 2018】为云而生！解密华为 Cloud Native 分布式数据库

5月11日，第九届中国数据库技术大会（DTCC 2018）在北京国际会议中心如火如荼的进行。作为国内数据库领域规模最大、最受欢迎的技术交流盛会，本次大会聚集众多顶尖专家，共同探讨了互联网、金融、教育等行业领先的数据库技术与未来趋势。

2018-05-11 17:43:40

一文秒懂分布式架构下的“负载均衡”

在网站创立初期，我们一般都使用单台机器提供集中式服务，但随着业务量越来越大，无论性能还是稳定性上都有了更大的挑战。这时候我们就会想到通过扩容的方式来提供更好的服务。

2018-05-10 10:53:47

分布式架构负载均衡 Web

spark 自己的分布式存储系统 - BlockManager

BlockManager 是 spark 中至关重要的一个组件，在 spark的的运行过程中到处都有 BlockManager 的身影，只有搞清楚 BlockManager 的原理和机制，你才能更加深入的理解 spark。今天我们来揭开 BlockaManager 的底层原理和设计思路，

2018-05-10 09:34:21

spark 存储系统

手把手教你搭建一个基于Java的分布式爬虫系统原创

在不用爬虫框架的情况下，我经过多方学习，尝试实现了一个分布式爬虫系统，并且可以将数据保存到不同地方，类似 MySQL、HBase 等。

2018-05-09 09:44:51

Java 分布式系统

设计建设分布式存储集群，集群网络该如何规划？

按照分布式存储的范式，存储系统的管理和业务分属两个网段，互相独立，互不影响，数据传输只在业务网段上进行，管理与业务通过服务器通信，无法通过网络互访。

2018-05-08 08:57:36

分布式存储集群

用Python写一个小白也能懂的分布式知乎爬虫

很早就有采集知乎用户数据的想法，要实现这个想法，需要写一个网络爬虫(Web Spider)。因为在学习 python，正好 python 写爬虫也是极好的选择，于是就写了一个基于 python 的网络爬虫。

2018-05-07 15:15:26

服务器爬虫数据

爆料华为云Cloud Native分布式数据库和高性能数据库技术内幕

伴随着云时代的发展，数据库的故事仍然在继续。无论是商业版 Oracle 还是开源社区版MySQL，数据库技术从烟囱式发展到联邦式，再演进到分布式，上云方式也从 DIY（Do It Yourself）上云、服务化上云到云原生设计。

2018-05-07 13:52:37

分离式or超融合，分布式存储建设时应该采用何种部署模式？

数据中心内部系统的核心要求是“稳定可靠”，一是指系统在运行过程中有能力提供连续可靠的服务，长时间无故障运行；二是指当故障发生之后，有能力快速定位，及时排查，故障范围不蔓延。

2018-05-07 09:34:39

分离式超融合存储

从NoSQL到NewSQL，谈交易型分布式数据库建设要点

在上一篇文章《从架构特点到功能缺陷，重新认识分析型分布式数据库》中，我们完成了对不同“分布式数据库”的横向分析，本文我将讲述拆解的第二部分，会结合NoSQL与NewSQL的差异，从纵向来谈谈OLTP场景“分布式数据库”实现方案的关键技术要点。

2018-05-07 09:30:41

数据库 NoSQL NewSQL

从架构特点到功能缺陷，带你重新认识分析型分布式数据库

本文会将OLAP类场景的分布式数据也纳入进来，从两个维度对“分布式数据库”进行拆解，第一部分会横向谈谈不同的“分布式数据库”，把它们分为五类并对其中OLAP场景的三类做概要分析；第二部分结合NoSQL与NewSQL的差异，纵向来谈谈OLTP场景“分布式数据库”实现方案的关键技术要点。

2018-05-07 08:55:26

数据库分布式数据库架构特点

飞鱼星分布式智组网方案上市 Mesh技术进入企业

无线对于时下的企业办公来说，其普遍性和重要性已无需多言。企业搭建无线网络的方式有很多种。通常来说微型、小型办公室用一台企业级无线路由器(比如飞鱼星VW1200或VW1900)即可完成办公区域无线覆盖。

2018-05-04 15:08:30

无线网络分布式智组网方案无线办公

什么是区块链——区块链的分布式数据库、共识机制

从狭义上来说，区块链就是一种分布式的数据库，数据结构上就是按时间顺序将数据区块相连的一条链表，链上的每个节点就是一个区块，区块一般通过二叉树(如Merkle Tree)将每笔交易数据打包在一起，形成一个汇总的哈希值，再加上时间戳，就是一个区块的唯一标识。

2018-05-03 20:55:47

区块链分布式数据库

华为发布新一代企业级分布式数据仓库FusionInsight LibrA

在华为全球金融峰会上，华为发布了新一代企业级分布式数据仓库FusionInsight LibrA 解决方案，旨在为各行业客户提供统一的、可扩展的、高性能的数据分析平台。LibrA支持全并行计算、行列混存、向量化执行、弹性伸缩资源等技术，实现万亿数据关联分析秒级响应和全文检索，从而帮助客户快速分析、挖掘数据价值。

2018-04-26 18:23:37

大家都在说的分布式系统到底是什么？

本文主要简单介绍了分布式系统的概念、分布式系统的特点、常用的分布式方案以及分布式和集群的区别等。这是我博客中之前发过的一篇文章，关于分布式的问题最近准备再扩展一些文章，遂把一些基础文章在公众号再发一遍，给没看过的朋友看一下。

2018-04-26 11:05:55

分布式系统集中式系统数据处理

聊一聊如何运维分布式存储

在面对分布式存储的时候，分为两种角度，一种是客户侧，一种是运维侧，客户是上帝，所以不谈上帝的操作，专注于运维侧的系统构建。

2018-04-25 09:01:02

运维分布式存储

深度解读！时序数据库HiTSDB：分布式流式聚合引擎

HiTSDB时序数据库引擎在服务于阿里巴巴集团内的客户时，根据集团业务特性做了很多针对性的优化。然而在HiTSDB云产品的打磨过程中逐渐发现，很多针对性的优化很难在公有云上针对特定用户去实施。

2018-04-19 14:47:19

时序数据库 HiTSDB

3/N层架构、“框架＋插件”架构、地域分布式架构

凡是个程序员都能侃侃而谈3/N层架构，这确实是解决系统复杂性的一种主流模式，但是，只要采用了3/N层架构是不是就一定能解决系统的复杂性了？不一定，关键在于你在你的系统中如何实作你的3/N层结构。

2018-04-19 10:46:39

Spring Cloud构建微服务架构：分布式服务跟踪（抽样收集）

通过Trace ID和Span ID已经实现了对分布式系统中的请求跟踪，而这些记录的跟踪信息最终会被分析系统收集起来，并用来实现对分布式系统的监控和分析功能，比如：预警延迟过长的请求链路、查询请求链路的调用明细等。

2018-04-18 16:07:49

Spring Clou 微服务分布式

Spring Cloud构建微服务架构：分布式服务跟踪（收集原理）

我们介绍一下关于Zipkin收集跟踪信息的过程细节，以帮助我们更好地理解Sleuth生产跟踪信息以及输出跟踪信息的整体过程和工作原理。

2018-04-16 14:56:56

微服务架构分布式服务

分布式存储与传统SAN、NAS相比，有什么优势与劣势？

受限于前端控制器的对外服务能力，纵向扩展磁盘数量无法有效提升存储设备对外提供服务的能力。同时，前端控制器横向扩展能力非常有限，业界最多仅能实现几个控制器的横向。因此，前端控制器成为整个存储性能的瓶颈。

2018-04-13 09:01:58

分布式一致性算法：可能比你想象得更复杂

RAFT是个分布式的一致性算法，相比复杂难懂的Paxos， RAFT在可理解，可实现性上做了很大的改进。你这里的‘老大’，RAFT算法叫做Leader， ‘小弟’叫做Follower，不过人家对日志的复制，以及如何确保数据的一致性有着非常详细的规定。 ”

2018-04-10 16:24:03

算法分布式一致性

上一页 1 ··· 15 16 17 18 19 ··· 28 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营