鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 25年5月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

分布式

1379内容

关注

涵盖分布式相关研究热点、技术难点与应用场景。

文章博文课程

共 1379 条

从构建分布式秒杀系统聊聊限流特技

俗话说的好，冰冻三尺非一日之寒，滴水穿石非一日之功，罗马也不是一天就建成的。两周前秒杀案例初步成型，分享到了中国最大的交友网站。同时也收到了不少小伙伴的建议和投诉。我从不认为分布式、集群、秒杀这些就应该是大厂的专利，在互联网的今天无论什么时候都要时刻武装自己，只有这样，也许你的春天就在明天。

2018-06-11 11:12:09

秒杀限流分布式

是时候把分布式存储系统的理论指导从CAP转到PACELC

CAP理论是当前分布式存储系统设计的理论指导，而PACELC理论是CAP理论的扩展，分布式存储系统设计的理论依据是时候从CAP理论扩展为PACELC理论。

2018-06-08 09:10:49

CAP ACELC 存储系统

Raft和Paxos在分布式存储系统中的应用差异

最新在看Group Replication(简称GR)的代码，从Codeship的Galera到MariaDB Galera Cluster/Percona XtrDB Cluster的多主集群技术，再到如今的GR; 分布式存储系统，尤其是分布式的RDBMS必然是未来的趋势。

2018-06-08 08:46:14

Raft Paxos 系统

Oracle 关系型分布式内存数据库

Oracle的内存TimesTen内存数据库为有高并发，低延时和高可用要求的关键业务系统提供了一个接近完美的解决方案：把数据放进内存，使用SQL简化开发，应用开发者可以更加专注在业务实现上而不用关心底层的内存分配。

2018-06-07 08:31:33

Oracle 分布式内存

如何打造一款NewSQL + MySQL的分布式数据库？

对分布式数据库感兴趣的朋友都知道，谷歌的F1和Spanner引领了 NewSQL 技术的发展，于是很多公司去做 NewSQL，导致好多人认为基于MySQL的分布式数据库过时了。其实不然，MySQL 并没有过时，本篇文章的主角 —— RadonDB ，就是把NewSQL领域比较流行的分布式一致性算法和MySQL结合起来，形成了新一代的分布式数据库MyNewSQL。

2018-06-05 14:21:33

NewSQL MySQL RadonDB

【经验帖】为什么分布式一定要有Redis?

考虑到绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知。

2018-06-05 09:14:42

Redis 分布式场景

大型分布式服务器架构原理解析

作为技术人员，我们都知道：几乎所有的项目，都是由简单到复杂，从单一服务器到集群服务器进行开发。但又有多少人知道这其中的技术原理呢？其实，这并不是那么深奥难懂。那么，就由码先生给您一一道来~

2018-05-31 09:27:38

服务器架构原理

分布式块存储的研发如何设计元数据服务？

一般来说，我们根据存储的访问接口以及应用场景，把分布式存储分为三种类型，包括分布式块存储，分布式文件存储，和分布式对象存储。

2018-05-31 08:57:59

分布式块存储元数据

深入浅出：大妈也能看懂的大数据分布式计算

本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从 MapReduce 分布式计算模型开始。

2018-05-30 09:27:15

大数据分布式计算

UCloud分布式数据库UDDB：技术实现

在此之前，我们介绍过UDDB的功能特性和产品理念，明确了产品的发展方向——基于数据库中间件来做公有云上的分布式数据库。在刚开始选择较为简单的工程实现复杂度，然后通过公有云这种互联网服务的快速迭代能力和在线服务能力，不断的提高对业务的支持度，从而覆盖更多的业务。

2018-05-25 13:12:10

UCloud 数据库 UDDB

分布式架构的基本思想汇总

关于分布式系统，并没有一个标准答案，说某某架构一定是最好的。不同的业务形态所面对的挑战不一样，使用的架构设计也不一样，通常都需要具体业务具体分析。但不管那种业务，不管何种分布式系统，有一些基本的思想还是相通的。本文将对这些基本思想进行一个梳理汇总。

2018-05-25 09:29:18

架构分布式架构系统分拆

看主流分布式存储Ceph如何与私有云领导者VMware碰撞

目前，互联网和物联网推动数据呈指数增长，每天增加百万兆字节的数据是很常见的，存储需要满足业务应用快速上线或者变更的需求。传统的解决方案面临着巨大的挑战，迫切需要一种能灵活扩展有合理成本简化运维管理等有效的方式，软件定义存储是解决这些问题的最好方案。

2018-05-25 08:56:35

存储 Ceph VMware

大妈也能看懂的大数据分布式计算图解

本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从MapReduce分布式计算模型开始。

2018-05-24 22:58:26

大数据分布式计算统计

华为云分布式缓存Redis服务助力企业数据处理加速

华为云分布式缓存Redis服务是兼容Redis的内存数据库服务，基于双机热备的高可用架构，提供单机、主从、集群等丰富类型的缓存类型，为用户提供高性能、高可用、可伸缩的数据缓存服务。

2018-05-24 13:51:04

你真的了解软件定义的分布式存储吗？

目前我们正处于一个新的时代，这个时代被赋予了许多标签：互联网+时代、云计算时代、大数据时代、人工智能时代。

2018-05-24 08:37:30

软件定义存储

Spring Cloud构建微服务架构：分布式配置中心（加密解密）

在微服务架构中，我们通常都会采用DevOps的组织方式来降低因团队间沟通造成的巨大成本，以加速微服务应用的交付能力。

2018-05-23 15:58:27

Spring Clou 微服务架构

手把手教你写网络爬虫（6）：分布式爬虫

对于分布式爬虫系统来说，假设1台机器能10天爬完一个任务，如果部署10台机器，那么1天就会完成这个任务。这样就用可以接受的成本，让系统的效率提高十倍。之前介绍的单机架构师达不到这种效果的，是时候介绍信的架构了！

2018-05-22 15:30:30

Python 网络爬虫分布式爬虫

如何优雅的解决分布式数据库的复杂故障

ACID是事务的四个特性，其中D(Duration)就是讲的持久性，数据库的一大价值就在于可以有效处理的故障，保证数据不会丢失。随着分布式数据库的发展，部署的复杂度上升，数据库面临的故障场景也越来越多。

2018-05-21 14:31:44

分布式数据库故障

基于UAI Train平台的分布式训练

在大型数据集上进行训练的现代神经网络架构可以跨广泛的多种领域获取可观的结果，领域涵盖从图像识别、自然语言处理，到欺诈检测和推荐系统等各个方面。但是训练这些神经网络模型需要大量浮点计算能力。

2018-05-19 00:26:13

UAI Train 分布式训练

分布式之数据库和缓存双写一致性方案解析

首先，缓存由于其高并发和高性能的特性，已经在项目中被广泛使用。在读取缓存方面，大家没啥疑问，都是按照下图的流程来进行业务操作。

2018-05-16 16:10:28

数据库缓存 MySQL

【DTCC 2018】为云而生！解密华为 Cloud Native 分布式数据库

5月11日，第九届中国数据库技术大会（DTCC 2018）在北京国际会议中心如火如荼的进行。作为国内数据库领域规模最大、最受欢迎的技术交流盛会，本次大会聚集众多顶尖专家，共同探讨了互联网、金融、教育等行业领先的数据库技术与未来趋势。

2018-05-11 17:43:40

一文秒懂分布式架构下的“负载均衡”

在网站创立初期，我们一般都使用单台机器提供集中式服务，但随着业务量越来越大，无论性能还是稳定性上都有了更大的挑战。这时候我们就会想到通过扩容的方式来提供更好的服务。

2018-05-10 10:53:47

分布式架构负载均衡 Web

spark 自己的分布式存储系统 - BlockManager

BlockManager 是 spark 中至关重要的一个组件，在 spark的的运行过程中到处都有 BlockManager 的身影，只有搞清楚 BlockManager 的原理和机制，你才能更加深入的理解 spark。今天我们来揭开 BlockaManager 的底层原理和设计思路，

2018-05-10 09:34:21

spark 存储系统

手把手教你搭建一个基于Java的分布式爬虫系统原创

在不用爬虫框架的情况下，我经过多方学习，尝试实现了一个分布式爬虫系统，并且可以将数据保存到不同地方，类似 MySQL、HBase 等。

2018-05-09 09:44:51

Java 分布式系统

设计建设分布式存储集群，集群网络该如何规划？

按照分布式存储的范式，存储系统的管理和业务分属两个网段，互相独立，互不影响，数据传输只在业务网段上进行，管理与业务通过服务器通信，无法通过网络互访。

2018-05-08 08:57:36

分布式存储集群

用Python写一个小白也能懂的分布式知乎爬虫

很早就有采集知乎用户数据的想法，要实现这个想法，需要写一个网络爬虫(Web Spider)。因为在学习 python，正好 python 写爬虫也是极好的选择，于是就写了一个基于 python 的网络爬虫。

2018-05-07 15:15:26

服务器爬虫数据

爆料华为云Cloud Native分布式数据库和高性能数据库技术内幕

伴随着云时代的发展，数据库的故事仍然在继续。无论是商业版 Oracle 还是开源社区版MySQL，数据库技术从烟囱式发展到联邦式，再演进到分布式，上云方式也从 DIY（Do It Yourself）上云、服务化上云到云原生设计。

2018-05-07 13:52:37

分离式or超融合，分布式存储建设时应该采用何种部署模式？

数据中心内部系统的核心要求是“稳定可靠”，一是指系统在运行过程中有能力提供连续可靠的服务，长时间无故障运行；二是指当故障发生之后，有能力快速定位，及时排查，故障范围不蔓延。

2018-05-07 09:34:39

分离式超融合存储

从NoSQL到NewSQL，谈交易型分布式数据库建设要点

在上一篇文章《从架构特点到功能缺陷，重新认识分析型分布式数据库》中，我们完成了对不同“分布式数据库”的横向分析，本文我将讲述拆解的第二部分，会结合NoSQL与NewSQL的差异，从纵向来谈谈OLTP场景“分布式数据库”实现方案的关键技术要点。

2018-05-07 09:30:41

数据库 NoSQL NewSQL

从架构特点到功能缺陷，带你重新认识分析型分布式数据库

本文会将OLAP类场景的分布式数据也纳入进来，从两个维度对“分布式数据库”进行拆解，第一部分会横向谈谈不同的“分布式数据库”，把它们分为五类并对其中OLAP场景的三类做概要分析；第二部分结合NoSQL与NewSQL的差异，纵向来谈谈OLTP场景“分布式数据库”实现方案的关键技术要点。

2018-05-07 08:55:26

数据库分布式数据库架构特点

飞鱼星分布式智组网方案上市 Mesh技术进入企业

无线对于时下的企业办公来说，其普遍性和重要性已无需多言。企业搭建无线网络的方式有很多种。通常来说微型、小型办公室用一台企业级无线路由器(比如飞鱼星VW1200或VW1900)即可完成办公区域无线覆盖。

2018-05-04 15:08:30

无线网络分布式智组网方案无线办公

什么是区块链——区块链的分布式数据库、共识机制

从狭义上来说，区块链就是一种分布式的数据库，数据结构上就是按时间顺序将数据区块相连的一条链表，链上的每个节点就是一个区块，区块一般通过二叉树(如Merkle Tree)将每笔交易数据打包在一起，形成一个汇总的哈希值，再加上时间戳，就是一个区块的唯一标识。

2018-05-03 20:55:47

区块链分布式数据库

华为发布新一代企业级分布式数据仓库FusionInsight LibrA

在华为全球金融峰会上，华为发布了新一代企业级分布式数据仓库FusionInsight LibrA 解决方案，旨在为各行业客户提供统一的、可扩展的、高性能的数据分析平台。LibrA支持全并行计算、行列混存、向量化执行、弹性伸缩资源等技术，实现万亿数据关联分析秒级响应和全文检索，从而帮助客户快速分析、挖掘数据价值。

2018-04-26 18:23:37

大家都在说的分布式系统到底是什么？

本文主要简单介绍了分布式系统的概念、分布式系统的特点、常用的分布式方案以及分布式和集群的区别等。这是我博客中之前发过的一篇文章，关于分布式的问题最近准备再扩展一些文章，遂把一些基础文章在公众号再发一遍，给没看过的朋友看一下。

2018-04-26 11:05:55

分布式系统集中式系统数据处理

聊一聊如何运维分布式存储

在面对分布式存储的时候，分为两种角度，一种是客户侧，一种是运维侧，客户是上帝，所以不谈上帝的操作，专注于运维侧的系统构建。

2018-04-25 09:01:02

运维分布式存储

深度解读！时序数据库HiTSDB：分布式流式聚合引擎

HiTSDB时序数据库引擎在服务于阿里巴巴集团内的客户时，根据集团业务特性做了很多针对性的优化。然而在HiTSDB云产品的打磨过程中逐渐发现，很多针对性的优化很难在公有云上针对特定用户去实施。

2018-04-19 14:47:19

时序数据库 HiTSDB

3/N层架构、“框架＋插件”架构、地域分布式架构

凡是个程序员都能侃侃而谈3/N层架构，这确实是解决系统复杂性的一种主流模式，但是，只要采用了3/N层架构是不是就一定能解决系统的复杂性了？不一定，关键在于你在你的系统中如何实作你的3/N层结构。

2018-04-19 10:46:39

Spring Cloud构建微服务架构：分布式服务跟踪（抽样收集）

通过Trace ID和Span ID已经实现了对分布式系统中的请求跟踪，而这些记录的跟踪信息最终会被分析系统收集起来，并用来实现对分布式系统的监控和分析功能，比如：预警延迟过长的请求链路、查询请求链路的调用明细等。

2018-04-18 16:07:49

Spring Clou 微服务分布式

Spring Cloud构建微服务架构：分布式服务跟踪（收集原理）

我们介绍一下关于Zipkin收集跟踪信息的过程细节，以帮助我们更好地理解Sleuth生产跟踪信息以及输出跟踪信息的整体过程和工作原理。

2018-04-16 14:56:56

微服务架构分布式服务

分布式存储与传统SAN、NAS相比，有什么优势与劣势？

受限于前端控制器的对外服务能力，纵向扩展磁盘数量无法有效提升存储设备对外提供服务的能力。同时，前端控制器横向扩展能力非常有限，业界最多仅能实现几个控制器的横向。因此，前端控制器成为整个存储性能的瓶颈。

2018-04-13 09:01:58

分布式一致性算法：可能比你想象得更复杂

RAFT是个分布式的一致性算法，相比复杂难懂的Paxos， RAFT在可理解，可实现性上做了很大的改进。你这里的‘老大’，RAFT算法叫做Leader， ‘小弟’叫做Follower，不过人家对日志的复制，以及如何确保数据的一致性有着非常详细的规定。 ”

2018-04-10 16:24:03

算法分布式一致性

Spring Cloud构建微服务架构：分布式服务跟踪（整合zipkin）

Zipkin是Twitter的一个开源项目，它基于Google Dapper实现。我们可以使用它来收集各个服务器上请求链路的跟踪数据，并通过它提供的REST API接口来辅助我们查询跟踪数据以实现对分布式系统的监控程序，从而及时地发现系统中出现的延迟升高问题并找出系统性能瓶颈的根源。

2018-04-09 13:56:13

微服务架构分布式

利用DB实现分布式锁的思路

以前参加过一个库存系统，由于其业务复杂性，搞了很多个应用来支撑。这样的话一份库存数据就有可能同时有多个应用来修改库存数据。比如说，有定时任务域xx.cron，和SystemA域和SystemB域这几个JAVA应用，可能同时修改同一份库存数据。如果不做协调的话，就会有脏数据出现。对于跨JAVA进程的线程协调，可以借助外部环境，例如DB或者Redis。下文介绍一下如何使用DB来实现分布式锁。

2018-04-09 09:15:32

数据库 DB 分布式锁

分布式锁的多种实现方式

目前几乎很多大型网站及应用都是分布式部署的，分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），最多只能同时满足两项。

2018-04-03 16:24:34

分布式锁方式

聊聊图解分布式架构的演进

MySQL 在现在电商以及互联网公司的应用非常多，一个是因为他的免费开源，另外一个原因是因为分布式系统的水平可扩展性，随着移动互联网用户的暴增，互联网公司，像淘宝，天猫，唯品会等电商都采用分布式系统应对用户的高并发量以及大数据量的存储。

2018-04-03 09:27:42

分布式架构系统

虚拟化存储逆袭传统分布式成云中主流

存储方案已经从传统架构向云架构演变，企业客户在业务部署时要基于业务的实际需求，结合数据结构和规模的特点，选择相对应的存储方案，不能冒进全面替换新架构而加大额外的成本支出。不过从长期来看，基于x86的分布式存储，以其集群架构实现的横向扩展能力将成为云存储领域的主角。

2018-04-03 09:19:49

虚拟化存储分布式

Hadoop分布式存储与传统SQL存储比较及存储操作描述

Google 为了应对快速增长的数据处理，开发了一套算法。后来有人根据算法的思想，开发出开源的软件框架，就是Hadoop，随着越来越多的组织和个人开发者在框架开发中不断贡献改进，Hadoop 已经形成一套家族产品，成为当下最成功最流行的分布式大数据处理框架。

2018-04-03 09:07:07

Hadoop 存储 SQL存储

Spring Cloud构建微服务架构：分布式服务跟踪（整合logstash）

引入基于日志的分析系统是一个不错的选择，比如：ELK平台，它可以轻松的帮助我们来收集和存储这些跟踪日志，同时在需要的时候我们也可以根据Trace ID来轻松地搜索出对应请求链路相关的明细日志。

2018-04-02 15:01:31

微服务架构分布式服务

故障：一场由虚拟化存储引发的分布式缓存性能悲剧

今天分享的就是在主备机房迁移后，由于在虚拟化上缺乏经验，外加跨团队间的沟通盲区，最终引爆了一场分布式缓存的性能悲剧。

2018-04-02 08:44:51

虚拟化存储分布式

负载均衡在分布式架构中是怎么玩起来的？

在网站创立初期，我们一般都使用单台机器对台提供集中式服务，但随着业务量越来越大，无论性能还是稳定性上都有了更大的挑战。这时候我们就会想到通过扩容的方式来提供更好的服务。我们一般会把多台机器组成一个集群对外提供服务。

2018-03-30 10:52:33

负载均衡分布式架构

上一页 1 ··· 15 16 17 18 19 ··· 28 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营