51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

存储架构

171内容  
面向企业存储架构的升级变革，覆盖传统存储架构与分布式存储架构两大版块，为用户提供业界动态、产品资讯、规划建设、前沿技术、应用案例等内容，帮助用户根据业务需求规划存储架构，确保企业存储架构高效可用。
文章
共 171 条
系统架构设计实战：缓存失效策略选型
缓存失效策略应谨慎选择，以平衡性能和数据准确性之间的权衡。通过理解不同的缓存失效策略，软件工程师可以选择适当的策略来优化缓存性能，降低延迟，同时确保存储在缓存中的数据准确且最新。

2023-07-09 15:20:00

缓存平衡性能
一篇带你彻底读懂 IO 流技术！
本文阐述的内容较多，整合了很多有用的信息，从 Java 基本的 I/O 类库结构开始说起，主要介绍了 IO 的传输格式和传输方式，包括字节流和字符流接口相关的分类介绍，以及磁盘 I/O 和网络 I/O 的基本工作方式。

2023-06-26 00:26:40

I/OJava字节流
《中国对外医疗基础设施建设成果报告》发布，华为助力国际医疗基础设施建设高质量发展
医疗行业正处于数字化转型的爆发期，数字基础设施是关键。面对数字化转型带来的医疗数据爆发式增长、海量设备需要互联互通、数据存储与网络安全高要求等挑战

2023-06-19 10:25:54

数据存储
Jenkins流水线将制品发布到Nexus存储库
本指南的目的是创建一个工作流，我们可以在该工作流中通过Maven和CI服务器来构建，存储，管理和监视已编译的制品。

2023-05-26 08:31:09

MavenJenkins
构筑坚实先进数据底座，加速制造业集群数字化升级 2023华为智能制造数据基础设施高峰论坛在武汉召开
制造行业数字化转型的大潮已来，随着数字经济与实体经济的深度融合，以数据存储为代表的创新数据基础设施必将成为制造业数字化转化型的新引擎

2023-04-27 09:43:37

数据存储
Crimson：高性能，高扩展的新一代 Ceph OSD
Ceph 的性能要跟上硬件发展的速度一直很有挑战的，因为 Ceph 的架构是十年前的——它对单核 CPU 性能的依赖使它无法充分利用不断增长的 IO。

2023-03-21 08:01:44

Crimson硬件CPU
宏杉科技应邀出席2023年地理信息产业合作发展论坛，共话产业创新发展​
宏杉科技产品部总工张夏男从地理信息行业对存储的需求进行分析，分享了宏杉科技面向地理信息系统的一站式数据存储解决方案。

2023-03-20 15:50:55

宏杉
Ceph故障分享长文：关于Ceph的一次无硝烟的战争
记录所有内容并确保所有相关信息可用（包括实际更改时间、使用的内核/软件包/固件/…版本）。完整的文档是我们在本案例中最重要的资产，因为我们有紧急处理期间以及RCA（故障回溯）期间所需的所有数据和信息。

2023-02-28 08:00:24

Ceph故障服务器
送分来了，华为一面，介绍下五种 IO 模型
异步 IO 的两个阶段，用户进程都是非阻塞的，用户进程将整个 IO 操作都交由内核完成，内核完成后会发送通知。在此期间，用户进程不需要去检查 IO 操作的状态，也不需要主动的去拷贝数据。

2023-02-26 22:12:41

IO模型进程
聊聊Glide缓存机制
内存缓存/运行时缓存分为两部分：活动缓存（ActiveResource）和Lru内存缓存（LruResourceCache）。

2023-02-24 16:46:25

Glide缓存机制
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
为了高可靠，ES如果使用本地盘的话一般会使用两副本，也就是说存储1PB数据需要2PB的物理空间。

2023-01-12 15:25:51

Curve数据存储
说透IO多路复用模型
在实际开发过程中，实际上LT更易用一些，毕竟系统帮助我们做了大部分校验通知工作，之前提到的SELECT和POLL，默认采用的也都是这个。但是需要注意的是，当有成千上万个客户端连接上来开始进行数据发送，由于LT的特性，内核会频繁的处理通知操作，导致其相对于ET来说，比较的耗费系统资源，所以，随着客户端的增多，其性能也就越差。

2023-01-09 10:04:47

IO多路复用模型
2022年第十七届中国企业年终评选榜单揭晓：Dell PowerScale荣获2022年度中国IT行业存储优秀产品奖 原创
Dell PowerScale凭借出色的技术创新和简单易用、易于扩展等众多优势，荣获2022年度中国IT行业存储优秀产品奖。

2023-01-03 14:59:40

DellPowerScale
分布式存储系统 Ceph 介绍与环境部署
Ceph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs)，Ceph在存储的时候充分利用存储节点的计算能力，在存储每一个数据时都会通过计算得出该数据的位置，尽量的分布均衡。目前也是OpenStack的主流后端存储。

2023-01-03 07:57:27

存储系统Ceph
终于弄明白了 RocketMQ 的存储模型
充分考虑业务的查询场景，支持消息 key ，消息 offsetMsgId 查询消息数据。也支持消费者通过 tag 来订阅主题下的不同消息，提升了消费者的灵活性。

2022-12-31 08:17:02

场景数据消息
实测 | 海纳百川，华为OceanStor Pacific分布式存储为多元算力应用带来更优选择
随着HPDA的整体发展，从业务负载上而言需要考虑HPC/AI、大数据以及AI的混合叠加，需要支持应用驱动的科学计算工作流，进而推动负载以数据为中心，从计算科学发现转向数据科学发现转变。

2022-12-23 16:13:00

HPDA
购物车系统的存储设计
既然用户的购物车数据存放在MySQL或Redis各有优劣。那能否把购物车数据存在MySQL，并用Redis缓存？不就兼顾二者优势？若可行，如何保证Redis中的数据和MySQL数据一致性？

2022-12-16 08:52:14

购物车系统存储
数据中心电池的可持续性考虑
数据中心部门传统上使用铅酸电池与静态UPS系统，但这种情况正在逐渐改变。预计到2025年，锂离子电池将占数据中心储能的38.5%。据报道，它越来越受欢迎是因为它的耐用性和更小的占地面积，与传统铅酸电池相比，锂离子电池的回收次数是传统铅酸电池...

2022-11-22 10:52:49

数据中心
缓存击穿、穿透、雪崩专项测试
R2M缓存的使用，极大的提升了应用程序的性能和效率，特别是数据查询方面。而缓存最常见的问题是缓存穿透、击穿和雪崩，在高并发下这三种情况都会有大量请求落到数据库，导致数据库资源占满，引起数据库故障。

2022-11-18 14:34:28

缓存击穿穿透雪崩
微软新技术，致态TiPro7000好搭档
作为PCIe 4.0 SSD中的佼佼者，致态TiPro7000用选用长江存储晶栈® Xtacking®3.0架构闪存，拥有高达74000MB/s和6700MB/s的连续读写速度。不仅自身读取速度优异能够满足DirectStorage技术的要求

2022-11-14 09:55:34

长江存储
QEMU/KVM + Ceph Librbd 性能测试以及深度优化
对于 16K 的 IO，qemu+librbd 经过仔细调优后，可以从单个 VM 实现 64-67K 的随机写入 IOPS 和 123K 的随机读取 IOPS。即使在使用 libssl 的 AES-NI 支持时，在 Ceph 中启用 128 位在线 AES 加密也会对性能产生显着影响（30% 以上）。

2022-11-02 08:05:09

性能测试优化Ceph
华为存储以5000系列明星产品深度布局商业市场，赋能企业释放数据价值 原创
华为 OceanStor 5310/5510/5610/5810系列针对闪存架构的全新设计和新五大融合，在性能、功能和品质上都达到业界领先水平，满足数据库OLTP/OLAP、虚拟化、文件等高品质服务的同时，为容器、分布式数据库等业务蓄力，引领新型数据中心存储服务。

2022-10-27 11:35:10

华为闪存架构存储
新华三超融合UIS 8.0正式发布：三大创新架构五大能力升级，赋能企业智简上云 原创
新华三UIS 8.0是完全从客户需求出发打造的全新超融合产品，旨在为客户提供性能最优、体验最佳、适用性更强的解决方案。

2022-10-14 11:53:29

新华三UIS 8.0
从闪存卡到SSD硬盘，存储芯片是如何发展起来的？
近年来，如大家所见，随着FLASH芯片价格的不断下降，个人家庭及企业用户开始大规模采用闪存，以及SSD硬盘。SSD硬盘的出货量，逐渐超过HDD机械硬盘。存储介质的更新换代，又进入新的高峰。

2022-10-13 07:31:43

闪存卡SSD硬盘
聊聊如何Ceph修改mon ip地址
要更改监mon的 IP 地址，必须添加一个具有要使用的 IP 地址的新mon节点（如添加监视器（手动）中所述），确保新mon成功加入仲裁；然后移除旧 IP 地址的mon。最后更新ceph.conf文件以确保客户端和其他守护程序知道新mon的 IP 地址。

2022-10-10 08:05:23

IP地址节点
一碰就头大的高并发缓存与数据库双写一致性问题，立马解决
一般来说，如果允许缓存可以稍微的跟数据库偶尔有不一致的情况，也就是说如果你的系统不是严格要求缓存 + 数据库必须保持一致性的话，最好不要做这个方案。即：读请求和写请求串行化，串到一个内存队列里去。

2022-10-08 00:00:09

数据库缓存系统
十年一剑：创新驱动，以智行远，UIS 8.0激发超融合未来更多可能
在UIS 8.0当中，新华三集团对这些趋势做了很好的落地和回应，因此，即便在超融合技术已不再是新鲜事物的当下，UIS 8.0仍具备领先性和竞争优势。

2022-09-29 13:13:12

UIS 8.0
我们一起在 Ceph 指定OSD 创建 pool
如何利用crush来对不同数据指定不同设备的osd存储，这边我是用虚拟机演示，所以都是hdd，这边假设osd0,2,4为ssd设备，osd 1,3,5为sata设备。

2022-09-28 08:31:13

crush虚拟机设备
关于半导体存储的入门科普，你学会了吗？
大家如果拆开自己的U盘或SSD硬盘，就会发现里面都是PCB电路板，以及各自各样的芯片及元器件。其中有一类芯片，就是专门存储数据的，有时候也称“存储芯片”。

2022-09-27 23:10:31

SSD硬盘元器件
使用 NVMe 加速云原生应用程序 译文
云原生应用程序与传统应用程序或托管在云中的传统软件具有不同的存储需求。

2022-09-26 14:07:38

云原生NVMe存储
10 张图 | 一文带你用 Mac M1 跑 RocketMQ
最近在倒腾RocketMQ消息队列，首先就得把 RocketMQ 跑起来对吧，我们一般都是 Windows 或者 Linux 机器上，按照官方教程一下子就跑起来了，另外用 Intel 芯片的 Mac 也能轻松跑起来。

2022-09-22 08:32:30

RocketMQLinuxWindows
一次 堆外内存泄露 爆肝到半夜......
为了防止误判，笔者使用了pmap查看内存分布，发现大量的64M的地址；而这些地址空间不在jcmd命令所给出的地址空间里面，基本上就断定就是这些64M的内存所导致。

2022-09-21 08:39:52

堆外内存泄露内存分布
多存储库与单存储库的微服务发布管理比较 译文 精选
本文从跟踪变更，获悉其不同的版本，以及发布管理的角度，比较了微服务应用多存储库与单存储库方式的差异性。

2022-09-21 08:00:00

存储微服务架构
容器 I/O 性能诊断：到底哪个应用是带宽杀手？
在企业生产环境下 Pod 数量多、规模大，环境复杂场景下，通过阿里云容器服务 ACK 的存储卷的 I/O 可观测性可以帮助客户快速、准确地定位是哪个 Pod、哪个应用占用了过多带宽，元数据请求和数据请求资源，帮助客户通过优化策略、修改应用等方式解决 I/O 性能问题，提升业务运行效率。

2022-09-16 08:44:44

存储卷I/O带宽
聊聊存储技术的前世今生
进入21世纪后，信息技术以爆炸式的速度发展。互联网的普及，手机的崛起，使得整个社会的数字化进展大幅加快。由此带来的数据增长，也是惊人的。传统HDD硬盘尽管在不断提升自己的容量和性能，但仍然无法满足时代的需要。于是，一种新型的存储技术迅速崛起，开始了对HDD的取代。这个技术，就是半导体存储。究竟什么是半导体存储？

2022-09-14 21:15:44

互联网存储技术
记一次 .NET 某打印服务 非托管内存泄漏
总的来说，这次内存泄漏的原因在于朋友开了 STA 模式的线程，导致终结器线程卡死，进而导致 Bitmap 分配之后无法释放，最终引发非托管泄漏。这个dump告诉我们，不要放弃，一定可以在绝望中找到希望。

2022-09-13 17:46:19

STA模式内存
健康的Ceph 集群需要避免的16种操作
在虚拟化领域里，比较常用到的是Ceph的块设备存储，比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。

2022-09-06 08:00:57

Ceph分布式存储系统
文件类数据存储系统架构优化实践经验
GPFS是一种高性能的并行文件系统，其底座很多也是使用FC组网的SAN存储。GPFS大多适用于高性能计算场景，或者是和企业其他IT技术生态捆绑使用。另一方面，GPFS在构建同城或异地容灾时，也有一定的局限性，很多也是基于底层SAN存储来做的数据级容灾。

2022-08-30 07:39:37

GPFSSAN存储
分布式存储 Ceph 架构原理解析
从Ceph的架构原理上来看，我们不难看出其定义当中的“扩展性、稳定性”。但是关于“优秀性能”这个描述的特性来讲，其实是需要斟酌其语境的。我们不能从其架构的分布式模式上简单判断多个节点服务的性能一定是最优秀的。

2022-08-28 09:05:34

分布式存储Ceph
一文理清：不同体系分布式存储技术的技术特性
数据量的爆发式增长催生了数据应用领域的各种新需求，数据应用领域的各种新需求驱动了数据管理层面以及数据载体层面的分布式变革。

2022-08-03 07:47:45

存储分布式体系
华为存储当选首届中国算力大会“创新先锋”
华为与国家超级计算济南中心通过此次深度合作，让数据高能效跨域存得下、存得好、流得动，把数据孤岛连成数据网络

2022-07-31 14:28:43

华为
容器进程调度时是该优先考虑CPU资源还是内存资源？
有的同学看到这个问题后的第一个想法是应该先评估一下新任务是计算密集型的业务还是 io 密集型的。然后再决定往哪个机器上调度。这么思考倒是也不能算错，只不过是没有抓到问题的关键点上。

2022-07-27 19:27:47

CPU资源内存
Kubernetes 节点磁盘故障排查，你学会了吗？
在Kubernetes 环境中，随着时间的推移，这可能会成为灾难性的，因为一旦超载，Kubernetes将开始“拯救”自己。这是通过杀死pod来实现的，从而减少节点上的负载。如果应用程序不知道如何正确处理突然的异常，这可能会导致问题，或者可能导致没有足够的资源来处理给定的负载。

2022-07-26 08:03:27

Kubernetes节点磁盘
《运营商数据存力指标》白皮书首发 构筑未来数据基础设施
如何让数据的价值最大化，如何衡量数据在数据基础设施中“存得好”，“管得好”，“用得好”，是目前运营商普遍关注的问题。

2022-07-19 11:01:16

数据存储
首批！杉岩数据通过中国信通院分布式存储评测
数字经济以数据资源为关键要素，分布式存储凭借支持混合负载、数据融合、数据分级、安全可靠等特性，成为海量新兴数据应用的最佳数据底座。

2022-07-18 11:20:58

存储
缓存穿透、缓存雪崩、缓存击穿？再也不怕了，你随便问吧！
本文介绍了在使用缓存时经常会遇到的三种异常情况：缓存穿透、缓存雪崩和缓存击穿。三种异常情况从根本上来说都是因为本应该访问缓存的，但是缓存不存在或服务异常，导致流量直接进入了数据库层面。

2022-07-11 07:36:36

缓存缓存雪崩缓存击穿
架构与算法创新，让分布式存储焕然一新！
分布式存储在数据存储产业中的占比越来越高，得益于分布式Scale-out的高扩展性，以及高速网络技术的发展，分布式存储逐渐成为主流

2022-07-08 10:42:01

分布式存储
从三个案例看数字化转型需求下存储架构的选择和应用
在大数据时代的背景下，结构化和非结构化数据激增，各个企业数字化转型步伐的加速，存储技术架构的不断更迭，会有更新的存储解决方案或者架构应运而生。新技术并不是为了代替老的技术，而是能够在现有存储架构的优势上，发掘新的突破点。在数据存储方面，混合架构的配合使用是未来存储发展的新趋势。

2022-07-08 07:48:59

存储架构数据
一个开发者自述：我是如何设计针对冷热读写场景的 RocketMQ 存储系统
Apache RocketMQ 作为一款分布式的消息中间件，历年双十一承载了万亿级的消息流转，其中，实时读取写入数据和读取历史数据都是业务常见的存储访问场景，针对这个混合读写场景进行优化，可以极大的提升存储系统的稳定性。

2022-07-07 09:28:29

RocketMQ存储系统
分布式存储在云平台基础架构层中的应用和部署
分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。随着各行业数字化转型的加速，越来越多的数据被生产出来，分布式存储成为我们应对海量数据挑战的重要助力。

2022-07-06 07:48:38

分布式存储架构
上一页 1 23 4
点赞

51CTO技术栈公众号

业务
速览
在线客服