51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

存储架构

169内容  
面向企业存储架构的升级变革，覆盖传统存储架构与分布式存储架构两大版块，为用户提供业界动态、产品资讯、规划建设、前沿技术、应用案例等内容，帮助用户根据业务需求规划存储架构，确保企业存储架构高效可用。
文章
共 169 条
方便又高效！还在手动从服务器获取日志？设置日志收集系统更方便！
日志系统是企业监控和维护应用程序的重要组成部分。随着技术的不断发展，日志系统不仅仅局限于简单的记录和存储，而是成为了数据驱动决策、监控系统健康状况以及优化用户体验的重要工具。

2024-11-04 09:47:59

日志系统存储
四大缓存预热解决方案(图文全面总结)
缓存预热可以在系统运行时将热门数据加载到缓存中，减少缓存未命中，提高系统整体性能。缓存预热减少了对底层数据源（如数据库）的频繁访问，降低了数据源的负载。缓存预热有助于系统更好地应对突发的用户访问量，避免系统崩溃或性能下降。总体而言，缓存预热是系统优化的关键步骤之一，对于提高系统的稳定性、性能和用户体验至关重要。

2024-10-31 11:52:05

缓存预热系统
为什么固态硬盘（SSD）速度快？
固态硬盘控制器并行操作多个闪存颗粒，大大提高了底层带宽。当我们需要写入多个页面时，固态硬盘控制器可以并行写入[3]，而硬盘只有一个磁头，每次只能从一个磁头读取。

2024-10-30 09:42:43

固态硬盘SSD闪存
如何应对生成式AI和大模型应用带来的存储挑战 原创
技术的发展正在推动着存储技术的变革，随着QLC、CXL和HBM等先进技术的不断突破和发展，生成式AI和大模型应用面临的存储墙问题将迎刃而解！

2024-09-02 09:30:49

QLCCXLHBM
西部数据携全新存储产品亮相IOTE 2024：以创新技术和丰富产品组合加速AI发展 原创
AI技术正在以前所未有的速度走进千行百业。面向未来不同行业的创新需求，西部数据积极探索存储技术创新，及时推出了面向不同行业不同应用场景的丰富存储产品组合和解决方案，为企业积极拥抱AI，充分利用AI创新提供了坚实的存储底座。​

2024-08-29 12:32:01

西部数据存储iNAND
缓存技术在软件开发中的应用与优化策略
缓存技术是软件开发中不可或缺的一部分，它显著提高了系统的性能和响应速度。然而，合理设计缓存策略并处理常见的缓存问题是至关重要的。

2024-07-23 08:06:19

缓存技术策略
MemoryFS 存储系统的一些构想
我们对存储介质的速度和容量的需求在不断增长，总是追求更快、更经济、更大容量的存储解决方案。这种需求的增长将推动市场平衡点的移动，催生新的需求，同时也促进了存储技术的创新与发展。

2024-07-05 11:05:47

MemoryFS存储系统
交易日均千万订单的存储架构设计与实践
为了有效地存储、检索和管理这些订单数据，设计一个高效的存储架构至关重要。本文将探讨如何设计一个能够应对高并发写入和查询的存储架构，并提供C#示例代码来展示如何实现部分功能。

2024-06-18 08:07:50

存储架构设计
美团面试：说说Netty的零拷贝技术？
操作系统有用户态和内核态之分，这是因为计算机体系结构中的操作系统设计了两个不同的执行环境，以提供不同的功能和特权级别。

2024-06-07 08:10:14

Netty操作系统零拷贝
计算机是怎么存储整数的，原码、反码、补码又是个啥？
不管是多少位的有符号整数，它的最小值的绝对值一定比最大值多 1，因此八位整数的最小值是 -128，最大值是 127。事实上 10000000 表示 -128 有些人为规定的意思，但它确保了数字范围的对称性，并允许有效地利用二进制位来表达整数。

2024-04-18 08:51:10

原码反码补码
开放式现代数据湖仓加速AI进程
Dell Data Lakehouse利用无处不在的数据进行全方位AI部署为业务提供助力。

2024-04-16 13:43:14

Dell
腾讯云存储面向AIGC全面升级，搭载全面自研存储引擎
云厂商继续为大模型加速落地铺路架桥。

2024-04-08 13:47:21

腾讯云存储云存储AIGC
边缘数据中心如何为更绿色的未来重新定义计算？
在一个以技术进步为主导的时代，数字景观以前所未有的速度发展，我们相互联系的世界面临着一个紧迫的问题——环境的可持续性。

2024-04-03 11:29:03

数据中心边缘计算
Rust 实现分布式存储系统 TiKV，不仅仅是一个键值数据库！
TiKV 是一个开源分布式键值数据库，它是通过 Rust 语言编写，基于 Raft 分布式协议实现的。它不仅提供了零距离的上手体验，还通过提供事务、显式/隐式快照、负载均衡等高级功能，成为了众多知名项目不可或缺的组件。

2024-03-26 10:43:47

Rust存储数据库
华为周跃峰：数据觉醒时代，共创数据存储产业新未来
华为将秉持“因聚而生 数智有为”的核心理念，不断强化“伙伴+华为”体系，深化千万伙伴的合作深度与广度，共同助力客户打造领先的数据基础设施，共赢数据存储产业新未来！

2024-03-16 18:21:42

存储
缓存把我坑惨了...
文中关于缓存的介绍老猫其实并没有说完，很多其实还是需要小伙伴们自己去抽时间研究研究。不得不说缓存是一门以空间换时间的艺术。

2024-03-14 10:30:05

缓存场景DEMO
戴尔科技以软件驱动型存储组合，赋能企业利用数据持续创新 原创
戴尔科技不仅提供产品和平台，还提供一整套的方法论和服务，帮助用户，尤其是那些缺乏经验的用户，更好地搭建和利用AI平台。​

2024-03-13 20:21:12

戴尔科技OneFS软件PowerScale
迎接数据驱动的未来，CIO需要考虑的五个关键存储问题
企业必须保证为成功打下最牢固的硬件基础。只有能够应对数据挑战、使数据存储满足创新要求，并做好应对数据隐私和安全挑战的准备，CIO才能保证企业更加顺利地过渡到这个激动人心的新时代。

2024-03-01 18:19:17

数据存储
​用最简单的方式解决海量数据存储问题：解读数据压缩的三大误区 原创
我们建议企业要根据不同的数据存储需求，来选择最适合自己的数据压缩解决方案，以此来平衡计算、存储和网络基础设施资源之间的权衡，最大化降低企业的TCO。

2024-02-21 11:51:11

数据存储数据压缩数据管理
生成式AI加速存储市场复苏！2024年存储发展趋势展望 原创
由于生成式AI、LLM的发展，致使搭载GPU、AI加速芯片的服务器需求量增长，必然会带动存储市场的需求增长。 不过，边缘计算、云计算、AIoT等热点将延续到2024年，也势必推动存储市场的高速增长。

2024-01-18 10:32:25

存储2024年预测
一文搞懂什么是阻塞IO、信号驱动IO、Reactor模型、零拷贝
零拷贝技术的文件传输方式相比传统文件传输的方式，减少了 2 次上下文切换和数据拷贝次数，只需要 2 次上下文切换和数据拷贝次数，就可以完成文件的传输，而且 2 次的数据拷贝过程，都不需要通过 CPU，2 次都是由 DMA 来搬运。

2024-01-09 18:09:43

模型方式DMA
HBM技术有何优势？详解高带宽存储器 原创
高带宽存储器，简称HBM，即High Bandwidth Memory，是一种具备高性能、高容量的存储芯片，被广泛应用于高性能计算、数据中心等领域。

2023-12-19 18:24:51

高带宽存储器HBM
分布式存储系统在大数据处理中扮演着怎样的角色？
如果存储节点本身可以定制，则通常会让其支持部分计算能力，以利用数据的亲和性，将部分计算下推到相关的存储节点上。如果存储是云上的 S3 等对象存储，无法定制，则通常会将数据在计算节点缓存，并且尽量的复用。 参考资料

2023-12-19 08:03:25

存储大数据节点
互联网大厂是如何设计和使用缓存的？方案已开源！
以秒杀系统为例，采用本地缓存+分布式缓存的混合型缓存方案时，如果整个秒杀系统前置的流量管控、流量清洗和限流等是秒杀系统流量洪峰的第一道防线，则本地缓存就是抗流量洪峰的第二道防线，而分布式缓存就是第三道防线，经过层层流量过滤，最终进入数据库的流量就比较可控了。

2023-12-11 14:20:00

系统缓存本地缓存
一篇聊聊Jetpack Room实现数据存储持久性
Room 是 Android Jetpack 组件库中的一部分，它是用于在 Android 应用中进行本地数据库访问和管理的库。Room 提供了一个抽象层，使开发者能够更轻松地访问 SQLite 数据库，并且可以在不直接使用 SQL 语句的情况下进行数据库操作。

2023-12-08 08:26:05

数据存储持久性
一张图看懂《分布式存储发展白皮书2023》
《算力基础设施高质量发展行动计划》指出，到2025年，我国存储总量将超过1800EB。分布式存储作为其中的一种重要形态，在支撑云计算、大数据、AI等技术应用中扮演着关键角色，为各行各业提供稳定、高效、可靠的数据支撑。

2023-12-05 19:31:39

分布式存储
浏览器中存储访问令牌的最佳实践
使用OAuth和访问令牌可以最好地保护API访问。但是，JavaScript应用程序处于不利地位。浏览器中没有安全的令牌存储解决方案。所有可用的解决方案在某种程度上都容易受到XSS攻击。因此，确保任何应用程序安全的首要任务应该是防止XSS漏洞。

2023-12-05 07:51:54

OAuth浏览器存储
Redis6.0为何引入多线程？单线程不香吗？
Redis 6.0通过引入多线程处理网络I/O，成功地解决了单线程模型在高并发环境下的性能瓶颈，同时保持了数据处理的原子性和一致性。

2023-12-01 08:18:24

Redis网络
一起聊聊Ceph RBD和QEMU块设备Qos测试
对于ceph rbd qos的使用，还是建议在image层面进行bps和iops的限速，pool层面的限速效果不明显。当然也可以使用qemu在块设备上做虚拟机磁盘的io限制，使用qemu做qos的优点是本地硬盘也可以进行限速，而ceph rbd的qos对象只是ceph集群中的rbd镜像。

2023-12-01 08:01:59

镜像Ceph
数字孪生、AR和VR如何改进数据中心设计
近年来，随着数字化理念的日益普及，数据中心基础设施管理（DCIM）在数字时代扮演着愈发重要的角色。虽然DCIM已经在许多数据中心得到广泛应用，但其在整个行业中尚未实现全面普及，这主要受到数字化概念的传播速度以及信息技术（IT）与运营技术（OT）系统集成度提升的制约。

2023-11-28 16:11:02

数据中心
金额到底应该用什么类型存储
在处理金额时，选择合适的数据类型至关重要。虽然在某些情况下，使用整数类型也是可行的，但为了确保最大的精度和安全性，BigDecimal是处理金额的首选类型。

2023-11-24 08:17:38

金额类型存储
解密存储引擎 bitcask 的设计原理
根据官方测试，在处理几十 GB 的数据时表现很好，但即便数据量增大，表现也不会有明显变化，只要 keydir 能够完全适应 RAM。当然这个限制也是微不足道的，因为即使有数百万个 key，也用不了 1G 的内存。

2023-11-22 08:35:34

存储引擎bitcask
一文读懂常见的缓存策略
缓存是一种用于临时存储数据的技术，旨在提高数据访问速度和性能。通过将常用的数据存储在缓存中，可以减少对原始数据存储位置的访问次数，从而加快数据的读取速度。缓存通常用于加速计算机系统、网络和Web应用程序的性能。

2023-11-21 09:41:00

缓存策略存储
首个落地实践！曙光存储案例入选液冷数据中心白皮书
数据中心作为国家新基建，对数字经济腾飞起到重要的底层支撑作用。国家“双碳战略”和东数西算不断要求数据中心向绿色低碳迈进。与此同时，以人工智能、5G为代表技术热潮的兴起，也给数据中心带来资源使用和性能提升等挑战。​

2023-11-15 19:53:07

数据中心
十个 GitHub 存储库，助你成为前端巨匠
这些 GitHub 存储库提供了丰富的资源，涵盖了 JavaScript 开发的各个方面，从基础知识到高级主题，从编码规范到面试准备，对于提高前端开发技能和知识非常有帮助。无论您是初学者还是有经验的开发人员，都可以从中受益。

2023-10-31 19:28:48

GitHub存储前端
Ceph的文件系统架构及使用实战
CDentry是一个粘合层，它建立了inode与文件名或者目录名之间的关系。一个CDentry可以链接到最多一个CInode。但是一个CInode可以被多个CDentry链接。这是因为链接的存在，同一个文件的多个链接必然名称是不同的，因此需要多个CDentry数据结构。

2023-10-28 08:47:58

Ceph文件系统
云磁带库存储架构的设计与实践
LTFS 的全称是 Line Tape File System，是一个开源的存储格式标准，它以文件系统的形式定义了数据在磁带介质上的存储格式和访问接口，应用程序可以通过该接口和软件库来直接存取磁带上的数据。LTFS 提供了开源的LE 版本库，这个版本提供了比较基础的访问能力。部分厂商还在此基础上研发了具备更多高级能力的商业版本，比如 IBM 的 LTFS-EE。

2023-10-27 11:35:18

存储架构版本库
千亿级数据防丢指南：存储系统的可靠性保障实践
现在各大提供分布式存储的厂商之所以没公开相关可靠性计算模型，是因为统计样本数据不足。如果全行业能够分享各自的部分统计数据，样本量足够大，就有希望建设最真实的评估模型。

2023-10-27 07:36:16

存储系统数据防丢
Ceph 中的写入放大
了解数据和工作负载是确定 Ceph 集群构建的关键部分。了解整个数据的平均文件大小将使您能够避免这种极高的写入放大。 当然，这并不总是这样的。通常，在单个集群中往往会存在各种大小的文件。

2023-10-12 08:01:00

Ceph数据集群
解密京东面试：如何应对Redis缓存穿透？
在面试中，被问到Redis缓存穿透问题，不要感到害怕或无措。通过深入了解问题的根本原因以及各种解决方案，你可以展现出自己的技术深度和解决问题的能力。同时，面试官也更愿意看到你能够思考问题，提出创新的解决方案。

2023-10-04 19:43:38

京东Redis缓存
为什么都说NFS读写性能差，如何进行优化？
尽量使用大文件，而非小文件。似乎这个并不好实现，因为文件的大小是业务决定的，我们似乎很难控制文件的大小。但是，如果是自己开发的应用程序， 在保存数据的时候尽量以大文件的形式，而非小文件的形式，这对性能是有益的。​

2023-10-04 18:29:24

NFS小文件业务
手撕 Golang 高性能内存缓存库 bigcache!
bigcache 的开发者是 allegro，是波兰的一个电商网站，参考资料中给出了他们的技术博客的原文，文中详细描述了他们问题的背景以及思考，值得研究。

2023-09-18 09:10:11

Golang高性能缓存库
大规模块存储 EC 系统构建
纠删码则是将用户的原始数据进行切分，形成 K 个大小相等的分片，然后对这些分片进行编码，形成 M 个校验分片。校验分片的大小和数据分片相同。K+M 个分片会被分布在不同的机器上。

2023-09-08 10:13:35

存储EC系统
两节点vSAN配置实战
配置存储策略不是必须的，如果是标准vSAN，可以配置多个存储策略，比如网络RAID1，RAID5等，创建虚拟机的时候，可以根据虚拟机的重要程度选择不同的策略。

2023-08-30 08:00:49

vSAN存储策略
一文读懂浏览器本地存储：Web Storage
在我们的一些内部系统中，用户信息是每个页面都要用到的，尤其是 userId 字段，会与每个获取数据接口挂钩，但这个数据是不会变的，一直请求是没有意义的，为减少接口的访问次数，可以将主要数据缓存在 localStorage 内，方便其他接口获取。

2023-08-01 19:11:05

浏览器本地存储
使用 WAL 构建你自己的 KV 存储
用户写入数据，实际就是先写入到 wal 中，写到 wal 之后，你会得到一个位置信息 ChunkPosition，然后把 Key+ChunkPosition 存储到内存数据结构中即可。

2023-07-30 17:34:53

KV存储ChunkPosit
MySQL中的存储过程（详细篇）
如果在实现用户的某些需求时，需要编写一组复杂的SQL语句才能实现的时候，那么我们就可以将这组复杂的SQL语句集提前编写在数据库中，由JDBC调用来执行这组SQL语句。把编写在数据库中的SQL语句集称为存储过程。

2023-07-27 07:03:24

MySQL存储SQL
尝鲜初体验：使用 Loggie 和 VictoriaLogs 快速构建新一代的日志系统
最近VictoriaMetrics发布了预览版的VictoriaLogs，类似Loki专门用于存储日志。鉴于VictoriaMetrics的良好名声，还是让大家对这条搅局的「鲶鱼」充满了一定的期待。VictoriaMetrics为什么要入局搞VictoriaLogs呢？

2023-07-10 08:42:36

Loggie监控项目
系统架构设计实战：缓存失效策略选型
缓存失效策略应谨慎选择，以平衡性能和数据准确性之间的权衡。通过理解不同的缓存失效策略，软件工程师可以选择适当的策略来优化缓存性能，降低延迟，同时确保存储在缓存中的数据准确且最新。

2023-07-09 15:20:00

缓存平衡性能
一篇带你彻底读懂 IO 流技术！
本文阐述的内容较多，整合了很多有用的信息，从 Java 基本的 I/O 类库结构开始说起，主要介绍了 IO 的传输格式和传输方式，包括字节流和字符流接口相关的分类介绍，以及磁盘 I/O 和网络 I/O 的基本工作方式。

2023-06-26 00:26:40

I/OJava字节流
1 23 4
点赞

51CTO技术栈公众号

业务
速览
在线客服