鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

存储

5038内容

关注

存储话题包括存储设备、数据管理、容灾备份、存储架构、存储软件、存储设备、超融合等内容，为用户提供行业动态、前沿技术、产品资讯、应用案例等相关内容，解决用户在数据存储过程中遇到的各种难题，提供存储性能和利用率，助力企业充分挖掘利用数据价值，加速数字化转型。

共 5038 条

Ceph的文件系统架构及使用实战

CDentry是一个粘合层，它建立了inode与文件名或者目录名之间的关系。一个CDentry可以链接到最多一个CInode。但是一个CInode可以被多个CDentry链接。这是因为链接的存在，同一个文件的多个链接必然名称是不同的，因此需要多个CDentry数据结构。

2023-10-28 08:47:58

Ceph 文件系统

云磁带库存储架构的设计与实践

LTFS 的全称是 Line Tape File System，是一个开源的存储格式标准，它以文件系统的形式定义了数据在磁带介质上的存储格式和访问接口，应用程序可以通过该接口和软件库来直接存取磁带上的数据。LTFS 提供了开源的LE 版本库，这个版本提供了比较基础的访问能力。部分厂商还在此基础上研发了具备更多高级能力的商业版本，比如 IBM 的 LTFS-EE。

2023-10-27 11:35:18

存储架构版本库

千亿级数据防丢指南：存储系统的可靠性保障实践

现在各大提供分布式存储的厂商之所以没公开相关可靠性计算模型，是因为统计样本数据不足。如果全行业能够分享各自的部分统计数据，样本量足够大，就有希望建设最真实的评估模型。

2023-10-27 07:36:16

存储系统数据防丢

图片存储和如何返回给前端

一般来说，我们图片存储都会存储在专门的对象存储服务器上。常见的有阿里云oss，七牛云，华为云等等。像这些对象存储，一般都会有bucket（桶）的概念，和对象的概念。

2023-10-26 08:06:53

图片存储前端

一文掌握数据存储技术趋势

AI大模型时代的到来，存储作为数据的关键载体，需要在三个方面演进，即海量非结构化数据的治理、10倍的性能提升、存储内生安全。

2023-10-24 11:44:21

无敌到寂寞！Redis进军磁盘存储！原创精选

Redis 本身是一个内存数据库，这意味着其数据存储在RAM中而不是磁盘上。与传统的基于磁盘的数据库相比，这提供了更快的读写吞吐量和更低的延迟。某种意义上说，Redis的成功正是在于这种“打破常规”。

2023-10-23 06:47:37

Redis 磁盘存储

关于Kubernetes在生产中的应用，这十大要点ChatGPT不会说

在推出ChatGPT时，我们也和大家一样想将它给出的答案与常规网络搜索得到的答案进行比较。我们进行实验，询问技术问题并要求它回答具体内容。并非所有的回答都有效或正确，但我们仍非常认可其提供反馈以改进回答的能力。

2023-10-16 20:46:57

Ceph 中的写入放大

了解数据和工作负载是确定 Ceph 集群构建的关键部分。了解整个数据的平均文件大小将使您能够避免这种极高的写入放大。当然，这并不总是这样的。通常，在单个集群中往往会存在各种大小的文件。

2023-10-12 08:01:00

Ceph 数据集群

缓存的力量：提升API性能和可扩展性译文

用户需要了解缓存对优化API和Web应用程序性能的作用。探索客户端、服务器端和CDN缓存技术，以获得更快、更可靠的体验。

2023-10-11 13:46:26

缓存 Web应用程序

解密京东面试：如何应对Redis缓存穿透？

在面试中，被问到Redis缓存穿透问题，不要感到害怕或无措。通过深入了解问题的根本原因以及各种解决方案，你可以展现出自己的技术深度和解决问题的能力。同时，面试官也更愿意看到你能够思考问题，提出创新的解决方案。

2023-10-04 19:43:38

京东 Redis 缓存

为什么都说NFS读写性能差，如何进行优化？

尽量使用大文件，而非小文件。似乎这个并不好实现，因为文件的大小是业务决定的，我们似乎很难控制文件的大小。但是，如果是自己开发的应用程序，在保存数据的时候尽量以大文件的形式，而非小文件的形式，这对性能是有益的。

2023-10-04 18:29:24

NFS 小文件业务

VictoriaLogs 要凭什么革了各家日志存储的命

Elasticsearch 和 VictoriaLogs 都允许摄取结构化和非结构化日志，并对摄取的日志执行快速全文搜索。 Elasticsearch 和 OpenSearch 被设计为通用数据库，用于对大量文档进行快速全文搜索。

2023-09-26 07:22:20

日志存储搜索

“赛博攻防接龙”开赛，试试Commvault现代数据保护“攻略”

Commvault提供广泛的数据保护功能，保护数据免受内外部威胁。这些功能在安全性、数据完整性和可靠性方面为企业带来各种裨益。

2023-09-22 17:45:49

新华三关天舒：全面重构存储系统，释放AI时代全新数据价值

新华三集团拥有一个完整的重构存储系统计划，推动存储产品不断重构、进化。新华三将以“云智原生”战略为指引，精研云智原生技术，深耕客户应用场景，持续加强技术创新，不断推出更多智慧存储新产品，帮助百行百业用户消除数据存储挑战。

2023-09-22 15:12:21

Redis的高性能之谜

Redis是单线程应用程序，这意味着Redis使用单个线程来处理客户端的请求，Redis具有高性能的原因如下。

2023-09-22 11:48:37

Redis 单线程

手撕 Golang 高性能内存缓存库 bigcache!

bigcache 的开发者是 allegro，是波兰的一个电商网站，参考资料中给出了他们的技术博客的原文，文中详细描述了他们问题的背景以及思考，值得研究。

2023-09-18 09:10:11

Golang 高性能缓存库

向新手解释数据治理的一个最佳方式

数据管理和数据治理可能很难向新手解释。它们涵盖了复杂的数据能力领域，例如元数据管理、数据质量、数据架构、数据编目、数据隐私、数据科学和数据集成。我发现自己在为客户提供建议和向自己团队的新成员提供建议时，很难快速、明确地解释潜在的核心概念。

2023-09-15 16:34:41

数据管理数据治理

客户主数据管理的八个优秀实践

客户数据是任何成功业务战略的支柱。但随着每天生成的数据量不断增加，有效管理数据可能成为一项挑战。为了确保客户数据准确、一致且可访问，在客户主数据管理中实施最佳实践非常重要。在这篇文章中，我们将探讨可帮助实现最佳客户数据管理并推动业务成功的关键最佳实践。

2023-09-12 14:03:44

驱动开发：内核读写内存多级偏移

以读取偏移内存为例，如下代码同样来源于本人的LyMemory读写驱动项目，其中核心函数为WIN10_ReadDeviationIntMemory()该函数的主要作用是通过用户传入的基地址与偏移值，动态计算出当前的动态地址。

2023-09-12 07:31:32

内存 LyMemory WIN10

支持事务的分布式NoSQL——FoundationDB 原创精选

FoundationDB是一个为了OLTP云服务而设计的分布式键值存储。其主要思想是将事务处理与日志记录和存储分离。这种解耦的架构使得读写处理的分离和水平扩展成为可能。事务系统结合了乐观并发控制（OCC）和多版本并发控制（MVCC），以确保严格的串行化。

2023-09-11 15:40:43

键值存储云服务

Gartner发布2023年最热存储技术趋势

Gartner公司发布评估报告，称2023年企业存储的主要趋势包括云操作模型、新的SSD技术、针对勒索软件的网络安全，以及更好地对非结构化数据进行分析。

2023-09-11 11:10:33

大规模块存储 EC 系统构建

纠删码则是将用户的原始数据进行切分，形成 K 个大小相等的分片，然后对这些分片进行编码，形成 M 个校验分片。校验分片的大小和数据分片相同。K+M 个分片会被分布在不同的机器上。

2023-09-08 10:13:35

存储 EC 系统

Pandas DataFrame 数据存储格式比较

Pandas 支持多种存储格式，在本文中将对不同类型存储格式下的Pandas Dataframe的读取速度、写入速度和大小的进行测试对比。

2023-09-06 15:00:35

Pandas 存储格式 Pandas

SAN存储进阶，搭建一个自己的SAN环境

得益于开源社区，我们可以借助一些开源项目来学习存储相关的技术。如下图是TrueNAS的一个GUI，可以看出其界面布局和基本功能与Unity有很多相似的地方。T

2023-08-31 22:05:02

SAN 环境存储

如何避免系统预读失效和缓存污染的问题？

MySQL 的数据是存储在磁盘里的，为了提升数据库的读写性能，Innodb 存储引擎设计了一个缓冲池（Buffer Pool），Buffer Pool 属于内存空间里的数据。

2023-08-31 13:36:00

系统预读失效

两节点vSAN配置实战

配置存储策略不是必须的，如果是标准vSAN，可以配置多个存储策略，比如网络RAID1，RAID5等，创建虚拟机的时候，可以根据虚拟机的重要程度选择不同的策略。

2023-08-30 08:00:49

vSAN 存储策略

华为OceanStor Pacific分布式存储荣获“AI存力底座最佳创新奖”

AI正走向大模型、多模态，数据的质量决定了AI智能的高度。先进数据存力是构建高性能计算差异化优势的关键。

2023-08-25 09:39:20

在重构中进化，新华三智慧存储打造下一代存储新范式

面向AI时代引爆的存力革新，新华三集团将秉持“精耕务实，为时代赋智慧”的理念，不断深化“内生智能·成就智慧存储”的技术战略，推出持续进化的存储产品和解决方案，助力百行百业激活数据潜能，奔赴数智时代。

2023-08-24 21:31:44

重构·进化·启新境丨新华三重磅发布新一代智慧存储新品

8月22日，紫光股份旗下新华三集团以“重构进化启新境”为主题，成功举办新一代智慧存储新品发布会，重磅发布H3C/HPE Alletra MP全局解耦NVMe智能全闪存储

2023-08-23 10:27:32

构建高性能日志存储与检索系统：利用MongoDB和Elasticsearch

本文介绍了利用MongoDB和Elasticsearch构建高性能日志存储与检索系统的关键步骤，包括数据结构设计、数据导入、查询优化、索引管理和系统监控等方面的内容。

2023-08-23 10:16:47

OCP China Day 2023开放计算生态论坛：强化生态聚合，产业链协同发展原创

未来，OCP社区还将最大化推动开放计算先进技术的产品化和产业化，并驱动未来数据中心的智能化、可持续性和大规模发展。

2023-08-17 13:52:45

开放计算人工智能

围绕数据网格的巨大争议：成功还是失败? 译文

本文将深入探讨数据网格的复杂性，解决围绕其是否过时存在的巨大争议，并探索它所带来的机遇和挑战。此外，还将讨论该行业可能缺少的内容以及可能阻碍其成功实施的潜在障碍。

2023-08-16 09:00:00

数据网格数据管理

Redis：揭秘高效缓存与数据存储利器原创精选

本文将深入探索Redis的重要概念、底层架构实现原理，指导程序员如何部署和使用Redis，并详细介绍Redis在各种场景下的具体使用和解决方案。

2023-08-11 09:00:00

Redis 数据存储

NFS文件系统中的RPC协议详解

正是由于在RPC数据包中包含的这些关键信息，当主机端发送的消息被服务端接收后，服务端根据这些信息就能知道应该调用哪个存根函数。

2023-08-05 12:58:51

RPC 协议服务端

谈谈有效推进数据治理的四个步骤

企业领导层希望最大限度地降低风险、增加洞察力并改善运营。他们需要一个强大的数据治理计划。怎么办？

2023-08-02 16:39:28

一文读懂浏览器本地存储：Web Storage

在我们的一些内部系统中，用户信息是每个页面都要用到的，尤其是 userId 字段，会与每个获取数据接口挂钩，但这个数据是不会变的，一直请求是没有意义的，为减少接口的访问次数，可以将主要数据缓存在 localStorage 内，方便其他接口获取。

2023-08-01 19:11:05

浏览器本地存储

全球首个！华为全闪存存储获DEKRA德凯存储产品碳足迹和碳标签证书

7月28日，全球领先的检验、检测及认证机构DEKRA德凯为华为OceanStor全闪存存储颁发全球首个DEKRA德凯存储产品碳足迹和DEKRA Seal碳标签证书。

2023-07-31 11:54:31

使用 WAL 构建你自己的 KV 存储

用户写入数据，实际就是先写入到 wal 中，写到 wal 之后，你会得到一个位置信息 ChunkPosition，然后把 Key+ChunkPosition 存储到内存数据结构中即可。

2023-07-30 17:34:53

KV 存储 ChunkPosit

MySQL中的存储过程（详细篇）

如果在实现用户的某些需求时，需要编写一组复杂的SQL语句才能实现的时候，那么我们就可以将这组复杂的SQL语句集提前编写在数据库中，由JDBC调用来执行这组SQL语句。把编写在数据库中的SQL语句集称为存储过程。

2023-07-27 07:03:24

MySQL 存储 SQL

华为发布大模型时代AI存储新品

华为顺应大模型时代AI发展趋势，针对不同行业、不同场景大模型应用，推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。

2023-07-14 13:49:18

OceanStor 华为

英特尔CEO帕特·基辛格一行到访新华三

作为数字化解决方案领导者,新华三集团已成为英特尔在中国最重要的客户和合作伙伴之一,也是全球战略生态合作伙伴。新华三强大的产品研发和系统工程能力,对英特尔的硬件和软件技术在数字化领域的应用,起到了关键性的推动作用。

2023-07-13 16:20:58

英特尔数字化新华三

面向大模型的存储加速方案设计和实践

数据入湖后，无论选择哪种存储加速产品，使用模式都足够简单。只需选择好 BOS 中待加速的数据和加速策略，PFS 和 RapidFS 即可自动完成数据集的加载和预热，无需任何操心。

2023-07-13 11:03:12

模型存储产品

宏杉科技多项产品上榜《2023年杭州市优质产品推荐目录》

作为一家高科技企业，宏杉科技对技术创新和品质产品的追求永无止境。面向未来，宏杉科技将持续践行数字中国建设战略，集中研发力量对存储关键技术进行攻坚克难，为千行百业用户提供全面、完善的数据存储产品和全栈解决方案，奋力为浙江省及全国数字经济高质量发展做出更多贡献。

2023-07-12 09:46:42

详谈云数据库

云数据库是数据存储和管理的未来。随着技术的进步，企业和组织已经意识到需要将数据存储在云端。云数据库是一种存储在云计算平台上的数据库。

2023-07-10 16:01:17

云数据库存储

尝鲜初体验：使用 Loggie 和 VictoriaLogs 快速构建新一代的日志系统

最近VictoriaMetrics发布了预览版的VictoriaLogs，类似Loki专门用于存储日志。鉴于VictoriaMetrics的良好名声，还是让大家对这条搅局的「鲶鱼」充满了一定的期待。VictoriaMetrics为什么要入局搞VictoriaLogs呢？

2023-07-10 08:42:36

Loggie 监控项目

系统架构设计实战：缓存失效策略选型

缓存失效策略应谨慎选择，以平衡性能和数据准确性之间的权衡。通过理解不同的缓存失效策略，软件工程师可以选择适当的策略来优化缓存性能，降低延迟，同时确保存储在缓存中的数据准确且最新。

2023-07-09 15:20:00

缓存平衡性能

Java 经典面试解析：服务器卡顿、CPU飙升、接口负载剧增

缓存的设计思想在架构设计中十分常见。比如我们每天用的操作系统，不管是Windows、Linux，还是Mac OS都有系统缓存、用户缓存。

2023-07-06 08:02:18

缓存架构操作系统

分布式存储架构发展及技术分析

存算分离架构中，网络技术非常重要，它决定了系统的响应速度以及吞吐能力，也决定了系统资源池化的能力范围。过去 10 年，万兆 IP 网络促使 HDD 池化，基于 IP 网络发展了支持块、文件、对象共享的访问协议。

2023-07-05 00:09:13

分布式存储架构

年中盘点：2023年最炙手可热的十家数据存储初创公司

初创公司通常会把创新重点放在解决存储堆栈的特定部分上，以新方式进入这个业务领域中的某个板块，无论是新的软件功能还是新的硬件产品。

2023-06-29 12:42:26

初创公司数据存储

安全擦除固态硬盘（SSD）数据的操作方式译文

用户可以使用软件安全地擦除 SSD 并且不会损坏驱动器。不同之处在于，SSD 不是安全地擦除驱动器中的所有数据，而是“重置”到干净的内存状态（不是出厂状态，这意味着没有驱动器磨损！）。

2023-06-28 09:48:51

上一页 1 ··· 3 4 5 6 7 ··· 101 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营