云原生、分布式发展如火如荼
2022年,数据库行业发展迅速,并呈现出若干鲜明特点。各数据库厂商及产品均取得长足进步,在部分重点技术领域有所突破,其中以国产化、云及原生、分布式为代表的厂商及产品表现突出。从技术方向上看,以分布式、Serverless、HTAP、云与云原生、生态开放等代表性技术,成为了各产品发展重点。
在分布式数据库领域,经过数年发展,分布式数据库在基本功能、稳定性、性能等方面已趋于完善,今年各家产品在小规模化、高可用、易用性、生态兼容方面着力发展。
在云与云原生领域,一方面部分国产数据库在上云方面走出更为扎实的步伐,并开始涉足海外;另一方面云厂商产品开始从托管类竞争,过渡到自有产品竞争,更加强调云原生能力,突出在承载规模、弹性能力及高性价比方面。
尤其值得关注的Serverless方向,通过与云底座更紧密结合,数据库服务形式开始尝试从资源型售卖转变为服务型售卖,在多变业务负载等场景有着不错的落地场景。各家从早期的Serverless一代产品,逐步演进过渡到二代,更为强调细粒度、高敏态等能力。相信在未来,Serverless方向将成为各家竞争的主力战场。
在HTAP方向下,经过数年发展相关理念已逐步得到用户认同,各厂商产品开始将HTAP能力作为基础能力看待;但在技术路线及能力标准方面,尚无统一认识,还在快速发展中。在数据库开发领域,强调开发体验实现简洁开发、良好兼容体验成为各家的共识;在打好基础的情况下,如何好用、易用成为关注重点。
除上述技术热点外,数据分析领域的湖仓一体,NoSQL领域中图、时序产品的企业级特性,AI与数据库结合等方向,也是较为火热的发展方向。
从企业角度来看,也呈现出若干鲜明特点。国产数据库厂商经过多年发展已逐步成熟,一方面受到来自政策、资本层面等诸多利好因素促进发展迅猛,一方面尝试拓展更多领域,涉足海外。云厂商发展特点一方面通过构建新一代云原生、Serverless能力,重塑产品能力;另一方面针对客群向ToB、ToG端变化趋势,突出在产品生态能力及垂直解决方案方面的投入。新兴厂商则在垂直领域(如HTAP、NoSQL、兼容性)深耕,寻找差异化竞争路线。
数据库产品半年度盘点
主流数据库的版本升级与更新亮点
在如此百花争鸣的2022下半年,dbaplus社群携手一众数据库行业专家,汇总、梳理并提炼出主流数据库近半年的版本更迭、性能优化、功能提升等关键信息,希望对大家了解数据库发展趋势,以及数据库选型工作有所帮助和启发。
本期要点
DB-Engines数据库排行榜
一、RDBMS
Oracle发布23c Beta版本
MySQL 2022年下半年重大更新及技术要点分析
PostgreSQL发布15.0版本
OceanBase发布3.2.4及4.0 Beta版本
二、NoSQL
Redis 7.0.3至7.0.7版本重要修复内容说明
RocksDB发布7.6.0版本
Neo4j 5版本发布
三、NewSQL
TiDB发布6.5 LTS版本和3个DMR版本
四、时序数据库
TimescaleDB发布2.9.1版本
YMatrix发布5.0版本
五、大数据生态圈
Elastic下半年发布3大版本
Flink发布1.16.0版本
ClickHouse共发布6个版本
六、国产数据库
SequoiaDB发布v5.2版本
QianBase™发布MPP-6.0.0版本和TP-14.2版本
ArkDB 2022年下半年更新技术要点
OushuDB发布5.0版本
AntDB发布7.0及7.2版本
七、云数据库
华为云2022下半年重大更新总结
阿里云2022下半年重大更新总结
腾讯云2022下半年重大更新总结
京东云2022下半年重大更新总结
青云2022下半年重大更新总结
PieCloudDB发布社区版和企业版
推出dbaplus Newsletter的想法
DB-Engines数据库排行榜
以下取自2022年12月的数据,具体信息可以参考http://db-engines.com/en/ranking/,数据仅供参考。
DB-Engines排名的数据依据5个不同的因素:
- Google及Bing搜索引擎的关键字搜索数量;
- Google Trends的搜索数量;
- Indeed网站中的职位搜索量;
- LinkedIn中提到关键字的个人资料数;
- Stackoverflow上相关的问题和关注者数。
RDBMS
Oracle发布23c Beta版本
在2022年10月18日的Oracle CloudWorld大会上,Oracle 宣布了Oracle Database 23c Beta 版,这一版本支持所有数据类型、任意工作负载和多种开发风格。其中一个亮点是提出了JSON Relational Duality 能力,在数据库领域将关系型和对象型两种架构的优势合二为一,既避免了关系型从开发人员角度看需要理解的复杂星型模型,又避免了从文档对象型模式固有的冗余存储、数据更新的高代价和困难的并发控制能力。
Oracle Database 23c,代号为“App Simple”,专注于简化应用程序开发。它提供跨越任何数据执行交易和查询,以及在任何数据组合上运行任何工作负载的独特能力,其特有架构可支持容器、事件、REST、低代码、SaaS等。
Oracle Database 23c 提供了300+个新特性和增强功能,可为使用 JSON、图形或微服务编写的应用程序实现突破性的开发人员生产力,同时还增强了 SQL 以使其更易于使用,并将 JavaScript 添加为存储过程语言。值得注意的是,Oracle Database 23 正式版本预计2023年发布。
Oracle 23c 重要新特性摘要:
- JSON 关系二元性(JSON Relational Duality)
- 可操作属性图
- 微服务支持
- SQL 域(SQL Domains)
- 自动物化视图
- 使用机器学习增强实时统计
- 无锁列值保留
- 滚动补丁
- 实时 SQL 计划管理
- K8s 和 Podman 上的 RAC
- 开发者角色
- SQL 防火墙(SQL Firewall)
- OKafka
- Javascript存储过程
- PDB级别的只读备库(Read-Only Per-PDB Standbys)
- 单表支持4096列
- Azure AD Oauth2 集成
- 多种数据类型和 SQL 增强:增加布尔数据类型;在SQL 方面添加了不带FROM子句的SELECT 查询;基于别名的GROUP BY;表关连的直接更新;Unicode-14 支持等诸多新特性
MySQL 2022年下半年重大更新及技术要点分析
一、下半年重大更新总结:
2022年下半年,MySQL 8.0发布了2个版本,8.0.30和8.0.31,有不少值得关注的新特性和bug修复,MySQL HeatWave在 AWS 上推出,AWS用户现在可以使用一个MySQL服务就可以运行事务处理、实时分析和机器学习,以下是简要介绍:
1、GIPK(Generated Invisible Primary Keys)
当开启GIPK模式后,可以允许没有显式定义主键的InnoDB表,自动生成不可见的主键,生成的主键名称为'my_row_id'并且无法更改。
2、replica_parallel_workers=0弃用
现在这样做会引发警告。要在没有警告的情况下获得相同的结果(即使用单线程),请改为设置 replica_parallel_workers=1
3、XA事务与复制
以前,当复制拓扑中的服务器节点在执行 XA PREPARE、XA COMMIT 或 XA ROLLBACK 时意外停止时,无法保证恢复。现在,无论MySQL 使用经典复制或 MySQL 组复制,均可在整个拓扑中保持一致的 XA 事务状态传播,这样所有服务器始终处于同一状态。
4、innodb_doublewrite 系统变量的新设置
innodb_doublewrite 系统变量有两个新设置,DETECT_ONLY 和 DETECT_AND_RECOVER。使用 DETECT_ONLY 设置仅用于检测不完整的页面写入。DETECT_AND_RECOVER 设置等同于现有的 ON 设置。
5、动态配置Redo日志容量
InnoDB 现在支持重做日志容量的动态配置。从 MySQL 8.0.30 开始,InnoDB 在数据目录下的#innodb_redo 目录下维护了 32 个重做日志文件。之前InnoDB默认在data目录下创建两个redo log文件。
6、修复启用AHI的bug
修复了构建哈希索引时,在高并发实例上启用自适应哈希索引 (AHI) 会导致临时 AHI 搜索latch争用的bug。
7、并行索引构建
InnoDB 现在支持并行索引构建,这提高了索引构建性能。
8、MySQL优化器对集合操作的内部管理得到改进
包括如下:
当您尝试以下查询时不会抛出旧的 ER_NOT_SUPORTED_YET错误:
MySQL 现在遵循 SQL 标准中指定的语义,因此外部limit不能覆盖内部较少的limit。这意味着表达式 (SELECT … LIMIT 3) LIMIT 5 最多可以返回三行。
UNION DISTINCT 和 UNION ALL 现在可以以任意组合嵌套。
9、Rewriter插件可根据重写器规则表重写 SQL 查询
以前,所有查询都需要重写,包括来自任何用户的查询,无论权限如何,包括内部系统查询,此 MySQL 版本提供了一种机制,允许插件跳过某些查询的重写,例如由系统线程执行的查询和来自指定用户的查询。
10、监视在线缓冲池大小调整操作的状态变量
提供了两个新的状态变量,用于监视在线缓冲池大小调整操作。Innodb_buffer_pool_resize_status_code 状态变量报告指示在线缓冲池大小调整操作阶段的状态代码。Innodb_buffer_pool_resize_status_progress 状态变量报告一个百分比值,指示每个阶段的进度。
二、明年展望:
MySQL HeatWave Lakehouse预计明年一季度推出,使客户能够处理和查询对象存储中高达数百 TB 的各种文件格式(例如 CSV 和 Parquet,以及 Aurora 和 Redshift 备份)数据。
PostgreSQL发布15.0版本
2022下半年,PostgreSQL主要发布了12、13、14版本系列的修正版本12.12、12.13、13.8、13.9、14.5、14.6及15版本系列正式版本15.0、15.1,其中值得关注的新特性有:
1、开发者体验类:发布有条件执行数据更新操作的MERGE功能;全面支持JSON的创建、检索、更新、属性探知;支持全面的正则表达式功能和多范围聚合功能。
2、性能提升类:备份和日志均新增支持Zstandard算法;对内存和磁盘数据排序性能提升25%--400%。
3、后台管理类:日志引入jsonlog格式,以方便结构化提取、聚合、分析使用;逻辑复制支持行过滤和列过滤操作,可以对库中指定表进行发布和订阅。
4、开发者体验类:发布有条件执行数据更新操作(INSERT、UPDATE、DELETE)的MERGE功能,以方便开发者通过相对简单、更有直观意义的查询来执行相应的数据更新操作;支持最新SQL/JSON标准,全面支持JSON的创建、检索、更新、属性探知;支持全面的正则表达式功能,包括regexp_count 、 regexp_instr 、 regexp_like 和 regexp_substr 等功能;新的range_agg多范围multirange聚合功能。
5、性能提升类:备份和日志均新增支持Zstandard算法,包括原来支持的GZ4,LZ4算法,现备份和日志操作均支持上述压缩算法,以方便开发者配置不同的场景使用不同算法;对内存和磁盘数据排序性能提升显著,使用标准benchmark测试,性能提升25%--400%;相应地同步提升了窗口函数如row_number()、rank()、dense_rank()、SELECT DISTINCT等操作的性能。
6、后台管理类:系统日志引入jsonlog格式,以方便其他应用软件可以结构化地提取、聚合、分析日志;逻辑复制现支持行过滤和列过滤,同时也可以指定表进行发布和订阅;\dconfig指令可以一键检查系统参数中,所有与系统缺省值不同的参数配置,大大方便管理人员。
OceanBase发布3.2.4及4.0 Beta版本
2022年7月至今,OceanBase数据库先后发布了3.2.4、4.0版本,企业版及社区版共计新增特性及功能164项。其中值得关注的新特性有:
1、单机分布式一体化架构:自适应日志流、支持超大事务、RTO 时间降低到 8s 以内、NTP 服务依赖优化、支持分区数量能力上限等版本基础核心能力构建。
2、小型化及小规格部署能力:降低分布式数据库的硬件门槛,减少数据库自身的资源开销,最小支持在4C8G环境下稳定运行,小规格单机部署亦具备完整功能。通过平滑扩缩容,用户可由单机平滑扩容到多机,多机亦可平滑缩容到单机。
3、高可用能力:实现RTO <8秒,通过自动选主协议以及全面的探活机制,进一步将机器故障最坏场景下系统恢复时间降低到8s以内,帮助业务系统更快恢复,最大程度减少业务影响,给业务带来持续可用的能力。
4、内核能力增强:在多租户的核心能力方面, 首次将 IOPS 纳入隔离体系,并将集群级别粒度的备份能力细化拆分到租户级别粒度,最小可支持按租户级别的备份及恢复。支持主键变更、列类型变更等用户期待已久的DDL能力,LOB 规格上限扩展,支持表锁和死锁检测等。
5、兼容性增强:支持 DDL 语句的外键约束,支持视图列信息展示,支持 DML 触发器,支持更多 SQL MODE 和函数等。扩展支持 SEQUENCE 对象,支持存储程序,支持 SQL 文本中的预处理,支持自增列作为分区键。其中,Oracle模式新增系统包 DBMS_SCHEDULER,系统包函数补充完善。MySQL模式支持地理信息系统(GIS),兼容 MySQL Binlog 解析,新增系统包 DBMS_RESOURCE_MANAGER,便于用户创建和维护资源使用组、资源管理计划。
6、性能大幅提升:SYSBENCH 性能优化,综合读写性能(Read Write)1024 并发测试性能相比于 3.1 版本提升 1 倍。TPC-H 查询性能优化,100GB 数据量顺序执行 22 条 SQL,整体性能相比于 3.1 版本提升 5 倍。
7、HTAP能力:正式支持用户级TP/AP资源隔离,帮助用户对资源隔离进行更细微的控制。如某个用户执行不同 SQL 使用不同的资源规格进行隔离,通过细粒度的应用方式帮助业务分配和隔离资源,减少业务之间的互相影响。
8、运维能力提升:支持全链路追踪,支持 SESSION 状态的监控和诊断(ASH),标准化视图优化,支持 Schema History 回收功能,支持自动清空回收站功能等。
此外,2022年8月10日宣布全球开服OceanBase Cloud,随着 4.0 的发布,OceanBase Cloud 覆盖范围将扩展至更小规格。通过云上全托管的数据库,为用户提供从初创企业、高增长企业、成长至成熟企业的全周期服务及云上创新能力。
NoSQL
Redis 7.0.3至7.0.7版本重要修复内容说明
2022下半年,Redis主要发布了7.0.3至7.0.7五个版本,从release notes中看,主要是修复了一些BUG,其中值得关注的新改进/新修复有:
1、性能和资源利用率改进:
地理命令加速(#11535、#11522、#11552、#11579)
优化命令返回双精度值,主要影响 zset 命令(#11093)
在禁用客户端驱逐时优化客户端内存使用跟踪操作 (#11348)
优化大型 ZRANGESTORE 上的 zset 转换 (#10789)
优化在大型集群上发送 PING 的性能 (#10624)
允许在集群模式下更快地重启 Redis (#10912)
2、CLI 工具的变化:
redis-benchmark 避免从CONFIG GET得到NOPERM而中止(#11096)
支持将缺少的集群端口添加到 redis-cli --cluster (#10344)
3、INFO 字段和内省更改:
将缺失的分片 pubsub keychannel 计数添加到 CLIENT LIST (#10895)
在 INFO STATS 中添加缺失的 pubsubshard_channels 字段 (#10929)
4、Redis 7.0 版本中修复的问题:
修复 Redis 7.0.6 在地理命令的距离回复中的回归 (#11631)
TLS:在连接关闭时通知客户端(#10931)
集群:修复握手和集群分片调用期间的崩溃 (#10942)
TLS:修复大量回复的问题 (#10909)
redis-server 命令行允许在同一个参数中传递配置名称和值 (#10866)
支持不带值的 --save 命令行参数以实现向后兼容性 (#10866)
修复 TLS 错误处理以避免超时连接丢失 (#11563)
修复对 cluster-announce-*-port 的运行时更改以在本地节点上生效 (#10745)
修复 AUTH 设置为“keys”的 MIGRATE 获取错误的key名导致 MOVED 或 ACL 错误(#11253)
修复驱逐与无惰性结合且 maxmemory-eviction-tenacity 设置为 100 时的挂起 (#11237)
修复了副本可能由于手动故障转移而尝试将自己设置为其主服务器时的崩溃 (#11263)
修复启用集群的副本节点可能将其主节点的主机名永久设置为“?”的错误 (#10696)
5、其他一般改进:
帐户分片 pubsub 通道内存消耗 (#10925)
允许在加载和陈旧模式下执行ECHO (#10853)
集群:当节点只有一些key的时候,在迁移节点上抛出 -TRYAGAIN 而不是 -ASK 以实现multi-key命令 (#9526)
RocksDB发布7.6.0版本
RocksDB 7.6.0 现已发布,RocksDB 是一个来自 Facebook 的可嵌入的支持持久化的 key-value 存储系统,也可作为 C/S 模式下的存储数据库,基于 LevelDB 构建。更新内容如下:
1、新的功能
添加 prepopulate_blob_cache 到 ColumnFamilyOptions;
支持使用 blob 缓存的二级缓存。在创建 Blob 缓存时,用户可以通过配置 LRUCacheOptions 中的 secondary_cache 来设置二级 Blob 缓存;
当 blob 缓存和 block 缓存的 backing 缓存不同时,计费 blob 缓存的内存使用量;
改进 subcompaction 范围划分,使其可能更均匀。subcompaction 的更均匀分布将提高某些工作负载的压缩吞吐量;
2、Public API changes
删除了对 RateLimiter 的 Customizable 支持并删除了它的 CreateFromString () 和 Type () 函数;
CompactRangeOptions::exclusive_manual_compaction 现在默认为 false。这确保了 RocksDB 默认不会引入人为的并行限制;
3、Bug 修复
修复从 7.4.0 开始的错误,即在一个 DB 上的任何 DropColumnFamily 之后,一些 fsync 操作可能被跳过,直到它被重新打开。这可能会导致断电时的数据丢失;
修复一个错误,当用户配置一个包围它的结构时,GenericRateLimiter 可能会使用 SetBytesPerSecond () 动态地恢复设置的带宽,例如,使用 GetOptionsFromString () 配置一个引用现有 RateLimiter 对象的选项;
修复 GenericRateLimiter 中的 race conditions;
修复 FIFOCompactionPicker::PickTTLCompactiontotal_size 计算可能导致下溢的错误;
4、性能改进
与其在每次读取操作中构建 FragmentedRangeTombstoneList,现在它被构建一次并存储在不可变的 memtable s 中。这提高了从不可变的 memtables 中查询 range tombstones 的速度。
将迭代器与集成的 BlobDB 实现结合使用时,现在会在迭代器的位置更改时立即释放 Blob cache handles。
如果设置了 optimize_multiget_for_io ReadOption flag,MultiGet 现在可以通过从多级读取 SST 文件中的 data blocks 来并行执行更多 IO。
Neo4j 5版本发布
Neo4j 5版本在性能、可扩展性和操作敏捷性方面实现了重大改进,具体更新内容包括:
1、查询性能
Neo4j 工程师的运行时优化使 K-Hop 查询变得更快。内部基准测试表明,对于 8-hop 查询,Neo4j 5 的性能与其前身相比提高了 1000 倍。
Cypher clauses CONTAINS 和 ENDS WITH 广泛用于按文本属性过滤结果。Neo4j 5 中基于 trigrams 的新 TEXT 索引实现使它们的速度提高了数百倍。
公告称,“结合其他内部改进和更优化的查询计划,这些新功能使 Neo4j 5 成为我们有史以来最快的实现”。
Neo4j 5 还使编写复杂的模式匹配查询变得更加容易。Cypher 现在具有 label 和关系类型表达式的语法,允许用户在各个 label 和关系类型之间指定 Disjunction(OR)、Negation(NOT)和 Conjunction(AND)运算符。
Aura 和 self-managed Neo4j 用户可以获得性能和语言改进。
2、Sharding and Fabric
从版本 4 开始,Neo4j 可以使用 Fabric 从数据库分片中读取数据,就好像它们是单个图一样。在 Neo4j 5 中,现在你可以使用 Cypher 的 Composite database 命令即时创建 Fabric 数据库。当你想要创建跨多个数据库的查询以打破隐藏洞察力和阻碍协作的孤岛时,Fabric 也会派上用场。在 Neo4j 5 中,它已得到增强,可以跨驻留在多个集群中的数据执行联合查询。
3、Autonomous Clustering
如果你的受众正在增长,那么你需要 Autonomous Clustering。从版本 3 开始,用户就可以运行多个 Neo4j 数据库并将它们横向扩展以每秒处理数万次查询,并且仍然以客户想要和应得的毫秒延迟执行。
然而,Neo4j 5 中的 Autonomous Clustering 将管理负担完全从操作者转移到了软件上。你所要做的就是声明你需要多少个主副本或辅助副本以及你希望如何在集群中管理这些副本,你的愿望就是 Neo4j 的 Cypher 命令。顾名思义,Autonomous Clustering 极大地减少了为响应吞吐量变化而横向扩展或减少托管这些数据库的服务器数量所需的人工工作,并充分利用你的基础架构的弹性。
4、Agile Operations
Neo4j Ops Manager 是一个 UI 控制台,它为操作员提供了更多的管理控制权和跨数据库、实例和集群的操作指标的鸟瞰图。
“为了向现代 DevOps 实践和向云的转变致敬,从 Neo4j 5 开始,你将在 Aura 发布的同时收到最新和最伟大的创新。此外,Neo4j 5 具有简化的升级体验,使你能够通过任意版本升级跳过次要版本,并在 autonomous clusters 中支持零停机滚动升级。”
所有这些改进使得在本地或你选择的云上运行 Neo4j 图形数据库工作负载变得更加容易和高效,确保 feature parity 和与 Aura 的兼容性,因此你可以在 Aura 中开发和测试并在自我管理的实例上运行生产(反之亦然)。如果你已经是 Aura 用户,则不必担心管理负担或你的数据库是否能够处理额外的负载。性能、可扩展性和易操作性都已融入了 Aura。
NewSQL
TiDB发布6.5 LTS版本和3个DMR版本
一、下半年重大更新总结:
2022 下半年,TiDB 在规模化联机交易和实时分析两大领域实现快速的迭代创新,发布了 6.5 LTS 版本和 6.2、6.3、6.4 三个 DMR 版本,累计优化和更新功能超过 100 多项。11 月 1 日,TiDB Cloud Serverless Tier beta 版正式发布,秒级就可以创建一个 HTAP 数据库并获得流畅的开发体验。
在近半年发布的 TiDB 新版本中,值得关注的功能亮点主要包括:
1、更成熟的内核:TiDB 针对内核重要特性集合用力打磨,提供更为顺滑的体验。v6.1 分区表 GA 并加入了动态裁剪,后续版本陆续加入分区交换、兼容 Linear Hash 分区、针对分区的优化器加强等,v6.5 引入分区重组,支持分区合并与分区分裂;JSON 对于需要灵活 Schema 的场景非常重要,v6.2 到 v6.5 版本,引入了完整的 MySQL 5.7 兼容函数、JSON 生成列、JSON+ 表达式索引支持、生态工具兼容支持、TiFlash JSON 支持加强等;在线 DDL 是 TiDB 重要设计优势,新版本在 DDL 串行的基础上支持 DDL 并发,使用 Metadata Lock 改进 DDL 对 DML 的干扰,索引构建性能在 v6.5 中实现 10 倍提升。
2、多样化灾备能力:TiDB 打造多样化的灾备能力,助力业务连续性的提升。PiTR 在 v6.2 GA 并在后续版本中实现了多个方面的持续增强:减少备份文件大小和数量,实现跨云复制,稳定性增强,v6.5 新增细粒度 PiTR 等。通过全量 + 增强备份恢复数据库,相比 Flashback,PiTR 不受 GC 时间长短影响,提供对集群、数据库、表级别的数据恢复的能力,全量 + 增量设计减少所需的快照备份频次,减少对集群性能的影响。基于备份恢复的灾备方面,BR 快照备份支持断点续传;基于 CDC 的灾备方面,TiCDC 吞吐性能得到大幅提升,达到单表 30M 每秒,提供下游集群一致性读取的能力。
3、产品易用性提升:TiDB 近半年发布的版本提供更多新特性来提升易用性:AND 操作下的索引归并读取,过往版本加入了在 OR 条件下的 Index Merge,v6.5 加入 AND 运算下 Index Merge 支持;TiFlash 支持 INSERT INTO SELECT,将 TiFlash 算完的报表进行回写以应对高并发读取;v6.5 引入完整的批次自动拆分机制,提供完整的大事务自动拆分支持。
4、丰富的应用开发者生态:TiDB 注重应用开发者生态的构建,v6.1 以来,TiDB 加入了更好的常见 Framework 兼容,与更多的上下游生态厂商实现产品生态的对接,例如 Vercel、HashiCorp、Retool 等。除了之前已经支持的 Apache Flink 和 Kafka 等流处理框架,v6.5 版本中 TiCDC 支持向 Object Storage 写入。
时序数据库
TimescaleDB发布2.9.1版本
TimescaleDB 发布的2.9.1版本增加了对分布式超表(多节点 TimescaleDB)的支持,并添加了一些新特性和功能增强,让用户对数据的控制更加清晰和灵活。此版本包含自 2.9.0 版本以来的错误修复,是升级的高优先级,官方建议尽快升级。
Bug 修复:
修复 CAgg 对 CAgg bucket 大小的验证问题(#5072);
修复了对具有重命名列的 caggs 启用压缩的问题(#5101);
修复在 Windows 上针对 PG15 的构建(#5106);
修复 postgres 服务器在 background worker 退出时重启的问题(#5117);
修复更新脚本中 job_errors 的权限问题(#5121)。
YMatrix发布5.0版本
2022下半年,YMatrix (原MatrixDB )完成 4.6.及4.7 两个小版本迭代,并正式发布了全新YMatrix 5.0 版本。值得关注的更新有:
1、全场景性能提升:时序写入性能达 1.52 亿数据点/秒,对比TimescaleDB查询耗时缩短5.1 倍;基于SSB 测试基准比 Clickhouse 快 27%;对比Greenplum,在多表关联分析场景上实现了数倍的性能提升;对比Spark,在机器学习场景上的性能是其 8 倍;在 Intel 实验室的 TPC-B 国际标准测试中,主键查询 tps 高达 160 万。
2、全新数据库架构:引入 etcd 集群来管理数据库集群状态,实现了数据库集群主节点(Master)和主节点备用节点(Standby)的自动故障切换,同时加强了数据节点(Segment)的主(Primary)从(Mirror)副本自动故障切换。
3、新增向量化执行引擎:专门为面向列的存储引擎(如 MARS2,AOCO)打造的高性能执行引擎。对于常见查询,相比面向行处理的传统执行引擎可获得1到2个数量级的性能提升。
4、MARS2 存储性能大幅优化:优化压缩策略及分区表写入,显著降低内存使用量;优化查询过滤效果,减少不必要的 I/O 消耗。
5、新增编码链压缩算法:支持多种编码、压缩算法,可灵活组合各类算法,以充分提升压缩率;支持按列自定义编码、压缩算法组合。
6、新增平滑扩容功能:支持不停机完成扩容任务,支持自定义数据节点集合(Segment Set),实现对部分表的重分布。
7、新增数据迁移工具 mxshift:支持全量迁移, 反向迁移和增量迁移。
8、图形化界面升级:增加查询监控、写入测试和查询测试功能。
大数据生态圈
Elastic下半年发布3大版本
Elastic 截至再2022年12月底发布了3个大版本,从8.3.x~8.5.x,每个大版本之间包括几个小版本问题修复;7.17.x依然在继续支持持续更新,属于过渡性升级版本,主要侧重对已知问题修复,也包括与8.x版本兼容性升级2022年下半年最重要得是推出了TSDB时序数据特性能力。
图示:Elasticsearch 2022 下半年版本发布
8.3.x ~ 8.5.x版本的增强与提升:
1、ingest pipeline 数据处理性能提升
Elasticsearch Ingest 是一个内部专用的数据处理功能模块,支持比较多的丰富特性,也支持多个独立索引合并大宽表的处理,算是一个轻量级的ETL,本次性能优化提升不少,同比降低了10%CPU消耗,也提升了不少数据处理吞吐能力。
2、synthetic source 源数据合成重建
Elasticsearch 为了存储原始数据,设计了 source 来存储, 为了解决设计排序与聚合统计,又设计了doc_values 存储对应的列,这造成了数据重复存储,现在通过混合方式,重建构建 source,部分数据可以来自列式doc_values,这会显著节约索引存储占用。
3、time series data stream 时序数据流
Elasticsearch 8.5.0 正式发布了时序数据特性,同步过去同类型数据节约了44%(官方介绍)的存储空间;当下时序数据库领域,产品众多,竞争激烈,有专用的时序数据库,有混合时序特性的传统关系型数据库,也有混合时序特性的新型NOSQL数据库,有的强调存储空间压缩率,有的强调读写性能,有的是为了增强自身产品生态。Elasticsearch的 时序数据特性在时序数据库领域不是最强,若结合 Elasticsearch 平台已有的各种特性能力,又是一款具有非常大的挑战性的产品特性,在多数大中型规模以下应用场景,几乎可以不考虑其存储成本问题,生态的丰富性完全可以抵消这部分,这是很多其它专用时序数据库所不能的。
4、OpenJDK 19.x
JDK最近几年发布新特性与版本都很快,业界当前应用最广泛依然是JDK8、JDK11,更高版本的无论是应用系统还是中间件都很少, Elasticsearch 当前已经升级到 OpenJDK 19.x,为了更好的性能或者更多的特性,Elasticsearch 敢为天下先,为广大Java领域的开发者提供了很好的学习参考。
Flink发布1.16.0版本
1、引入 SQL Gateway,支持用户方便的提交 Flink SQL 作业;
2、继续完善Hive SQL 的兼容性(达到94.1%),且SQL Gateway支持兼容HiveServer2协议,Hive作业和Hive生态迁移到Flink更加容易;
3、支持通过Join Hint指定Join的策略,干预不合理的执行计划;
4、批SQL作业支持自适应HashJoin策略,避免作业异常,提交作业运行稳定性;
5、引入了预测执行机制,解决问题机器导致批Flink作业处理慢的问题,提高作业运行稳定性;
6、引入了混合 Shuffle 模式,使得Flink批作业资源利用更加合理,并提升 Shuffle 效率;
7、进一步改进了 Blocking Shuffle 的可用性和性能,并引入两种压缩率更高的压缩算减少存储空间;
8、支持动态分区拆解,提高了批SQL作业读分区表的执行效率;
9、进一步完善了Changelog Statebackend,达到生产可用;
10、改进了RocksDB StateBackend Rescaling的性能,并改进其监控体验,提高可运维性;
11、支持配置透支缓冲区,减少 Checkpoint 的间隔;
12、支持配置从 Aligned Checkpoint切换到 Unaligned Checkpoint 的时间点;
13、支持对部分流SQL作业非确定性问题的提交时自动检测和修正;
14、改进流 SQL 维表 Join 能力,提供异步、缓存、重试等技术;
15、进一步补全PyFlink API、Connector 的能力和完善“线程“模型功能,功能及性能达到全面生产可用;
16、展了多个 DDL 语法以帮助用户更好的使用 SQL;
17、引入DataStream#cache API,支持缓存 Transformation 的执行结果。
ClickHouse共发布6个版本
2022年下半年,ClickHouse主要发布了6个release 版本,其中值得关注的特性有:
1、多种Join算法支持
V22.5开始提供parallel_hash,对于大型连接特别有用,在这种情况下,高并行度可以将查询执行时间减少 80% 以上;
V22.7 提供full_sorting_merge;
V22.12 提供 grace_join,一种基于Grace Hash的非内存限制的Join算法。
2、ReplicatedMergeTree支持INSERT失败重试
当ClickHouse Keeper 或 ZooKeeper 的连接暂时丢失时,或者长时间运行的INSERT操作失败时。数据块现在将被重试,以防止整个INSERT查询失败,重试次由insert_keeper_max_retries参数控制。
3、轻量级删除
V22.8 开始提供实验性的轻量级删除功能,支持DELETE FROM [db.]table [WHERE expr]语法。它是一种异步的 mutation 操作,把删除的数据用掩码标记,在查询的时候过滤,在分区合并的时候彻底删除。
4、Final查询的并行执行提升
V22.7开始,Final查询将data parts拆分并将它们分布在多个线程中,以提升FINAL查询更多的数据并行性。
5、Too many parts 检查条件放宽
V22.10开始,ClickHouse放宽了Too many parts检查。默认情况下,如果分区中活动部件的数量超过 300(可通过配置parts_to_throw_insert),ClickHouse 将抛出异常。而现在,通过设置max_avg_part_size_for_too_many_parts(默认值:10 GiB),允许非常大的分区 (100+ TB)存在,而不会抛出任何错误。
6、支持从数据湖查询
V22.11 开始提供 Apache Hudi 和 Delta Lake 的表引擎和表函数,用于从“数据湖”查询和摄取数据。
7、云存储支持
继续S3后,V22.11支持阿里云OSS的支持,提供OSS表引擎和表函数。
8、日期类型支持的范围扩展
V22.8开始Date32和DateTime64支持从1900年到2299 年的日期,在以前的版本中,支持的时间间隔仅从1925年到2283年。
9、提供官方版本的NodeJS客户端
继Java、Python和GO的官方语言客户端之后,现在提供了官方的NodeJS客户端。
10、内置简单图表工具和监控Dashboard
V22.7 提供内置的Play UI,可以绘制一些基本图表;
V22.9 提供了内置的监控Dashboard,监控ClickHouse Server的基本运行指标。
国产数据库
SequoiaDB发布v5.2版本
2022下半年,巨杉数据库主要发布了v5.2版本,通过对实时能力的提升,让全量数据的价值从「内部离线」向「实时对客」进一步释放。其中值得关注的新特性有:
1、查询更实时,所有数据可毫秒级访问
面向结构化数据,SequoiaDB v5.2版本提供深度的Join优化及列存微分区技术,在多个查询场景下,性能达到了毫秒级实时返回;分析场景中,性能更获得了10倍以上提升,让数据湖的查询分析更实时。
2、存取更实时,吞吐量提升30%以上
面向非结构化数据,巨杉通过「分片并发」及「可变分区大小」的技术,相比原有版本,SequoiaDB v5.2版本吞吐量提升30%以上,让数据湖的非结构化数据存取更实时。
3、诊断更实时,业务问题分钟级定位
巨杉数据库发布SAC运维管理工具的重要特性更新,运行监控方面提供了全GUI的性能及故障分析能力,SAC基于分布式架构的实时诊断,可实现业务问题分钟级定位。
4、全量数据生命周期管理,提升人效及能效
部署架构方面,支持多配置硬件的混合部署,针对高并发数据与低并发数据,做到按需调度;面向横跨结构化、非结构化数据,提供一体化的开发及管理能力,提升人效及能效,在成本可控的前提下,实现全量数据实时可用。
QianBase™发布MPP-6.0.0版本和TP-14.2版本
2022下半年,QianBaseTP单机版主要发布了14.2版本,在产品的功能性、兼容性和数据安全方面进行了提升,主要内容如下:
1、DDL闪回,提供表级别的DDL闪回功能,对于用户误用drop table命令导致表被删除的情况,可以从“回收站”闪回,大大提升了数据表安全的可操作性;
2、connect by 层次查询,将分层数据按照层次关系展示;
3、DML闪回,提供表级别的DML闪回查询功能;
4、提升Oracle的函数兼容性,包含但不局限于日期/时间函数,转换函数,字符串函数等),数据类型等;
5、支持OnlineDDL功能,在线修改列字段类型,不影响业务运行;
6、支持TP高可用集群部署,支持主备和一主多备;
7、db/schema/table/user级别的备份与恢复;
8、支持国密算法的透明加密功能,极大的增强了数据安全性。
2022下半年,QianBaseMPP主要发布了6.0.0版本,在产品的功能性、安全性和高可用方面进行了提升,主要内容如下:
1、AO表支持主键和唯一索引,解决数据并发/批量插入时,存在键值数据重复的问题;
2、多字符分隔符,TXT及CSV数据文件批量导入数据库时,支持多字符的行分隔符和列分隔符;
3、支持中文检索,中英文混合检索,可自建用户字典;
4、强制访问控制,提供不同密级数据混合存放在同表,对用户写读数据进行逐行的人为过滤和检查,满足"上读下写等更新"的安全原则;
5、审计功能,通过后台记录用户执行的DDL/DML操作,追踪用户执行的操作和结果,并使用标准SQL表记录,方便进行数据过滤;
6、AO表透明加密支持国密SM4算法,AO表开启明加密后,以块为单位在写入磁盘文件前自动加密,文件中存的是密文,从文件读入内存后自动解密;
7、用户认证国密支持了SM3算法,用户配置SM3认证方式之后,创建用户的密码将会以国密SM3算法对明文密码进行加密;
8、master宕机自动切换standby。
ArkDB 2022年下半年更新技术要点
1、ArkDB兼容到mysql-8.0.31版本;
2、通过mysql-test提升ArkDB稳定性;
3、更新共享存储服务端的版本,并且修改了兼容度;
4、在mysql-test测试中,加入了对sysbench的兼容及引入,可以通过sysbench来做压力测试了;
5、修复ArkDB事务在多次start的情况下,导致的REDO日志不完全,从而引起的从库MVCC失效的问题;
6、修复热点页面再次被修改并加入到脏页链表,导致ArkDB断言错误的问题;
7、修改在ArkDB主从切换时,有可能被提前刷盘导致从库读到太新数据的问题;
8、修复REDO日志中有些记录不能成对出现导致复制时从库的逻辑出现异常的问题;
9、修改在主库生成REDO日志时,没有将涉及到的Page页面排序去重导致的从库异常问题;
10、修改由于undo/btree配比不对导致主从复制变慢的问题;
11、ArkDB数据统计功能,修复兼容性问题;
12、Arkolap引擎增加了对分布式节点、多源节点的支持;
13、Arkolap增加内部连接池,优化性能;
14、其他若干问题修复。
OushuDB发布5.0版本
OushuDB 5.0通过多种创新的技术,可支持超高并发、超大规模集群以及存算分离,解决了传统数据库由于复杂查询并发的限制、集群规模的限制或者支持的表数目的限制等等而导致的分库分表,从而可以真正的实现湖仓一体,避免数据孤岛,满足湖仓一体的ANCHOR标准:
1、多活主节点支持超高并发
传统数据库大多只支持一主多备主节点,主节点可以同时支持读和写查询,备节点要么不支持写,只做为备份节点使用,要么只支持读。而OushuDB 5.0的所有主节点都可以支持读写,可以水平扩展至很多主节点,增强了HA(高可用)的同时,还可以完全保证事务的ACID。结合OushuDB的多虚拟计算集群和多虚拟计算存储集群技术,可以支持超高并发复杂查询,用户不再需要分库分表,从而解决数据孤岛问题。
2、支持多虚拟存储集群架构
支持多虚拟存储集群架构,可以无缝支持多种类型分布式存储的多个集群,包括对象存储、HDFS、Magma等,比如一个大型的OushuDB集群可以支持3个HDFS集群、1个对象存储集群和1个Magma存储集群,不同集群可以支持不同应用场景。多虚拟存储集群架构还可以解决单一存储集群的限制,例如单个HDFS集群的文件数限制。此外,多虚拟存储集群架构还可以做到业务级别的IO资源隔离。
3、分区表性能提升
通过压缩等方式,极大的降低了元数据的体量,可以支持超大规模亿级别的分区表数目。传统分析型数据库在表数目比较大,比如百万级别的时候,性能就会急剧下降,而OushuDB 5.0很好的解决了这个问题,提高了性能。
4、Update/delete性能提升
通过重新设计事务处理系统,减少了Update/Delete操作对元数据的读写,提升了update/delete性能。比如针对只更新少量数据的场景,性能得到了数倍的提升。
AntDB发布7.0及7.2版本
一、2022下半年重大更新总结
2022年下半年,AntDB数据库发布了7.0及7.2版本,其中值得关注的亮点有:
1、流式处理引擎
AntDB流式处理引擎,彻底将流式计算与传统交易、分析型数据存储进行融合,用户可以在数据库引擎内,通过标准SQL自由定义数据结构以及实时处理逻辑。数据在数据库内部的流对象、表对象之间自由流转的过程中,用户可以随时通过建立索引、流表关联、触发器、物化视图等方式对数据进行性能优化、数据加工、集群监控以及业务逻辑定制。
开发人员完全摆脱了使用Java/Scala代码定义数据加工逻辑的复杂性, “一款产品,满足多种数据加工类型”也大幅度降低了整体技术框架的复杂度,提升系统的安全稳定性与开发效率。
2、全新推出超融合架构
超融合架构是在统一框架下,实现内存计算、交易、分析、流处理、时序等多种数据处理能力的融合,在HTAP概念上进行进一步拓展,将时序存储、流处理执行以及向量化分析等多引擎进行统一架构封装,让同一个数据库集群支持多种业务模型,大大降低业务系统对多样化数据需求支持的复杂性。
3、电信级核心交易能力优化提升
原生异地多活分布式弹性架构,平滑扩展、电信级高可用、同构异构数据库数据同步、数据备份、备份恢复、高可用及容灾秒级切换、高性能高吞吐等关键能力优化提升。
二、明年展望
在超融合一体流式引擎的基础上,AntDB进一步提升内存计算、交易、分析、流处理、时序五大能力的融合深度。产品架构上,AntDB将会继续强化多租户、云原生等能力,在公有云、混合云、私有云使用的存算分离架构进行进一步的支持。
云数据库
华为云2022下半年重大更新总结
一、GaussDB重大更新总结
2022下半年,GaussDB主要发布了2.22.07.2xx、2.22.08、2.22.09、2.22.10、2.22.11等版本,其中值得关注的新特性/新功能/新改进/新修复有:
1、Oracle兼容性:支持自定义数据类型,新增系统函数、系统视图以及高级包80+;
2、性价比:支持ECS混合部署、支持8U实例、ECS支持10GE网卡、在线规格变更;
3、高可用:Paxos异地容灾、快照备份、备机备份、管理面支持两地三中心、MCS形态支持流式容灾、提供跨Region备份恢复API、云外备份等;
4、运维:升级与底座解耦等;
5、硬件:支持NVMe盘、支持RAID5等。
二、GaussDB(for MySQL)重大更新总结
2022年6月至今,GaussDB(for MySQL)持续在产品竞争力和用户体验上进行能力迭代,发布了以下新功能:
1、包周期实例支持存储缩容;
2、支持库表级时间点恢复;
3、支持规格自动变更配置(Autoscaling);
4、支持GaussDB(for MySQL)单节点重启;
5、数据库代理Proxy支持事务拆分;
6、数据库代理Proxy支持客户端IP透传;
7、支持批量转包周期;
8、支持控制台创建和管理数据库和用户。
三、GaussDB(for Redis)重大更新总结及明年展望
2022年,GaussDB(for Redis)发布多项企业级特性,持续提升用户使用体验。GaussDB(for Redis)新发布的核心特性有:
1、企业级双活容灾:支持建立主备容灾实例,数据实时同步,10s RPO;
2、KMS数据加密:数据加密存储,提供企业级安全性保障;
3、ACL账号管理:支持DB级鉴权,200+账号数;
4、多租隔离:集群搭载多DB,支持6w+DB数;
5、数据迁移增强:支持跨云异构双向数据同步;
6、前缀搜索性能提升:SCAN match prefix*速度比开源Redis快1000倍;
7、服务化能力提升:大key诊断、白名单IP免密访问等。
2023年,GaussDB(for Redis)将重点打造企业级特性,做企业级的KV数据库。计划推出适用于时延敏感场景的高性能主从版、适用于游戏客户的PITR数据回滚等全新特性。
四、DRS重大更新总结
2022年下半年,DRS对外稳固提升项目性能/客户体验等,对内推陈出新,优化升级API,具体如下:
1、支持Redis单节点、双机主备 – GaussDB(for Redis)迁移公测;
2、支持GaussDB(for Redis) –Redis(Codis)反向回流迁移公测;
3、支持MariaDB -RDS for MariaDB数据同步支持公测;
4、DRS Open API接口响应速度升级,更多功能映射到Open API;
5、RDS for MySQL -MySQL支持流量回放的支持公测;
6、MySQL -GaussDB(DWS) 数据同步DDL支持度增强。
阿里云2022下半年重大更新总结
一、阿里云数据库自研产品
1、云原生关系型数据库PolarDB
(1)PolarDB for MySQL:
多主架构集群版发布上线;
支持大版本升级和多主架构;
Serverless V2和on ECS标准版单节点公测。
(2)PolarDB for PostgreSQL:
PolarDB PostgreSQL本次升级发布,主要集中在数据透明加密、增量备份等企业级特性和数据分片管理、性能线性扩展等分布式特性方面。
(3)PolarDB-X:
一体化分布式数据库PolarDB-X发布里程碑的大版本v2.2,主要是金融行业比较关注的国产ARM芯片适配、性价比优化和云原生HTAP等特性升级。
2、云原生数据仓库AnalyticDB
(1)AnalyticDB PostgreSQL版:
秒级计费能力全网发布;
发布计划管理功能|实现分时弹性;
7.0版本重磅发布;
企业智能数据平台发布(公测);
Serverless公测版本发布;
实例数据共享功能GA。
(2)AnalyticDB MySQL版:
湖仓版在华东1(杭州)等6个region正式开服;
发布湖仓版二期;
发布归档分析及支持计算分时弹性。
3、云原生多模数据库Lindrom
Lindorm Ganos融入宽表模型;
Lindorm多模宽表支持Json类型数据;
Lindorm时序引擎支持预降采样。
4、云原生内存数据库Tair
Tair(Redis企业版)已支持JSON语法;
阿里云Tair/Redis(云盘版)主从架构已支持全自动读写分离功能;
Tair(内存型)已经支持Redis 6.0大版本并兼容Redis 6.0及Redis 6.2功能;
Redis/Tair已增加连接使用相关的引导功能;
二、 阿里云开源托管 & NoSQL产品
1、云数据库MySQL版
RDS MySQL Serverless正式发布;
集群版中国站发布;
Serverless国际站发布。
2、云数据库PostgreSQL版
支持ESSD PL等级降配;
pg_jieba中文分词插件支持自定义词典;
RDS 支持计算包和存储包;
支持指定小版本;
支持实例暂停;
已实现Terraform功能全覆盖;
支持参数模板;
云盘实例支持备份高级下载;
DMS 支持 RDS PostgreSQL 数据归档;
ARM架构商业化发布;
支持表级透明数据加密。
3、云数据库Redis版
Tair(Redis企业版)已支持JSON语法;
阿里云Tair/Redis(云盘版)主从架构已支持全自动读写分离功能;
Tair(内存型)已经支持Redis 6.0大版本并兼容Redis 6.0及Redis 6.2功能;
Redis/Tair已增加连接使用相关的引导功能。
腾讯云2022下半年重大更新总结
一、云原生数据库TDSQL-C发布新版本,在云原生架构、基础硬件能力、自研内核等方面进行了全面升级
1、支持数据库代理,具备高稳定性、超高性能、快捷扩容、自动读写分离、热加载等特性。
2、支持并行查询能力,利用并行查询能力,调动多核计算资源,大幅缩短大查询响应时间。
3、发布新版审计服务,支持全审计和规则审计,支持低频存储方式,具备数据采集完整性、可靠性,数据防篡改,数据传输完整性,数据存储完整性等特性。
4、优化参数设置,支持公式化参数设置,新增全局和非全局参数设置,使数据库特性能更好地适配业务需求。
5、支持全链路RDMA,超高速传输链路,大幅提升数据库性能。
二、MySQL 持续优化内核特性、强化数据库代理能力、支持单节点
1、发布新版数据库代理,提供自动读写分离、事务拆分、连接池、防闪断等强劲功能,同时支持跨可用区挂载只读实例、开通多个数据库代理访问地址以满足不同业务场景需求。
2、支持单节点云盘版实例,满足测试、开发、个人学习等使用场景。
3、支持跨地域备份,实现数据库恢复的高可用性。
4、支持备份加密,提升数据安全性,防止备份泄漏导致的安全事故。
三、PostgreSQL发布TDE透明加密功能,发布SQL Server兼容版,提供大规模存储能力,最高可支持16TB,支持数据库管理DMC
1、支持TDE加密、透明数据加密,提供企业级用户数据安全方案。
2、发布SQL Server兼容版,基于 Babelfish for PostgreSQL 进行改造适配支持了 Microsoft SQL Server 数据类型、语法和函数,满足客户线下商业数据库上云的需求。
3、提升实例可支持存储容量上限,最大可到16TB,满足主备式数据库在HTAP场景下大存储容量需求。
4、云数据库 PostgreSQL 支持数据库管理 DMC(Database Management Center),支持库表级操作、实时监控、实例会话管理等,极大提升系统易用性。
四、推出的新一代兼容 Redis 协议的分布式 KV 存储数据库KeeWiDB,搭载全自研存储引擎,拥有前瞻的架构设计,支持冷热分级存储和实时持久化,已正式在腾讯云上线
1、新一代存储引擎采用Hash的存取方式,并与持久内存耦合,在实现数据实时持久化的同时单节点最大性能可达到18万写入、28万读取,P99延迟小于3ms,同时可水平堆叠,性能线性提升。
2、基于内存(DRAM)+持久内存(PMEM)+NVMe SSD磁盘搭建分级存储架构,由持久内存缓存访问热数据,磁盘存储全量数据,冷热分离、自动升热降冷。
3、兼容Redis 协议,提供丰富的性能、时延、网络、容量、命中率等监控指标,帮助用户提前预警风险,快速定位和解决问题。
4、支持 DTS 迁移,可以将多种场景的源数据迁移到云数据库 KeeWiDB 中,极大简化存量数据迁移工作。
五、Redis发布 6.2 版本,提升全球复制能力,支持高性能版本,提供本地专用Redis集群服务,拥有与公有云完全一致的产品能力和使用体验
1、Redis 6.2 版本全地域上线,进一步丰富了产品特性,可满足更多的业务场景;
2、全球复制功能升级,解决原生Redis 主从复制延迟、数据同步不连续,多地写入等痛点问题,可用性升级至5个9;
3、支持 Redis 高性能版本,单节点可提供50W + 吞吐,性能是原生Redis的4倍;
4、提供本地专用 Redis 集群服务,满足客户数据本地存储的极致访问时延和数据安全合规要求。
六、MongoDB 发布 4.4 与5.0版本,接入DBbrain智能运维,支持DTS迁移数据一致性校验,支持SSL认证,提升数据库审计能力,保障数据安全
1、接入 DBbrain,实时监控并诊断数据库异常,优化性能,提升23%的自助问题解决率;
2、发布 4.4 与 5.0 版本,数据库功能全面加强,支持更广泛的工作负载和业务场景;
3、支持SSL认证访问,实现数据加密传输,提升数据库规则审计功能,对数据库操作进行细粒度审计的合规性管理,数据安全得到进一步保障;
4、大幅优化 DTS 能力,支持对迁移数据进行一致性校验。
七、DBbrain发布数据库自治服务、事件通知等功能,全面提升智能运维能力
1、公有云,支持自治服务,对大并发场景进行自动限流与KILL;支持事件通知,将数据库的异常诊断结果及时通知给用户;
2、私有云,支持全链路分析系统,实现四层聚合分析并智能化,在多模式下分布式系统高阶计算统计分析能力。
八、DTS支持迁移外键依赖关系,修改同步对象等功能;通过分块导出、行级并发等技术优化,提升性能比同类产品高20%
公有云DTS
1、迁移/同步功能体验优化持续增强,支持迁移外键依赖关系、支持修改同步对象、支持XA事务、支持域名方式接入数据库、支持SSL安全连接、支持任务暂停和自动重试;
2、订阅能力逐步完善,新增MongoDB订阅链路、支持自建数据库订阅、支持Avro/JSON数据格式、支持通过Flink DataStream API进行消费;
3、性能不断提升,通过分块导出、行级并发等技术优化,提升性能比同类产品高20%。
私有云DTS-DBbridge
新增支持对SQL Server的数据同步、支持自定义任务并发数、支持修改同步对象、支持DDL&DML过滤。
九、SQL Server 全面提升数据库容灾恢复能力,为用户提供即开即用、稳定可靠、安全运行的企业级数据库服务
1、支持跨地域备份,实现数据库恢复的高可用性,满足数据可用性及安全性、异地备份恢复、异地容灾、长期归档数据、监管等功能;
2、支持定期备份,可以通过两个周期规划来进行备份,更省成本的同时满足长期备份保留需求;
3、支持开启访问地址,实现通过外网地址访问云数据库 SQL Server 实例,满足外网访问业务需求;
4、基础版支持版本升级和跨可用区迁移,提升数据库适配能力和容灾能力。
注:关于腾讯云DBbridge、CTSDB、KonisGraph、DBS、TDSQL TDStore、TDSQL PostgreSQL版等产品更新信息,可阅读本期Newsletter完整版(点击本文文末【阅读原文】可下载)
京东云2022下半年重大更新总结
2022年下半年,京东云专注于国产数据库和云原生技术领域持续创新,具体如下:
一、云原生实时数仓Starwift正式发布
2022年9月云原生实时数仓Starwift产品正式发布。Starwift是京东云自主研发的新一代云原生数据仓库,采用了计算与存储分离的架构,数据存储在自研的共享存储上,同时具有秒级弹性伸缩的能力,整体使用成本比其他同类数据仓库节省50%以上;同时采用了向量化计算引擎和大规模并行化处理,可以轻松支撑万亿数据规模的实时分析场景。Starwift可快速构建实时数仓,主要功能如下:
1、服务高可用
采用多节点分布式架构,单个节点故障不应在整体服务,故障节点可自恢复;
存储层采用共享存储,具有多副本的冗余架构,数据持久型高达9个9(99.9999999%)。
2、秒级弹性伸缩
采用存储和计算分离的架构,计算层扩缩容无需数据的重分布,可秒级完成;
存储层为severless架构,可自动根据数据存储情况扩展,用户无需再关注存储空间。
3、一键部署
控制台点击分钟内可创建Starwift实例,可立即投入使用,即时创造价值;
提供各节点监控信息,并可设置各种指标的告警阈值。
二、京东云数据库RDS重大更新
1、备份服务商业化
用户可根据诉求调整备份频率及备份保留时间;
增加已删除实例的备份保留策略,用于误删回档或者是实例暂时不使用的情况下保存数据。
三、分布式数据库TiDB重大更新
1、支持增量数据复制TiCDC功能上线。
四、数据库管理服务 DMS重大更新
1、数据库类型扩展,支持ClickHouse、TiDB数据库;
2、新增用户管理模块,支持同步子账号,角色分配和实例登陆权限管理;
3、支持函数、事件、触发器的新建、编辑、删除、执行等功能。
五、数据库自治服务 SmartDBA重大更新
1、支持错误日志;
2、支持kill会话。
青云2022下半年重大更新总结
一、2022 下半年RadonDB 云原生数据库平台发布 1.1 版本
在 1.0 版本的 ClickHouse、MySQL 以及 PostgreSQL 三款容器化数据库基础上,RadonDB 云原生数据库平台又新增了多款数据库和中间件,包括 Redis、MongoDB、ECK、OpenSearch、Kafka 等。不仅支持提供以上云原生数据库产品服务,同时这些数据库均提供可视化集群管理功能,支持在线水平扩展、参数优化、账号管理,以及监控告警、自动备份等,提供运维效率,保障数据安全和业务连续性。丰富的云原生数据库产品可为企业提供金融级数据库服务,满足企业数据存储、共享、检索等各种业务场景需求。
二、2022 下半年青云云平台多款数据库更新,重点如下:
2022-8-4 ClickHouse 1.1.9 上线,支持数据库迁移,升级内核版本,DDL 性能优化,支持默认用户修改等功能。
2022-9-19 MySQL Plus 1.1.2 上线,更新 MySQL 内核,提升稳定性,支持 RocksDB,提升高并发能力,增加运维监控能力等功能。
2022-9-27 PostgreSQL v2.0.1 版本上线,新增支持内核版本,提升高可用和安全性,提升性能,优化监控,增加慢日志统计分析功能,支持恢复误删除数据功能。
2022-12-1 ZooKeeper 3.6.3 - v2.1.0 上线,按顺序滚动扩容和升级。
2022-12-3 PostgreSQL v2.1.0 版本上线,支持 PostgreSQL 15 内核,增加 Citus 插件轻松部署分布式数据库集群,增加 PostGIS 插件增强空间数据处理能力。
注:关于青云数据库更具体的版本、动态更新,可详细阅读本期Newsletter完整版(点击本文文末【阅读原文】可下载)
PieCloudDB发布社区版和企业版
2022年下半年,拓数派旗下的云原生数据库PieCloudDB Database于10月24日发布了社区版和企业版,并将很快发布新版本。PieCloudDB Database是一款全新eMPP(elastic MPP)分布式技术云原生分析型数据库。通过重新打造云上的数据库内核,突破了PC时代计算平台的限制,实现云上存算分离。旨在为企业提供包含实时处理、秒级扩缩容、弹性计算、集成数据分析等强大功能的云上数据存储和计算引擎。在云上,计算资源可按需启动,对计算模型以更低成本提供高性价比存储和计算资源,帮助企业的业务模型发现新洞察或者提高精准度,从而建立竞争壁垒。
在即将发布的新版本中,PieCloudDB Database将为用户带来内核和云原生平台多方位的大幅提升,包括极速vacuum、全新的缓存实现、极速Analyze、用户数据存储的分布式处理增强、HDFS/NAS支持,Kafka支持以及ETL/ELT增强等多个重大新特性。