|
度盘点：20+主流数据库重大更新及技术要点回顾 据库行业年度回顾 技术的多元化探索与产品的差异化发展 2021年，各家数据库产品都取得了长足的进步。 首先，从技术角度上看，分布式、云及云原生、多模、HTAP、AI自治等代表性技术，成为了各大厂商布局发力的重点。 伴随着数据规模激增、场景复杂化，对大规模数据存储、计算提出了更高的要求。分布式数据库迎合这一趋势，近些年来发展迅速，逐步在业务核心场景中被尝试使用。其中不少分布式数据库产品在功能、性能、易用性、稳定性等方面都逐步完善成熟，相信在未来几年，分布式数据库将取得更大发展。 根据第三方机构预测，未来几年托管在云端的数据库将占据主导地位，云与数据库的结合将爆发出巨大力量。一方面，以云资源部署的传统数据库增长喜人，另一方面，以存算分离、弹性扩展为特点的云原生数据库已逐步成熟。云端带来的低成本、高易用、超便捷，必将吸引更多企业上云并带动企业数字化转型升级。 随着数据化深入、场景多元，数据结构化越来越灵活，大量半结构、非结构化数据被更多地利用起来。以图、时序、文档为代表的产品，正受到更多的关注。未来多模数据库以一种原生支持各种数据模型、有着统一访问接口、能自动化管理异构数据等优势，必将找到更多的使用场景。 除了数据模型更加多元外，对关系模型数据的使用场景也趋于融合。传统的TP、AP类划分正在受到更多挑战，HTAP技术也将受到更多关注。其带来的数据时效性、单一入口等类似多模一样，为业务带来了更多的便捷性。在不少应用场景，HTAP简化原有技术栈，统一访问方式，对用户意义重大。 伴随着数据库功能越来越强大、技术越来越复杂，如何降低使用门槛成为用户关注的问题。AI4DB的出现，大大简化了数据库管理和使用门槛。当前这一技术，尚处于早期阶段，相信未来将成为各数据库产品的技术护城河。 另外，从数据库厂商发展角度上看，根据所处发展阶段的不同而形成了差异化的发展方向。国际大厂基于较为完善的产品之上，着力突破智能化、新硬件、混合存储计算等方向；云厂商在构建产品生态、云原生等方向发力，进一步提升云端竞争力；新兴厂商则在某一垂直领域（如HTAP、多模、一体化、高兼容性等）着手，寻找差异化竞争路线；而开源产品，则更多在增加企业级能力、提高安全性等方面发展。 数据库产品年终盘点 主流数据库的版本更迭与发布亮点 在如此百花争鸣的2021，dbaplus社群携手一众数据库行业专家，汇总、梳理并提炼出主流数据库全年度的版本更迭、性能优化、功能提升等关键信息，希望对大家了解数据库发展趋势，以及数据库选型工作有所帮助和启发。 本期要点 DB-Engines数据库排行榜 一、RDBMS Oracle推出21c及Exadata 21.2 MySQL 8.0共发布5个版本 MariaDB 10.6新特性技术要点分析 SQL Server 2022预览版发布 PostgreSQL 14版本正式发布 OceanBase商业版及社区版共迭代8个版本
二、NewSQL 三、时序数据库 四、大数据生态圈 五、国产数据库 SequoiaDB共更新5个版本 DM8 2021年度重大更新及技术要点分析 QianBaseTM 2021年度重大更新汇总 ArkDB 2021年度重大更新汇总 OushuDB 2021年度重大更新汇总
六、云数据库 华为云2021年度重要数据库产品更新汇总 腾讯云2021年度重要数据库产品更新汇总 阿里云2021年度重要数据库产品更新汇总 京东云正式发布StarDB 青云2021年度多款数据库产品更新汇总
推出dbaplus Newsletter的想法 感谢名单 为方便阅读、重点呈现，本文对各板块内容进行了精简，需阅读完整版可点击文末【阅读原文】或登录云盘下载：https://pan.baidu.com/s/1VePhm9OoGkvhZCzOoqE3Cg（提取码：iurv） DB-Engines数据库排行榜 以下取自2021年12月的数据，具体信息可以参考http://db-engines.com/en/ranking/，数据仅供参考。 
DB-Engines排名的数据依据5个不同的因素： RDBMS Oracle推出21c及Exadata 21.2 Oracle 21c是甲骨文向用户提供的最新创新版本，2020年12月8日首先在Oracle Cloud上发布可用，2021年8月份开始提供21.3本地安装版下载：Linux x86-64，HP-UX ia64，Microsoft Windows x64 (64-bit)。 下一个Oracle数据库版本是23c，将是一个长期支持版本。预计发布时间为2023年，它将包括所有领域的创新和增强功能，以进一步增强Oracle的融合数据库引擎。 一、Oracle 21c重要新特性摘要 AutoML自动化机器学习：使数据科学家和分析师更易于利用数据库内置的机器学习技术，充分利用机器学习的优势； 原生的区块链支持：Native Blockchain Tables； In-memory增强：In-Memory向量连接，自我管理的In-Memory列存储，In-Memory混合列扫描； 原生JSON数据类型：支持二进制格式的JSON；更新密集型或扫描密集型操作速度数倍增长； 持久内存存储：持久化内存存储被支持，提供微秒级I/O响应； SQL的宏支持：允许开发者将复杂的处理逻辑通过宏进行定义； 在Oracle数据库内部执行JavaScript； 优化的图模型。
注：关于以上特性的具体说明，可详细阅读本期Newsletter完整版（点击本文文末【阅读原文】可下载） 二、Exadata System Software 21.2主要功能增强 今年发布的Exadata System Software 21.2在Exadata系统的性能和可管理性上，带来了更多创新特性，使Exadata在性能方面的可预测性更强，并为数据整合环境带来更强的可伸缩性。使用Exadata将使数据管理变得更加高效、系统更加稳定。Exadata软件21.2版本的主要功能增强： 持久性存储索引 持久性列缓存 I/O资源管理集群计划 共享智能扫描元数据
三、Oracle 19c新特性引入及Always Free新服务推出 Oracle在21c推出了诸多新特性，这些新特性也不断被引入Oracle Database 19c当中，用户可通过应用补丁的方式来升级数据库并使用这些特性。在21c中的一些新特性，比如SQL (Table) Macros (RU 19.7)、Blockchain Tables (RU 19.10)、Immutable Tables (RU 19.11)都已经加入到19c。 2021年4月20日，甲骨文公司进一步展示了其对开发者的承诺，通过扩展Oracle Cloud Free Tier，提供两种新的Always Free服务，可快速创建低代码Oracle APEX应用程序和管理JSON文档数据。这两项服务对Oracle Cloud用户都是完全免费的，并且没有限制时间。 MySQL 8.0共发布5个版本 2021年，MySQL 8.0发布了5个版本8.0.23~8.0.27，修复了大量的bug，在性能和稳定性方面进一步增强。 8.0.26有大量的变量名称修改，例如master修改为source、slave修改为replica，例如slave_net_timeout修改为replica_net_timeout。 一、优化 1、在线DDL操作相关优化 对于在线DDL操作，存储通常是瓶颈。为了解决这个问题，CPU利用率和索引构建已进行了改进。索引现在可以同时构建而不是串行构建。内存管理也得到了加强，以遵守用户设置的内存配置限制。由两个变量innodb_ddl_threads和innodb_ddl_buffer_size变量控制管理。 2、优化TRUNCATE / DROP 当用户对InnoDB表空间TRUNCATE或DROP操作： 对有庞大缓冲池(>32GB)实例上的大表删除； 对具有自适应哈希索引引用大量页面的表空间； TRUNCATE临时表空间。
以上情况，删除的页和表空间和对应的AHI项目，会在访问期间被动地从缓冲区删除，以前清理和截断表空间会马上在缓冲区中发起一个全列表扫描，从而对性能有负面的影响。 3、Performance_Schema支持将度量线程名称（非mysqld）导出到操作系统 为了提高监视MySQL和故障排除的能力，Performance_Schema支持将度量线程名称（非mysqld）导出到操作系统，这使得显示线程名称的实用程序，例如调试器和Unix ps命令，可以显示不同的mysqld线程名称，而不是"mysqld"。 二、复制 从没有使用GTID的源头复制到开启GTID的副本，现在可以使用CHANGE REPLICATION SOURCE TO语句的ASSIGN_GTIDS_TO_ANONYMOUS_TRANSACTIONS选项将复制通道设置为将GTID分配给尚未开启GTID的复制事务。 此功能允许从不使用基于GTID的复制的源复制到使用基于GTID的副本。对于多源副本，用户可以混合使用ASSIGN_GTIDS_TO_ANONYMOUS_TRANSACTIONS的通道和不使用的通道。GTID可以包括副本自己的服务器UUID或用户分配的服务器UUID，以识别来自不同来源的事务。 从库默认启动多线程复制，从而避免很多从库延迟导致主从数据不一致的情形。 三、MGR MGR新特性，single consensus leader，组复制的组通信引擎默认使用组中的每个成员作为leader，在组复制通信协议设置为8.0.27或以后，组复制引擎现在可以使用单一的一个leader来驱动共识（单主模式下）。 系统变量group_replication_components_stop_timeout指定Group Replication在关闭时等待仍在进行的组件完成操作的时长。以前，超时值默认为 31536000 秒（365 天），在某些场景下没有帮助，新的默认值是300秒，这样如果在5分钟之前没有解决该情形，Group Replication组件将停止，允许成员重新启动并重新加入。 当使用基于GTID的复制时，可移除复制元数据的的持久化（包括二进制日志文件名和位置），可使用CHANGE REPLICATION SOURCE TO的GTID_ONLY新选项，这个选项对于异步的复制通道是默认禁止的，对于组复制的通道是默认打开的，并且不能禁止。 MySQL复制的异步连接故障转移机制支持副本使用组复制（单主模式），当主要成员发生故障时，其他组成员可以再次连接到发送者。MySQL支持使用单主模式的组复制（主要成员用于接受日志）作为异步复制的副本，当主要成员发生故障时，其他成员可以再次连接到复制源。使用该功能可以配置两个复制组之间的异步复制，并支持连接故障转移。 关于组复制：现在可以将处于单主模式的组配置为处于超级只读模式，它将只接受复制的事务，而不接受来自客户端的任何直接写操作。 MySQL Server的异步连接故障转移机制现在支持Group Replication拓扑，这是通过自动监控组成员的更改并区分主服务器和次服务器实现的。 注：关于更多新特性及MySQL Database Service with Heatwave相关的具体说明，可详细阅读本期Newsletter完整版（点击本文文末【阅读原文】可下载） MariaDB 10.6新特性技术要点分析 MariaDB 10.6.5稳定版GA发布于2021年11月8日，新功能和改进如下： 1、数据字典改进支持原子DDL(atomic DDL) MariaDB 10.6使用新的数据字典，废弃了MyISAM系统表。MySQL库元信息存储在数据目录中mysql.ibd的innodb表空间文件中。 新的数据字典支持原子DDL(atomic DDL)功能，这意味着，当执行DDL时，数据字典更新、存储引擎操作和二进制日志中的写入被组合成一个要么完全执行、要么不执行的单个原子事务。这提供了更好的可靠性，未完成的DDL不会留下任何不完整的数据。 2、select for update增加nowait和skip locked行锁限制 MariaDB 10.6针对于select...for update新增nowait和skip locked行级锁的限制。 1）nowait表示不等待锁，若想获取被锁住的数据，则立即返回不可访问异常。使用nowait子句的作用就是避免进行等待，当发现请求加锁资源被锁定未释放的时候，直接报错返回。 2）skip locked表示跳过等待锁，若想获取被锁住的数据，则不返回该数据。在对数据行进行加锁操作时，如果发现数据行被锁定，就跳过处理。这样for update就只针对未加锁的数据行进行处理加锁。 3、支持Invisible Index隐藏索引 MariaDB 10.6 支持了Invisible Index隐藏索引这个特性，可把某个索引设置为对优化器不可见，但引擎内部还是会维护这个索引，且不可见属性的修改操作只改了元数据。当我们发现某个索引不需要想删掉时，可先把索引设为不可见，观察业务的反应，如果一切正常就可以drop掉；如果业务受影响，说明此索引删掉会有问题，就可快速改回来。相对于DROP/ADD索引这种比较重的操作，Invisible Index显然非常灵活方便。 4、InnoDB 传统行格式COMPRESSED Row Format压缩技术功能废弃 InnoDB提供了两种压缩技术，一种是早期的行格式压缩COMPRESSED Row Format，它是在创建表时指定ROW_FORMAT=COMPRESS，并通过选项 KEY_BLOCK_SIZE 设置压缩比例。另一种是新的页压缩Page Compression，在支持Sparse file（稀疏文件）的EXT4/XFS文件系统上，通过使用Punch Hole（打洞）特性进行压缩。 官方推荐使用页压缩Page Compression，行格式压缩COMPRESSED Row Format废弃。 5、新增Binlog文件过期清理参数binlog_expire_logs_seconds 使用新的参数binlog_expire_logs_seconds代替expire_logs_seconds，新参数的时间粒度是精确到秒，能够更加灵活的控制Binlog文件过期时间，默认值604800秒（7天）。 6、新增sys Schema sys库结合了information_schema和performance_schema，现在用视图的方式，把一些优化和诊断信息汇总起来，更加直观，通过新的sys schema机制显著提升易用性。 7、审计日志可去除记录select操作 在之前的版本里，审计日志会记录所有操作。在MariaDB 10.6版本里，记录事件可细分化。 8、TokuDB存储引擎废弃 TokuDB已无人维护，在MariaDB 10.6版本里已将其废弃删除，官方推荐用Facebook的MyRocks存储引擎代替之。 注：关于以上新功能和改进的具体说明及实操指导，可详细阅读本期Newsletter完整版（点击本文文末【阅读原文】可下载） SQL Server 2022预览版发布 微软将推出SQL Server 2022，是迄今为止跟微软自家公有云Azure最深度融合的数据库。目前已经发布SQL Server 2022私人预览版，新版本依然支持跨平台部署（包括Linux、Windows和Kubernetes），新特性如下： 1、双向HA/DR到Azure SQL SQL Server 2022与Azure SQL托管实例的新连接功能完全集成，借助内置的分布式可用性组（DAG）将本地数据库数据复制到Azure SQL托管实例作为DR副本使用。 当本地数据库环境遭到破坏时候，可以从本地SQL实例故障转移到Azure SQL托管实例（DR），反之亦然。 利用新连接功能还可以横向扩展数据库只读请求，将只读取请求卸载到Azure SQL托管实例。 2、Azure Synapse Link SQL Server 2022的Azure Synapse Link提供自动捕获SQL Server中更改并将更改发给Azure Synapse Analytics。 3、Azure权限集成 Azure云最近推出的Azure Purview作为统一的数据治理和管理服务。SQL Server与Azure Purview集成以实现更好的数据发现，从而打破数据孤岛。 4、原生区块链支持 SQL Server 2022引入了一个新的分类帐功能，用于创建数据修改的不可变跟踪记录。它可以防止恶意活动造成的数据篡改事件。适用于保存关键财务数据，例如银行交易，内部和外部审计等场景。 5、多执行计划缓存 众所周知，参数嗅探是一个普遍问题。SQL Server默认缓存基于参数的执行计划。因此，使用不同参数执行查询可能会产生性能问题。SQL Server 2022支持为单个参数化语句缓存多个执行计划，根据传入参数值选择最优执行计划，只需要更改所需数据库兼容性级别为160，此功能将作为数据库范围自动启用。 6、Peer-to-Peer副本冲突 在多写数据库环境中，用户可以更改本地数据库数据并在更新的双向流中保持复制。但是，如果多个客户在不同的写入副本同时更新同一行，则可能会造成数据冲突，从而导致整个操作停顿。SQL Server 2022为这些场景自动执行最后一次写入获胜规则。如果SQL Server检测到任何冲突，它会使用（保留）所有副本最新修改值。因此，用户可以顺利运行多写环境，而不会发生冲突影响操作。 PostgreSQL 14版本正式发布 2021年9月30日，PostgreSQL 14版本正式发布，为开发和系统运维人员在开发和管理数据驱动的应用上带来了多种新特性，主要性能提升与增强如下： 1、JSON 存取便利性和多范围数据类型Multirange PostgreSQL自9.2版本起就通过使用一个指定的语法来支持JSON数据类型的存取操作。在PostgreSQL 14版本中支持使用类似下标的方式来存取JSON，比如：SELECT ('{ "postgres": { "release": 14 }}'::jsonb)['postgres']['release']; 的语法在新版本中是可以工作的。 Range范围数据类型也是自PostgreSQL 9.2版本支持的，在新版本中通过引入Multirange又增加了对多范围数据的支持。一个多范围的数据是一组不重叠的已排序的单范围数据集，这个类型的引入，可以让开发人员通过编写简单的查询处理复杂的范围数据。 2、在大负载下的性能提升 PostgreSQL 14版本中在有大量连接的场景下，大幅提高了事务的吞吐量，在一些测试场景下，最高可达1倍的提升。新版本也在减少B树索引负载方面有了提高，包括对频繁更新的表索引减少了表膨胀的情况。 3、对分布式负载的增强 分布式PostgreSQL数据库也从新的14版本获益很多，在使用逻辑复制时，PostgreSQL现在可以使用流式方式向订阅者复制执行中的事务，同时在对大事务进行复制时性能也得到了优化。PostgreSQL 14版本在逻辑复制时，也对逻辑解码系统进行了几处增强。 4、数据库管理和可观测性 PostgreSQL 14版本中的性能优化也涉及到数据整理子系统，包括减少B树索引负载。新版本中也增加了“紧急模式的清理”，用于预防事务ID的回卷。用于收集数据统计的ANALYZE指令，经过优化后，在新的14版本中，运行非常快。 PostgreSQL 14新版本中也增加了几个新特性以方便用户对服务器的监控，包括新增对COPY指令运行进度、WAL日志写入操作、复制插槽的统计信息的跟踪。新增compute_query_id参数可以让用户通过pg_stat_activity、EXPLAIN VERBOSE来跟踪用户的查询。 5、SQL性能、一致性和易用性 查询规划也在PostgreSQL 14版本中进行了增强。新版本中有好几项并行查询的优化，包括并行顺序扫描，在PL/SQL中，使用RETURN QUERY可以并行查询，而REFRESH MATERIALIZED VIEW物化视图刷新现在也可以使用并行机制执行了。另外，通过对新版本中新增的缓存的使用，带有嵌套JOIN的查询也得到了性能提升。 存储过程，现在通过使用OUT参数，支持返回数据。 PostgreSQL 14版本中引入了新的时间函数date_bin，可以按指定的间隔对时间进行处理。这个版本中对可递归的公共表达式表CTE也增加了便于理解的语义关键字SEARCH和CYCLE，用于帮助对查询的结果排序和循环的检查。 6、安全性增强 PostgreSQL 14版本中，通过使用pg_read_all_data和pg_write_all_data两个预定义的角色，可以给用户进行完全只读或是只写的权限。另外，新版本中，缺省使用与标准兼容的SCRAM-SHA-256算法来进行密码的管理。 注：关于本年度PostgreSQL常用插件动态、衍生产品动态的汇总，可详细阅读本期Newsletter完整版（点击本文文末【阅读原文】可下载） OceanBase商业版及社区版共迭代8个版本 一、年度重大更新总结 2021年，OceanBase数据库共计迭代8个版本（商业版及社区版），持续在企业级能力构建上发力，围绕兼容性、HTAP混合负载、小规格性价比等核心能力，在Oracle/MySQL兼容、易用性、稳定性、性能和功能等诸多方面持续迭代增强与优化升级。 二、技术要点分析 1、OceanBase商业版关键特性盘点 性能：Sysbench OLTP整体性能提升68%，BMSQL tpmC性能提升20%，TPC-H性能提升620%，大幅提升了OLAP能力；支持小规格部署，性能提升30%；突破分布式数据库事务限制，支持超大事务。 兼容性：针对Oracle和MySQL模式，在功能、语法、函数、过程语言、系统包等方面均进行了兼容性增强，进一步降低业务迁移到OceanBase的改造成本，以及用户使用OceanBase的学习成本。持续增强Oracle兼容性，支持存储过程读写及定时器任务管理调度能力；适配MySQL 5.7协议，MySQL模式下支持自增列和DML触发器。 易用性：支持Schema History回收功能和自动清空回收站功能，提升自动化能力简化运维成本；提供内部状态可视化能力，通过虚拟表读取任务队列及内存任务情况；加强性能诊断报告能力，对集群的性能指标、参数和资源配置、负载进行分析并生成诊断报告帮助DBA进行性能诊断；提供SQL诊断调优特性，针对SQL进行健康情况诊断及性能问题排查，识别可能会影响系统稳定性的慢SQL及可疑SQL，帮助用户提早排查问题规避风险。 稳定性：在访问连续性、数据一致性和事务执行等方面针对性提升系统的稳定性，新增全局死锁检测、本地路由表自动刷新、备机强一致性读、系统异常状态侦测强化、集群网络流控优化能力。 强化管控能力：支持多租户资源隔离，满足跨业务跨部门复杂业务场景；OceanBase公有云在海外发布，在安全特性（SSL加密、TDE数据透明加密、VPC隔离）满足海外安全合规需求的同时，通过数据存储压缩技术优势，实现成本下降30%、存储空间下降90%。
2、OceanBase社区版关键特性盘点 兼容性：适配支持MySQL 5.7驱动协议，支持会话变量；新增MySQL 8.0的通用表表达式；支持租户/用户最大连接数设置；新增支持10个函数，完善数据校验、时区转换查询及网络能力。 高可用：提供物理备份与恢复能力，实现集群级物理备份（数据全量和增量备份&秒级别触发的事务日志近实时备份）、租户级物理恢复（恢复到历史任意时间点）。 易用性：新增自动化参数配置功能，主动探测系统资源自动配置OceanBase参数；新增自动化测试功能，支持集成运行mysql_test、TPCH和Sysbench测试框架；新增错误码解析工具ob_error，快速定位错误；新增管理员工具ob_admin，提升疑难问题分析诊断能力。 开放接口：开放TABLE API接口，支持KV接口读写数据，提升高性能存储访问能力；开放Change Data Capture（CDC）接口，提供对外数据同步接口。 生态工具：支持数据同步工具Canal和DataX，支持将数据从MySQL迁移到OceanBase，通过DataX实现数据全量迁移；支持Prometheus监控系统；支持客户端工具DBeaver；支持使用Docker部署OceanBase；全面支持主流x86平台操作系统。
NewSQL TiDB共发布16个大小版本 一、年度重大更新总结 2021年TiDB在规模化联机交易和实时分析能力两大领域实现快速的迭代创新，总共发布了16个大小版本，在性能、兼容性、稳定性、安全性、可用性、可观测性、可管理性等方面做了大量改进。4月发布的TiDB 5.0版本，引入MPP架构拓展HTAP能力版图，以一栈式数据服务平台服务企业级核心场景；11月发布的5.3版本累计优化和更新功能达到40余项。 二、技术要点分析 1、MPP架构：TiFlash引入MPP架构，提升了高读写混合负载下的查询速度与稳定性，通过与TiDB-Server共享SQL前端，向业务提供一体化的入口，实现了解析器（Parser）和优化器的共享，能够根据查询类型自动选择最优的索引或MPP计算模式，隔离事务处理与数据分析不同类型的负载。相较4.0版本，计算效能与并发负载能力均提高10倍+，并且在复杂查询处理和集群计算上也有明显优势。 2、性能：与4.0版本相比，Sysbench Update Index / Non-index的性能分别提升了28%和81%，TPC-C提升36%。主要通过聚簇索引、临时表、Plan Cache、异步提交事务、Stale Read、Raftstore Async IO等特性提升了性能。 3、兼容性：持续提升MySQL兼容性，支持List / List Columns Partition、公共表达式CTE、EXCEPT和INTERSECT操作符，以及部分表达式索引和FOR UPDATE OF TABLES语法。另外还支持了将数据从AWS Aurora/S3迁移到TiDB。 4、稳定性：支持人工绑定INSERT、REPLACE、UPDATE、DELETE语句的执行计划，支持开启自动捕获并将最近一次执行计划存储在系统表中。引入新的调度算法，降低调度带来的性能抖动，提升扩缩容的稳定性。调控Compaction速度，平衡前端读写和后台任务的资源争抢。改善TiKV / TiFlash / TiCDC的流控机制，减少IO争抢和OOM频率。 5、安全性：引入动态权限和安全加强模式来限制SUPER权限。TiDB Dashboard需要的权限进一步降低。各个组件都增加了日志脱敏的开关，防止数据泄露。 6、可用性：提升Region成员变更时的可用性，提升系统在发生网络分区时的可用性，支持多节点意外损坏后的在线有损恢复。 7、可观测性：优化Explain显示查询的执行计划，通过Lock View提供了更多悲观锁的锁冲突和锁等待的信息。TiDB Dashboard引入持续性能分析功能，提供在集群运行状态时自动保存实例性能分析结果的能力，帮助用户缩短故障诊断时间。 8、可管理性：Placement Rules支持SQL接口对数据的存放规则进行调整。Plan Replayer可一键保存和恢复现场问题的相关信息，提升查询计划问题诊断的效率。DM和TiCDC增加了集群管理方面的Open API支持，Lightning增加了执行任务前的检查项。TiUP优化了集群部署操作逻辑，优化了升级时长和稳定性，支持断点功能，更加容易运维。 时序数据库 MatrixDB共更新4个版本 一、年度重大更新总结 2021年，MatrixDB总共更新了4个版本，4.0～4.3，在数据写入、数据存储、数据查询方面都取得了重大突破。 二、技术要点分析 1、自研存储引擎：MatrixDB自研了mars存储引擎，针对时序场景做了大量优化。通过行列混存的存储方式，既做到了列存压缩，又通过为分组后的数据增加稀疏索引来实现查询优化，做到了高压缩、高性能。 2、高吞吐数据加载工具：MatrixGate高吞吐数据加载工具，打破了MatrixDB master单点瓶颈，通过外部表方式，数据直接进入segment数据节点。同时，使用微批量的方式使得数据实时生效。经测试，可达到每秒5000万数据点的吞吐性能。 3、可扩展数据类型：mxkv可扩展数据类型突破了关系数据模型模式固定的限制，可以灵活增加新字段。相比于原生json数据类型占用存储空间更低、查询性能更好。 4、持续聚集：持续聚集是一种能快速响应聚集查询的机制。创建持续聚集后，在数据写入过程中，系统自动实时对原数据进行聚集计算，并同步到物化视图中。用户通过视图查询聚集结果将大大减低计算量，通常毫秒延迟即可获得。 5、其他：MatrixDB还支持了空间数据类型，可以应用于地理信息场景；完成了国产平台麒麟、ARM的支持和认证。 三、明年展望 MatrixDB将在高性能和易用性上继续投入，对架构、存储、执行进行协同优化，借助向量化等技术，大幅提升查询和分析性能。在易用性上，将构建面向时序分析和机器学习的简化编程框架与辅助函数，智能分析系统与查询状态，自动优化管理软硬件故障，进一步提高安全性和可靠性，降低使用门槛和成本。 大数据生态圈 Elastic共发布7个大版本 截至2021年12月12日，Elastic.co共发布了7个大版本，其中6个是稳定版本，从7.11.X～7.16.X，每个大版本中间包括几个小升级版本；另外还有1个测试版本，8.0.0-alpha-beta，令人期待的8.0.X稳定版本看来是要到2022年度。 
Elasticsearch 2021年度版本发布 7.11～7.16版本的增强与提升： 1、Runtime field：Runtime field直译“动态运行时字段”，带来了很多语法便利与性能提升，在此之前若要进行字段的灵活性，需要借助Script完成，且不能在查询上下文中复用，必然也会损失很多性能。 2、Frozen tier：Forzen tier直译“冻结层”，ES节点可以设置多种节点角色，现在增加一种冻结层角色，用于挂载快照数据进行搜索，同时可以利用节点的共享快照缓存，大大提升性能。 3、Cross cluster eql search：EQL带来了很多查询语法上便利，尤其是在安全分析领域， EQL 支持跨集群查询，带来了更多的便利，在一个集群上，可以同时查询分析多个集群 4、Async sql search：SQL是ES提供的另外一种数据查询方式，同比DSL语法简洁，入门快，异步查询是ES提供的一种数据查询机制，可以支持海量数据分析场景，SQL支持异步结合了两者的优点。 5、Cross cluster sql search：SQL也支持跨集群查询，大大简化了之前跨集群复杂的查询方式。 Greenplum保持每月迭代一个小版本，最新发布6.18.2 Greenplum 6.0自正式版发布以来，保持每月一个小版本的迭代速率，持续为用户提供新功能与修复补丁。2021年下半年，Greenplum已完成了从6.16.2～6.18.2多个版本的升级。提供的新特性如下： 1、Greenplum 6.17.0版本开始支持PXF 6.1.0。 2、Progress DataDirect JDBC Driver v6.0.0+181已于6.17版本中开始支持。 3、gprecoverseg、gpaddmirrors和gpmovemirrors实用程序现在包含-b选项，用于指定每个主机并行操作的最大段数。 4、gpecheckcat实用程序现在允许用户使用新的-s选项跳过一个或多个测试。此外，-R选项现在接受要运行的多个测试的逗号分隔列表。 5、gpstate -e和gpstate -s命令现在提供有关主镜像段WAL同步状态的更详细的输出。 6、Greenplum 6.18.0引入了一个新的查询优化器服务器配置参数，optimizer_xform_bind_threshold。 7、新的gp_autostats_allow_nonowner服务器配置参数，配置Greenplum数据库以在表被非所有者更新时触发对表的自动统计信息收集。 8、Greenplum 6.18.0引入了新的contrib模块gp_legacy_string_agg。 9、Windows客户端和加载程序工具包的许可证文件已更新到最新版本。 10、Greenplum 6.18.0删除了~/.gphostcache文件；管理实用程序现在使用替代机制将主机名映射到接口。 11、为了增强产品的可支持性并帮助调试工作，Greenplum数据库现在在遇到内存不足 （OOM）情况时报告保留和最大虚拟内存分配。 Greenplum紧密拥抱PostgreSQL社区，以敏捷的方式快速升级内核。Greenplum内核已于2020年9月升级至12，目前Greenplum团队正在努力为升级后的内核代码进行重构、开发和测试工作，为Greenplum 7版本做准备。 国产数据库 SequoiaDB共更新5个版本 2021年，巨杉数据库SequoiaDB总共更新了5个版本，3.2.8、3.4.2、3.4.3、3.4.4和5.0.2。3.4.3和5.0.2都是修复版本，目前两个版本上修复的问题相同。从大版本上看，5.0大版本包含更丰富的功能，包括MVCC、按时间点恢复和STP（时间序列协议）等功能。 一、SequoiaDB 3.4.4版本值得关注的性能优化及新特性 1、新特性： 2、兼容扩展性： 3、灵活性： C++连接池支持使用密码文件，支持修改协调节点的地址、用户名及密码。 集合空间新增getDomainName()及listCollections()接口。 备份支持参数MaxDataFileSize，用于指定备份文件大小。
4、性能优化： 二、SequoiaDB 3.4.3和5.0.2版本值得关注的性能优化及新特性 1、新特性：新增数据源功能。 2、兼容扩展性： 3、性能优化： 注：关于SequoiaDB各版本更新的具体说明，可详细阅读本期Newsletter完整版（点击本文文末【阅读原文】可下载） DM8 2021年度重大更新及技术要点分析 2021年，达梦旗下的关系数据库DM8、图数据库、云数据库以及数据库一体机都进行了重大的更新和发布。 一、DM8年度重大更新总结 2021年，DM8总共更新了11个版本，在稳定性、性能、安全、高可用、备份与恢复、数据迁移、部署运维和功能方面进行大量改进，关键特性更新如下： 1、持续进行深度兼容性改进。兼容Oracle系统视图all_arguments,dba_arguments,user_arguments，增加动态视图SYS.V$PKGPROCS、SYS.V$PKGPROCPARAMS、SYS.V$PKGPROCINFOS和disql中的DESC命令的查询速度；完善对Oracle中JSON相关的兼容性，merge into (+) 写法兼容；支持Oracle的multiset函数，tz_offset函数、multiset函数等；增加在MySQL兼容模式下，支持longtext，mediumtext，longblob，mediumblob四个数据类型的别名，以及其它兼容性特性。 2、继续完善和优化共享存储集群DSC相关功能，支持数据库版本滚动升级、集群支持XA事务、支持全文索引功能、节点故障处理的优化等。 3、正式推出分布数据库集群DPC，持续对相关SQL查询性能进行优化、支持快速装载的命令行参数化、开发表空间迁移等功能。 4、安全性方面，与更多加密卡、加密平台对接；支持“Wallet口令管理”、支持膨胀的加密算法等。 5、易用性方面，正式推出了迁移评估、性能监控、集群管理、运维监控管理一体化的加强版组件DEM。 二、明年展望 达梦目前已开始了数据库一体机的研发工作，首款基于超融合及共享存储集群的一体机样机已完成，针对信创领域数据库的问题和特点，进行了很多有针对性的设计和优化；针对本地交付和云交付，提供不同的架构方案。 注：关于DM8技术要点分析，可详细阅读本期Newsletter完整版（点击本文文末【阅读原文】可下载） QianBaseTM 2021年度重大更新汇总 易鲸捷QianBaseTM在2021年陆续进行了多个版本的产品迭代，并发布了QianBaseTM1.6.6正式版本，以及QianBaseTM1.6.6SP1~SP6，另外还发布了QianBaseTM1.6.7RC1~RC4，结合用户需求和项目实践，对产品在功能、可用性、稳定性及扩展性方面进行研发优化。主要新增特性包括： 一、数据库 1、Binlog reader功能； 2、表数据和索引对比功能，检查表数据和索引数据的一致性； 3、Savepoint支持多回滚点，在事务中可以回滚到设置的任意回滚点； 4、QueryCache可用于保存执行计划，避免SQL语句重复编译； 5、Delete with commit，解决线上的大批量删除数据需求； 6、分区表功能(技术预览)，目前只支持range分区； 7、可设定RS级别以及事务级别行锁数量上限，防止大批量更新导致出现Full GC问题； 8、SQL审计日志新增登录数据库用户名、数据库服务器IP和用户登录到退出过程中的会话ID； 9、备份恢复： 支持binlog reader表备份恢复； 快速恢复模式（fast mode）；
10、滚动升级和滚动重启： 11、异步复制： 支持最大可靠写异机模式； 支持最大保护模式(预览版)。
二、连接服务 1、多ActiveDCSMaster：即在一个EsgynDB集群上有多个可以工作的DcsMaster，这些DcsMaster同时都可以提供连接服务。 2、JDBC T4驱动缓存：将静态表数据加载至JDBCT4驱动端的内存，当访问到此静态表数据时，并且SQL语句中仅包含单表查询，针对这种数据加载至驱动端缓存，此后每条SQL都会访问这张表存放在JDBCT4驱动端内存内的数据，无需再通过IO从服务器端获取，提高数据获取的性能。 三、基础架构 1、支持NTP服务器HA配置，安装时支持两个NTP服务器，确保其可靠性。 四、工具类 1、Esgyn DBManager： 2、运维日志收集工具。 ArkDB 2021年度重大更新汇总 2021年，ArkDB主要在以下方面进行了提升和优化： ArkDB: 1、升级兼容MySQL 8.0.23。 2、引擎物理复制模型重构，实现极速主从切换，大幅提升切换的稳定性。 3、优化启动流程，提升启动速度大幅提升。 4、重构logic复制逻辑，避免潜在的死锁发生。 5、优化mvcc index search btree一致性读的问题，index lock无锁化优化，死锁优化。 6、新增对压缩表空间和自定义page size的支持。 7、写性能优化，增加大量测试用例，大幅提升ArkDB稳定性。 8、Arkolap增加流控功能，提升OLTP引擎和OLAP引擎的数据同步性能。 9、Arkolap功能优化，支持在线动态调整同步相关参数。 10、Arkolap支持binlog复制模式。 11、Arkolap兼容性改进，兼容了更多的特殊语法和类型。 12、ArkDB优化Arkolap分布式方案，提升写入性能。 13、ArkDB优化基于快照的快速备份和快速还原。 14、ArkDB增加和原生MySQL8的双向物理备份兼容。 15、ArkDB备份稳定性提升，完善了快照备份功能。 Arkpoxy: 1、100%兼容MySQL 8.0的语法。 2、实现了内部连接池的功能，解决了大量短连接会造成机器socket资源不足的问题。 3、新增add/delete route命令，可以在已有的server基础之上，增加路由。 4、实现了延迟连接的功能，提升了连接性能。 5、实现了对连接性能的优化，用户登录速度大幅提升。 6、实现了可以利用mysql-test来测试的功能，进一步保证了稳定性。 7、在以Percona为后端的情况下，支持了连接透穿的功能，减少运维成本与复杂度，减小了接入难度。 OushuDB 2021年度重大更新汇总 1、OushuDB 4.8.0.0 集成全新的Extendable Resource Manager，相比之前单点RM，通过引入ERM部署多个RM的方式来均衡负载，更加合理的分配资源； 新增Native Magma格式，支持更高效的增删改查，并发小查询性能也得到进一步优化； 优化新执行器external sort，采用新的外排优化算法，达到了更高效的排序性能。
2、OushuDB 4.6 ANALYZE命令的性能优化； 加锁机制性能优化； 数据缓存功能增强； 分布式表存储Magma的增强； 适配了麒麟V10操作系统和鲲鹏920服务器。
3、OushuDB 4.5 4、OushuDB 4.4 5、OushuDB 4.3 云数据库 华为云2021年度重要数据库产品更新汇总 一、GaussDB(for openGauss)年度重大更新总结 GaussDB(for openGauss)正式推出了Ustore存储引擎、基于Paxos协议的DCF高可用组件、同城双集群高可用等多个重大内核新特性，为企业级用户打造了稳定高性能的存储引擎、高可用的内核能力。 二、GaussDB(for MySQL)年度重大更新总结 三、华为云RDS系列产品年度重大更新总结 1、发布应用无损透明（ALT）：针对互联网、游戏客户，对数据库高可靠的诉求，推出应用无损透明（ALT），增强系统可靠性，搭配融合Proxy + RDS MySQL，实现HA主备实例，故障场景切换，业务零中断。 2、跨区域备份：云数据库RDS支持将备份文件存放到另一个区域存储，某一区域的实例故障后，可以在异地区域使用备份文件在异地恢复到新的RDS实例，用来恢复业务。 3、秒级监控：数据库关键指标，实现秒级粒度监控，提高监控指标的瞬时精确值，RDS for MySQL支持秒级监控，包括1秒监控和5秒监控。 四、GaussDB NoSQL系列产品年度重大更新总结 1、GaussDB(for Redis) 2021年，GaussDB(for Redis)产品坚持打磨内核，提升用户体验，持续为更多用户提供稳定可靠的企业级Redis服务，并在以下方面有重要的产品更新： 1）企业级关键特性 支持物理级别的多DB隔离功能； 支持ACID级别的事务功能； 支持Lua脚本批处理功能； 支持SSL安全访问功能。
2）云服务能力 推出8G轻量型规格：让用户可在小缓存场景应用企业级Redis服务。 支持节点规格变更：让用户可快速将实例整体的吞吐能力翻倍，应对业务高并发。 无损在线升级：滚动式在线升级，业务仅秒级感知即可完成重要版本更新。 支持从原生Redis/SSDB/Pika/Kvrocks等多种源端数据迁移：让用户不再受制于自建数据库维护难题，轻松上云，聚焦业务本身。 提供慢日志查询及更丰富的监控指标展示：运维体验提升。
2、GaussDB(for Influx) 2021年，华为云时序数据库GaussDB(for Influx) 总共更新了16个版本，最值得关注的新功能有： 冷热分级存储，用户自定义冷热数据，冷数据将被转存到单位成本更低的存储介质上，达到进一步降低数据存储成本的目的。 兼容Flux2.0语法， Flux是InfluxDB的功能数据脚本语言，专为查询、分析和处理数据而设计。 提供时序数据分析引擎，内置高效的时序数据的异常检测和预测算法，支持算法可插拔，自定义分析算法无缝集成。 支持增/全量备份恢复，配置备份策略后，系统自动定期执行，无需人工干预。
3、GaussDB(for Mongo) 2021年，DDS&GaussDB(for Mongo)共计更新了11个重要版本，其中Q2Q3版本中发布了重大特性：集群分布式事务，为广大开发者在NoSQL数据库技术选型方面提供更多选择空间。此外，通配符索引，客户端加密，隐藏索引，重定义片键等重要特性。在聚合查询类操作算子上支持30+，新提供3类pipeline stage算符。这些新功能的发布上线能够为Mongo提供更完备的使用场景。 注：关于上述华为云数据库产品的具体技术要点分析，可详细阅读本期Newsletter完整版（点击本文文末【阅读原文】可下载） 腾讯云2021年度重要数据库产品更新汇总 国产化数据库 一、TDSQL-C年度重大更新 兼容MySQL 8.0自研引擎发布，提供丰富企业级特性； 满载CPU流水，提升吞吐能力； 软件栈多路Run2Completion、全链路RDMA，极短IO延迟； 首个支持instand ddl的云原生引擎，秒级完成结构变更； 内核审计全链路上线，提供安全防护能力； Serverless支持WorkLoad智能预测以及动态扩缩资源。
二、TDSQL MySQL版功能优化 三、TDSQL PostgreSQL版功能增强及升级 TDSQL PostgreSQL版继2020年9月推出Oracle兼容版后，2021年在Oracle兼容能力上全面增强，包括触发器语法、游标、包、自定义函数、数据字典、嵌套表、系统视图等方面的Oracle兼容度提升。2021年7月正式开放公有云免费内测。 TDSQL PostgreSQL版于2021年11月正式推出高Oracle兼容的集中式版本，可使中小型Oracle应用更平滑迁移，且与分布式版本在同一套管控纳管，支持未来平滑扩容到分布式的TDSQL PostgreSQL Oracle兼容版的能力。
四、DBhouse数据库统一管理平台发布 2021年11月4日，腾讯云数据库DBhouse工具发布。DBhouse是腾讯云基于企业级分布式数据库在私有云场景中实现对用户自运维数据库统一纳管的一站式平台，能够从流程化、自动化、标准化等多方面提升数据库运维管理效率，保障数据安全。 SAAS 一、数据库智能管家DBbrain 支持私有云TDSQL+自建MySQL；支持混合云，可接入多源用户自建Mysql实例，提供数据库管理优化运维自治等服务。公有云新增Redis引擎支持、关系型高阶审计日志分析、死锁解析、热点保护、可视化执行计划等；MongoDB引擎支持将于1月底发布。 二、DTS-DBbridge 1、 公有云/TCE版本 2、 DBbridge发布平台化产品版本1.4v NoSQL 一、MongoDB 发布MongoDB 4.2版本支持分布式事务，分布式事务将 MongoDB 的多文档事务从副本集扩展到共享集群，能够为更广泛的场景服务。 新增MongoDB审计，批量回档，可用区灵活切换等特性，为用户提供了完善的数据安全管控和追溯能力，满足数据快速精准回档、数据容灾的自由切换等诸多易用性诉求。 二、Redis Redis发布了全球复制功能，在保证性能和数据可靠性的前提下，提供了双向复制能力，使得Redis可以跨地域同步数据，进而轻松解决业务因跨地域访问导致的延迟问题，助力企业快速实现异地多活架构，并极大降低业务设计复杂度。 三、时序数据库CTSDB 时序数据库CTSDB支持Prometheus数据存储、SQL查询、数据库多帐号权限管理、支持国产化环境ARM/海光x86/银河麒麟等。 四、图数据库KonisGraph 图数据库KonisGraph是在公有云正式发布的一站式智能图平台服务，基于腾讯在海量图数据上的实践经验，支持属性图模型和TinkerPop Gremlin查询语言，提供海量图数据存储、图库管理、可视化查询和分析交互能力。 HTAP数据库 一、 TDSQL-H LibraDB 2021年11月HTAP数据库TDSQL-H LibraDB正式发布。产品突出可插拔式TP设计、强大的数据分析引擎和一体化云原生系统。 注：关于更多腾讯云数据库产品的年度更新内容，可详细阅读本期Newsletter完整版（点击本文文末【阅读原文】可下载） 阿里云2021年度重要数据库产品更新汇总 一、阿里云数据库自研产品 1、云原生关系型数据库PolarDB 2、云原生数据仓库AnalyticDB 二、阿里云开源托管 & NoSQL产品 1、云数据库MySQL版 MySQL 5.7/8.0基础版可原地升级至高可用版云盘架构； 存储类型升级功能发布，SSD云盘可原地升级至性能更好的ESSD云盘； 通过数据库自治服务DAS（Database Autonomy Service），可实现性能的自动扩容功能。
2、云数据库PostgreSQL版 3、云数据库SQL Server版 4、云数据库专属集群 5、云数据库ClickHouse版 6、云数据库Redis版 Redis/Tair控制台发布概览页； Redis自动扩容功能。
7、云数据库MongoDB版 8、云数据库HBase版 - Serverless服务支持SSD存储 9、图数据库 - GDB只读节点功能正式全网发布 注：关于上述阿里云数据库产品的更多版本性能分析，可详细阅读本期Newsletter完整版（点击本文文末【阅读原文】可下载） 京东云正式发布StarDB 一、2021年7月13日正式发布金融级国产分布式数据库StarDB 1、金融级高可用 2、弹性伸缩 3、高性能 4、安全合规 5、智能管控 二、京东云数据库全面支持多云部署 京东云数据库全面支持Kubernetes的云原生架构。通过Operator，京东云数据库实现了统一的云原生管理、运维： 青云2021年度多款数据库产品更新汇总 一、关系型数据库MySQLPlus与分布式数据库RadonDB年度重大更新 1、2021-02-02 RadonDB 1.1.4版本上线 2、2021-07-09 MySQL Plus 1.0.9版本正式上线 MySQL Plus 1.0.9版本基于MySQL 5.6、5.7、8.0内核构建。 新增分析实例节点，支持从主节点同步并分析数据； 新增指定Master节点功能。
3、2021-07-12 MySQL Plus支持外网地址连接 二、关系型数据库PostgreSQL与分布式数据库PolonDB年度重大更新 1、2021-02-03 PostgreSQL PG11-高可用版-V1.0.6版本正式上线 支持zabbix监控； 支持pldebugger和pg_jieba插件。
2、2021-11-03 PostgreSQL PG9.6/PG10-高可用版-V1.1.5/PG11-高可用版-V1.0.7版本正式上线 三、时序分析数据库ChronusDB与ClickHouse年度重大更新 1、2021-08-23 ChronusDB 1.0.7 / ClickHouse 1.1.6版本正式上线 2、2021-11-03 ChronusDB 1.0.8 / ClickHouse 1.1.7版本正式上线 四、键值数据库Redis与文档数据库MongoDB年度重大更新 1、2021-10-09 Redis 5.0.11 - QingCloud 3.1.1正式发布，基于原生Redis 5.0.11构建。 2、2021-11-05 Redis Cluster 6.2.5版本正式上线，基于原生Redis 6.2.5版本构建。 3、2021-11-08 MongoDB Cluster上线，基于MongoDB分片技术构建的分布式文档数据库。 五、RadonDB on Kubernetes 2021年，青云RadonDB团队研发并开源三款数据库容器化项目：RadonDB MySQL Kubernetes、RadonDB PostgreSQL Kubernetes、RadonDB ClickHouse Kubernetes。支持在Kubernetes和KubeSphere上安装部署和管理。 注：关于上述青云数据库产品的更多更新内容，可详细阅读本期Newsletter完整版（点击本文文末【阅读原文】可下载） 推出dbaplus Newsletter的想法 dbaplus Newsletter旨在向广大技术爱好者提供数据库行业的最新技术发展趋势，为社区的技术发展提供一个统一的发声平台。为此，我们策划了RDBMS、NoSQL、NewSQL、时序数据库、大数据生态圈、国产数据库、云数据库等几个版块。 我们不以商业宣传为目的，不接受任何商业广告宣传，严格审查信息源的可信度和准确性，力争为大家提供一个纯净的技术学习环境，欢迎大家监督指正。 至于Newsletter发布的周期，目前计划是约每隔三个月做一次跟进，下期计划时间是2022年4月11日~4月22日，如果有相关的信息提供请发送至邮箱：newsletter@dbaplus.cn 感谢名单 最后，要感谢那些提供宝贵信息和建议的专家朋友，排名不分先后。 
往期回顾： ↓点此下载完整版Newsletter（提取码：iurv）
| 
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
