Oushu Database 4.0 Beta 新特性 (发布日期:2019年9月12日)#

作为新的里程碑,本次我们在OushuDB 4.0版本中开发了分布式表存储Magma,并将其作为OushuDB的新一代数据存储底层实现。历时两年半打造,从此OushuDB拥有了自己的原生表存储。Magma和HDFS并驾齐驱, 解决HDFS不能高效支持的特性。

新Magma存储的引入使得OushuDB达到了前所未有的高度。例如:使其具备了真正的高性能表数据更新删除(Update、Delete)功能;具备了高效的基于索引的数据约束和查询能力;具备了内建的自动数据冗余和服务高可用能力。

通过将新分布式存储模块和新执行器的整合,OushuDB架构在保持存储与计算分离的同时,保证了最优的性能。可以说是业界最前沿的架构,完美原生匹配云平台的弹性需求,远超目前市面同类产品。

Oushu Database 4.0 Beta 包括如下新特性:

  • Magma存储支持结构化数据存储,提供高性能存储内数据读写支持;

  • Magma存储支持表数据Update和Delete功能;

  • Magma存储支持ACID分布式事务;

  • Magma存储支持主键索引、唯一键索引和普通索引提高数据检索性能;

  • Magma存储支持表数据的自动冗余持久化和高可用访问;

  • Magma存储支持Oushu Database弹性扩容;

  • Oushu Database执行器和优化器针对Magma进行特别优化,实现最优的数据访问性能表现;

  • Oushu Database 执行器和优化器支持对Magma表的Index Scan和Index-Only Scan;

  • Magma存储 为P2P无中心架构,提高集群部署灵活性便捷性同时降低使用维护复杂度;

  • Magma支持JSON数据格式(JavaScript Object Notation),它是一种轻量级的数据交换格式,易于人阅读和编写,同时也易于机器解析和生成;

  • Magma支持JSON的操作符和相关函数。

Oushu Database 4.0 Beta 修复的Bug如下:

  • Table lock is not released before reporting errors when exceeding limit MaxAORelSegFileStatus

  • Refactor gpfdist server/client code

  • Fix bug that query text of external table dumped with pg_dump is incomplete

  • Fix bug for removing hash entry in append-only table

  • Fix bug of COPY SELECT FROM one ORC table to one file

  • Fix wrong result for inserting data into text table using gpfdist

  • Rename HDFS path when renaming an external table

  • Fix log timezone that is different from the table

  • Fix bug that DROP and CREATE and INSERT in loop will lose relid

  • Fix bug of running deadlock detection

  • Check nullptr when renaming path

  • Remove deprecated orc implementation

  • Adapt OushuDB to be compatible with Ambari either in King Soft Yun or in Oushu ci

  • Fix bug for hostname and path are NULL in TEXT/CSV format

  • Refresh kerberos ticket before renaming external table

  • Fix memory bug in copyfunc

  • Fix bug of accessing an external table with error table through JDBC

  • Fix bug of calculating string length when renaming HDFS path

  • Add hawq install-oushu-python/remove-oushu-python

  • Fix url_curl palloc in TopMemoryContext

  • Joining HIVE table may encounter core dump

  • Core dump when execute pg_relation_size upon HIVE table

  • Core dump when analyze a HIVE table

  • Change Tomcat default path

操作系统

版本

Redhat/Centos

7.0

Redhat/Centos

7.1

Redhat/Centos

7.2

Redhat/Centos

7.3

Redhat/Centos

7.4

从3.x升级到4.0 Beta#

4.0 Beta 版本暂不支持升级。