数据加载 集群加载具有以下特点和优势:
它与 GBASE NTU 的通用集群高度集成,无需额外部署。
GBASE一般支持SQL和外部工具的加载模式,面向用户的SQL接口模式统一了DML等集群加载和数据操作方式。
GBASE支持单表、多数据源并行加载,支持多加载器并行加载单表,最大程度优化加载性能。
GBASE支持从通用数据服务器远程读取数据,支持FTP、SFTP、HTTP、HTTPS、HDFS、KA、FKA等多种文件传输协议。
支持普通文本、GZIP压缩、snappy压缩、LZO压缩等多种格式的数据文件加载;
支持普通文本模式、固定长度文本模式和宽松模式加载;
支持错误数据溯源功能,可准确定位源数据文件中错误数据的位置;
支持实时查询加载进度和状态;
随着集群大小的增加,加载性能可以继续提高。
Kafka 数据同步 数据同步系统通过 Oracle Goldengate、Gbase RTSYNC 等工具将 Oracle、Gbase 8S 等数据库的业务数据拷贝到 Gbase 8A MPP 集群中,并将 Kafka 消息队列作为缓冲区添加到系统中,以应对业务系统中可能出现的高峰。 例如,Oracle 将实时数据同步到 GBASE 8A 集群,整体流程如下:
OGG 发送程序 (GoldenGate Extract) 从 Oracle 的 ** 日志和归档日志中提取事务信息,以生成跟踪文件。 OGG 接收器(Goldengate Replicat)接收跟踪文件,提取事务信息并将其转换为目标格式,并将事务消息生成给 Kafka。 集群的 consumer 模块使用来自 Kafka 的事务消息将数据更新到 gbase 8a mpp 集群中。
Kafka Consumer 的主要功能是将 Kafka 数据同步到 Gbase 8a MPP 集群:
根据配置,您可以指定需要同步的服务。
在同步过程中,提供同步状态查询功能;
实现数据同步的高可用性和事务数据一致性。