GBASE GBase 8a 数据加载和集成

小夏 科技 更新 2024-02-21

数据加载 集群加载具有以下特点和优势:

它与 GBASE NTU 的通用集群高度集成,无需额外部署。

GBASE一般支持SQL和外部工具的加载模式,面向用户的SQL接口模式统一了DML等集群加载和数据操作方式。

GBASE支持单表、多数据源并行加载,支持多加载器并行加载单表,最大程度优化加载性能。

GBASE支持从通用数据服务器远程读取数据,支持FTP、SFTP、HTTP、HTTPS、HDFS、KA、FKA等多种文件传输协议。

支持普通文本、GZIP压缩、snappy压缩、LZO压缩等多种格式的数据文件加载;

支持普通文本模式、固定长度文本模式和宽松模式加载;

支持错误数据溯源功能,可准确定位源数据文件中错误数据的位置;

支持实时查询加载进度和状态;

随着集群大小的增加,加载性能可以继续提高。

Kafka 数据同步 数据同步系统通过 Oracle Goldengate、Gbase RTSYNC 等工具将 Oracle、Gbase 8S 等数据库的业务数据拷贝到 Gbase 8A MPP 集群中,并将 Kafka 消息队列作为缓冲区添加到系统中,以应对业务系统中可能出现的高峰。 例如,Oracle 将实时数据同步到 GBASE 8A 集群,整体流程如下:

OGG 发送程序 (GoldenGate Extract) 从 Oracle 的 ** 日志和归档日志中提取事务信息,以生成跟踪文件。 OGG 接收器(Goldengate Replicat)接收跟踪文件,提取事务信息并将其转换为目标格式,并将事务消息生成给 Kafka。 集群的 consumer 模块使用来自 Kafka 的事务消息将数据更新到 gbase 8a mpp 集群中。

Kafka Consumer 的主要功能是将 Kafka 数据同步到 Gbase 8a MPP 集群:

根据配置,您可以指定需要同步的服务。

在同步过程中,提供同步状态查询功能;

实现数据同步的高可用性和事务数据一致性。

相似文章

    GBASE 是 GBase 8a 网络解决方案

    GBASE 是通用的。网络平面类型 Gbase A MPP Cluster的网络部署方案可以分为两个物理隔离的平面网络,即数据面网络和业务面网络。数据平面网络用于集群内的数据计算和集群管理,也称为集群内部网络。服务面网络用于业务系统访问,也称为集群外部网络。Gbase A MPP Cluster由G...

    NTU 通用 GBase 8a 企业增强功能 (2)。

    虚拟集群 GBASE 可以在通用虚拟集群中包含一个或多个 VC。每个 VC 都是一个物理集群,每个 VC 由同一组协调器集群管理,每个 VC 在虚拟集群范围内独立运行并共享一个统一入口。每个虚拟集群 VC 由一组数据节点组成,所有虚拟集群都由一组协调器集群控制。每个虚拟集群独立运行,互不影响 GBA...

    NTU 通用 GBase 8a 企业增强 (1)。

    数据的分布式存储 列和行是混合的 NTU 的通用 gbase a 管理的数据被组织起来,并以物理方式存储在磁盘上的列中。面对海量数据分析,分析数据库将表数据存储在列中,列存储架构在查询 统计 分析操作方面具有天然优势。其优点体现在以下几个方面 更低的 IO 只有访问查询中涉及的列才会产生磁盘 io,...

    上汽大通Vanlife正式定制轻型乘用车 助力轻型创业梦想成真

    摆脱两点一线的枯燥生活,享受自由自在的生活,是很多年轻人的梦想。但实现梦想并不是一件容易的事,如果你想实现工作的自由,你需要为创业做好充分的准备。其实不妨从轻生意做起,比如买一辆多功能小巴,把它建成移动咖啡屋 花店或者甜品店,边走边赚钱。上汽大通Vanlife官方定制轻客V Mart Edition...

    摩根大通(J.P. Morgan)已任命Piepszak和Rohrbaugh为商业和投资银行业务的联席首席执行官

    摩根大通 J.P.Morgan Chase 最近宣布任命Jennifer Piepszak和Troy Rohrbaugh为商业和投资银行业务的联席首席执行官 CEO 这一任命标志着摩根大通银行业务的战略调整,并决心进一步扩大其业务范围。Pipsak和Rohrbo的任命是摩根大通适应市场变化和应对竞争...