SeaTunnel 将 Oracle 数据同步到 ClickHouse

小夏 科技 更新 2024-01-31

SeaTunnel 是一个分布式、高性能且易于扩展的数据集成平台,用于海量数据同步和转换。 可实现MySQL、Oracle、SqlServer、PostgreSQL、MongoDB2、Redis等各种异构数据源之间稳定高效的数据同步。 您只需配置作业信息即可同步数据。 提交作业后,源连接器负责并行读取数据,并将其发送到下游转换或直接发送到接收器,接收器将数据写入目标。

Seatunnle的特点:

丰富且可扩展的连接器:Seatunnle 提供了一个不依赖于特定执行引擎的连接器 API。 基于此 API 开发的连接器(source、transform、sink)可以运行在许多不同的引擎上,例如当前支持的 seatunnle 引擎、flink、spark。 连接器插件:插件设计允许用户轻松开发自己的连接器并将它们集成到 seatunnle 项目中。 目前,Seatunnle 已经支持 100 多个连接器,而且这个数字还在增长。 批量流式处理集成:基于Seatunnle连接器API开发的连接器,完美兼容离线同步、实时同步、全量同步、增量同步等场景。 大幅降低数据集成任务的管理难度。 多引擎支持:默认情况下,seatunnle 使用 seatunnle 引擎进行数据同步。 同时,Seatunnle 还支持使用 Flink 或 Spark 作为连接器的执行引擎,以适应企业现有的技术组件。 Seatunnle 支持多个版本的 Spark 和 Flink。 JDBC多路复用,数据库日志多表解析:Seatunnle 支持多表或全库同步,解决了 JDBC 连接过多的问题支持多表或全库日志读写解析,解决了CDC多表同步场景下日志重复读解析的问题。 高吞吐量和低延迟Seatunnle支持并行读写,提供稳定可靠的数据同步,高吞吐量和低延迟。 完善的实时监控:Seatunnle支持数据同步过程中每个步骤的详细监控信息,方便用户了解同步任务的读写数据量、数据大小、QPS等信息。 ClickHouse是ORAP**分析领域的一颗冉冉升起的新星,拥有出色的查询性能和丰富的分析功能,可以帮助分析师灵活、快速地提取海量数据的价值。

将Oracle数据同步到ClickHouse,有助于提高数据处理速度和查询性能,提供更好的数据管理和分析能力,降低成本,提高经济效益。

本文介绍如何使用Seatunnle将Oracle数据同步到ClickHouse数据仓库。

Seatunnel 任务配置和启动

在此示例中,Oracle 测试表中的 9,999 个数据条目将同步到默认值test0 中。

Oracle 表创建语句,如下所示:

create table test (id int,name varchar(40),quantity int,primary key (id) )

按以下格式将数据插入 Oracle:

insert into test (id,name,quantity) values(1,'banana',1);

ClickHouse的表创建如下:

create table default.test0

id` int32,`name` string,`quantity` int32

engine = mergetree

primary key id

order by id

1、**jdbc

*Oracle JDBC 并将其放入'$seatnunnel_home/plugins/jdbc/'目录。

2. 编写配置文件

在'$seatnunnel_home/config'目录中,创建配置文件。

配置文件内容示例如下:

env sink

3. 启动任务

在'$seatnunnel_home'目录中,请使用启动命令:

bin/seatunnel.sh --config ./config/oracletock.template -e local

此命令将在本地模式下运行您的 seatunnel 作业。

任务完成后,将显示任务的摘要信息

进入 ClickHouse,从 test0 中选择 count(),查看写入状态,看到 9,999 条测试数据已经写入 ClickHouse。

接下来,我们将详细介绍从数据库到clickhouse的数据同步过程。

相似文章

    云计算业务营收不及预期,甲骨文股价跌超12%。

    甲骨文月日的股价在 以上,可能是因为该公司日晚间发布的第二财季财报未及预期。该公司公布调整后每股收益为 美元,略高于 LSEG 前身为 Refinitiv 预计 美元。第二财季营收为亿美元,低于LSEG预测的美元亿美元。特别是,华尔街分析师在给投资者的一份报告中指出,甲骨文的云计算收入低于预期。瑞银...

    iCloud 相簿同步,轻松管理您的回忆

    一 引言 随着科技的进步,手机已经成为我们日常生活中不可或缺的伴侣。无论是记录生活中的瞬间,还是与朋友和家人分享快乐的时刻,手机都为我们承载着无数的回忆。然而,随着时间的流逝,手机越来越多,如何有效地管理和备份这些手机成为亟待解决的问题。幸运的是,iCloud相册同步功能为我们提供了一个完美的解决方...

    MySQL主从同步分步详细构建教程!

    MySQL主从同步是一种流行的数据库解决方案,允许在多个数据库服务器之间进行数据同步。该方案不仅提高了数据备份的效率,还减轻了主数据库的读取负载,从而提高了整个系统的性能和可靠性。.MySQL主从同步的基本原理。MySQL主从同步基于二进制日志。主数据库在二进制日志中记录数据更改,而辅助数据库通过读...

    如何取消手机和 iPad 之间的同步?

    当我们使用Apple设备时,手机和iPad之间的同步通常很方便,但有时也会导致不必要的复杂情况,例如不希望 联系人或应用程序在不同设备之间自动同步。那么,如何取消此同步呢?这里有一些简单的方法可以做到这一点。.通过iCloud取消同步。iCloud 是 Apple 提供的云存储和同步服务。要防止数据...

    洋葱学校 校内同步培训,简单易用

    在数字时代,学习习软件层出不穷,但洋葱学园APP以其独特的特色和强大的功能吸引了超过亿用户,成为广大学生用户最受欢迎的学习软件习。洋葱学园APP采用会员元限时优惠活动买一科送一科,鼓励学生享受智能学习习的乐趣。.多样化的学习和习服务。洋葱学校APP覆盖小学 初中 高中及各专业学科的教材同步课程,包括...