关于 ETL 工具本地化的 85 条思考

小夏 科技 更新 2024-01-28

虽然今年的国产化替代和信息创新化替代听起来没有以前那么高,但作为一般软件开发公司的参与者,我感觉到国产化的趋势就像一列已经启动的高速列车,不断加速和加速,国产基础软件落地机会越来越多,国产软件的成熟度正在快速提升。 ETL 工具,也称为数据集成产品,是一大类软件,几乎所有 IT 部门都使用 1 或 2 种不同的工具。 同时,市场上一直没有好的本地化ETL产品,Gartner排名龙头的Informatica据说在中国已经卖了上千套,IBM DataStage只会卖得更多,而不是更少,IBM庞大的销售体系,我想销量应该非常可观,而这部分客户群应该是有能力再次付款的潜在客户。

作为ETL的老人,ETL拥有近20年的开发、使用、支持、销售经验,还通过电子工业出版社出版了一本ETL书籍,据说已经重印了好几次。 我想利用这个周末来谈谈ETL(数据集成)工具或产品本地化替代。 我将从ETL本地化替代的需求、ETL本地化替代的现状和现状两个角度来谈谈ETL本地化替代。

我们先说需求,ETL本地化有需求吗?需求的风格是什么?

1 数据库本地化驱动的ETL本地化:国内有200+个数据库,每个数据库都有一些客户,这不重要,很多客户购买它是为了满足统计数据的需求。 重要的是,这两年确实有很多客户在一些不太重要、非核心的系统上使用过国产库,这些数据都要抽取出来,需求悄然来。

2 国产操作系统在线驱动ETL本地化:国产操作系统来了,麻烦大,因为Informatica和DataStage的内核都是C++,这是一个**烦恼,在早期,DataStage有时需要匹配AIX安装时的操作系统。 可想而知,国产操作系统的门槛是非常困难的。

3 庞大的 Informatica 和 DataStage 驱动的本地化:两兄弟都是企业应用时代的产物,具有强大的性能,但总体上都有点沉重。 在这个快餐时代,有时候感觉吃不上一顿热腾腾的饭菜(比如习学习周期长,很多企业级软件集成的最佳实践不是习要学的——有的从业者莫名其妙地认为老子在引领世界)。

4 ETL工具沉淀的企业数据资产保护挑战:ETL工具是开发和运营的一体化平台,很多大型企业在ETL工具上沉淀了大量的企业数据资产(现在称为数据元素的处理逻辑),ETL工具是企业花了10年或15年时间沉淀下来的业务逻辑, 而且他们已经花费了数千万或数亿沉淀的企业资产(如果按照数据丢失法计算,丢弃旧的ETL就意味着放弃了数以亿计的企业资产)。

5、新技术带动需求国产化:流批集成、数据结构(Data Fabric)等新技术也是国产化的重要驱动力,国内IT技术领域可媲美A股领先世界,新技术能力只需要一个PPT,短**即可实现,全球领先, 在弯道超车。

6 其实驱动力很多,再一列,估计没人看,这个不赚钱的小领域(ETL公司不赚钱,开发工程师工资低,VC不懂,**看不见),真的没意思。

我们来谈谈ETL(数据集成)本地化的现状,用“惨”四个字基本可以清楚,哪些方面是“惨”呢?

1.这个数字是可怕的:如果国内有 200 个数据库,ETL 工具至少翻了一番,达到 400 个。 几乎每个数据库公司都有它,几乎每个数据公司都有它。

2.几乎都赚钱了,都很惨:这几百家公司本着不利于己的精神,专门为他人谋利,几乎所有的项目都是免费赠送的;或者自己造一辆车,自己开车。

3.摸一头大象的屁股是不堪的,只是摸摸大象的屁股,准备通过生物编织技术开发出世界领先的超级大象:有少数理想主义和富有的公司准备开发国产ETL工具。 我见过很多这样的公司,我只能说他们对ETL(数据集成)产品的理解至少比Informatica这样的公司落后了20年,而原因其实很简单,几乎没有研究机构研究得这么少;具有使用它经验的普通开发人员没有太多事情可做;当时,真正熟悉自己产品的原工程师寥寥无几,很多外国工程师靠着翻译几篇英文ppt来赢得世界,知道这一点的人都明白了。

4.本地化的ETL相当于水壶穿着带有中文标志的衣服。 有个笑话说,如果你学习MySQL和PostgreSQL,你可以学习国内80%的数据库,所以学习Kettle也差不多。

**说“吐槽饱肚子防止肠破,景要长看量”,写这篇吐槽文章的原因主要是因为我最近看到了一件好事,一件好事,一款真的很好的ETL本地化产品,吹嘘保守点,至少是这个ETL产品设计的思路, 对产品的理解,以及保护企业资产和数据资产的视角是一件好事。

简单来说,对于一些数据密集型客户,使用Informatica的客户来说,这款ETL产品至少会让公司的资产余额减少数千万,甚至上亿。 我要求了几张照片给你看,真的很好,希望我没有泄露任何秘密。

相似文章

    海豚如何使用该工具?

    海豚如何使用该工具?这是一个有趣的问题,因为海豚是地球上为数不多的可以使用工具的动物之一。在本文中,我将介绍海豚使用的工具的一些示例,以及它们使用它们的原因和好处。海豚使用工具的一种方式是使用海底的物体来捕捉猎物。例如,澳大利亚鲨鱼湾的宽吻海豚就用巨型海螺壳捕鱼。他们会把海螺壳夹在嘴里,然后把鱼赶进...

    史前工具“神奇使用”:食物起源的惊人秘密

    在史前时代,人类使用最简单的工具生存。陶器和石器看似简陋,但在当时却是不可或缺的生产工具。例如,如何使用石棍和石板?让我们度过一段艰难的时光。在古代,生活有最基本的需求 食物 衣服 住所和交通工具。食物无疑是其中的重要组成部分。自古以来,人类就一直在努力获取食物,食物的加工方式已经从自然采集演变为农...

    WPS文本工具的使用和功能详解

    一 引言。WPS Office是一款功能强大的办公软件,广泛应用于各种工作和习场景。其中,WPS文本工具是用户最常用的功能之一,它提供了丰富的文字处理和编辑功能,帮助用户高效地完成各种文档编辑任务。本文将详细介绍WPS文本工具的位置 功能和用法,以帮助用户更好地掌握这个有用的工具。其次,WPS文本工...

    如何使用 PS 透视裁剪工具

    有两种方法可以使用 PS 透视裁剪工具 方法一 适用于更常规的种植 打开 Photoshop 并打开要透视裁剪的图像。.在工具栏中选择透视裁剪工具。如果找不到该工具,则它可能被其他工具隐藏。您可以按住相关工具图标并选择透视裁剪工具。.选择图像中的四个顶点 使用 透视裁剪 工具,单击并拖动图像以创建一...

    叉车冲击式磨削是构建未来的重要工具

    叉车反击式粉碎机是一种广泛应用于各种工程建设和土地开发项目的重型设备。其主要功能是通过重力和冲击力压实土 石材等材料,达到工程要求的致密性和稳定性。该设备在基础设施建设 道路建设 水利工程 矿山开发等领域发挥着重要作用。一 叉车反击式粉碎机的工作原理。叉车冲击压路机的工作原理主要是利用重力和冲击力将...