虽然今年的国产化替代和信息创新化替代听起来没有以前那么高,但作为一般软件开发公司的参与者,我感觉到国产化的趋势就像一列已经启动的高速列车,不断加速和加速,国产基础软件落地机会越来越多,国产软件的成熟度正在快速提升。 ETL 工具,也称为数据集成产品,是一大类软件,几乎所有 IT 部门都使用 1 或 2 种不同的工具。 同时,市场上一直没有好的本地化ETL产品,Gartner排名龙头的Informatica据说在中国已经卖了上千套,IBM DataStage只会卖得更多,而不是更少,IBM庞大的销售体系,我想销量应该非常可观,而这部分客户群应该是有能力再次付款的潜在客户。
作为ETL的老人,ETL拥有近20年的开发、使用、支持、销售经验,还通过电子工业出版社出版了一本ETL书籍,据说已经重印了好几次。 我想利用这个周末来谈谈ETL(数据集成)工具或产品本地化替代。 我将从ETL本地化替代的需求、ETL本地化替代的现状和现状两个角度来谈谈ETL本地化替代。
我们先说需求,ETL本地化有需求吗?需求的风格是什么?
1 数据库本地化驱动的ETL本地化:国内有200+个数据库,每个数据库都有一些客户,这不重要,很多客户购买它是为了满足统计数据的需求。 重要的是,这两年确实有很多客户在一些不太重要、非核心的系统上使用过国产库,这些数据都要抽取出来,需求悄然来。
2 国产操作系统在线驱动ETL本地化:国产操作系统来了,麻烦大,因为Informatica和DataStage的内核都是C++,这是一个**烦恼,在早期,DataStage有时需要匹配AIX安装时的操作系统。 可想而知,国产操作系统的门槛是非常困难的。
3 庞大的 Informatica 和 DataStage 驱动的本地化:两兄弟都是企业应用时代的产物,具有强大的性能,但总体上都有点沉重。 在这个快餐时代,有时候感觉吃不上一顿热腾腾的饭菜(比如习学习周期长,很多企业级软件集成的最佳实践不是习要学的——有的从业者莫名其妙地认为老子在引领世界)。
4 ETL工具沉淀的企业数据资产保护挑战:ETL工具是开发和运营的一体化平台,很多大型企业在ETL工具上沉淀了大量的企业数据资产(现在称为数据元素的处理逻辑),ETL工具是企业花了10年或15年时间沉淀下来的业务逻辑, 而且他们已经花费了数千万或数亿沉淀的企业资产(如果按照数据丢失法计算,丢弃旧的ETL就意味着放弃了数以亿计的企业资产)。
5、新技术带动需求国产化:流批集成、数据结构(Data Fabric)等新技术也是国产化的重要驱动力,国内IT技术领域可媲美A股领先世界,新技术能力只需要一个PPT,短**即可实现,全球领先, 在弯道超车。
6 其实驱动力很多,再一列,估计没人看,这个不赚钱的小领域(ETL公司不赚钱,开发工程师工资低,VC不懂,**看不见),真的没意思。
我们来谈谈ETL(数据集成)本地化的现状,用“惨”四个字基本可以清楚,哪些方面是“惨”呢?
1.这个数字是可怕的:如果国内有 200 个数据库,ETL 工具至少翻了一番,达到 400 个。 几乎每个数据库公司都有它,几乎每个数据公司都有它。
2.几乎都赚钱了,都很惨:这几百家公司本着不利于己的精神,专门为他人谋利,几乎所有的项目都是免费赠送的;或者自己造一辆车,自己开车。
3.摸一头大象的屁股是不堪的,只是摸摸大象的屁股,准备通过生物编织技术开发出世界领先的超级大象:有少数理想主义和富有的公司准备开发国产ETL工具。 我见过很多这样的公司,我只能说他们对ETL(数据集成)产品的理解至少比Informatica这样的公司落后了20年,而原因其实很简单,几乎没有研究机构研究得这么少;具有使用它经验的普通开发人员没有太多事情可做;当时,真正熟悉自己产品的原工程师寥寥无几,很多外国工程师靠着翻译几篇英文ppt来赢得世界,知道这一点的人都明白了。
4.本地化的ETL相当于水壶穿着带有中文标志的衣服。 有个笑话说,如果你学习MySQL和PostgreSQL,你可以学习国内80%的数据库,所以学习Kettle也差不多。
**说“吐槽饱肚子防止肠破,景要长看量”,写这篇吐槽文章的原因主要是因为我最近看到了一件好事,一件好事,一款真的很好的ETL本地化产品,吹嘘保守点,至少是这个ETL产品设计的思路, 对产品的理解,以及保护企业资产和数据资产的视角是一件好事。
简单来说,对于一些数据密集型客户,使用Informatica的客户来说,这款ETL产品至少会让公司的资产余额减少数千万,甚至上亿。 我要求了几张照片给你看,真的很好,希望我没有泄露任何秘密。