金融模型落地时如何突破算力瓶颈

小夏 职场 更新 2024-01-31

AI大模型的热潮进一步加速了智能算力的稀缺,在此背景下,如何找到更高效的算力解决方案成为众多银行的难题。 银行智能算力不足的根本原因是什么?一些地方内置的“算力池”和已经实现的AI代理,能否为大银行模型提供“底层算力支撑”?

今年以来,越来越多的国内银行积极拥抱大规模模型技术,并在众多金融场景中广泛应用。 同时,算力瓶颈正成为大模型技术布局的一大挑战。

算力的基础是先进的AI芯片。 然而,由于美国对先进AI芯片(包括GPU芯片)出口中国的限制,国内银行在开发大型金融模型时普遍遇到算力瓶颈。 某股份制银行IT部门负责人表示。

据了解,为了解决算力瓶颈的挑战,不少银行都大显身手。

具体来说,大型银行只是简单地建立自己的算力,虽然这种方式的成本相当昂贵,但好处是银行具有高度的自主性和安全性,还可以根据自己的业务需求开发大型金融模型。

中小银行一直在试水算力混合部署,即在公有云的基础上,先调用大型互联网企业或电信设备服务商的大模型计算服务接口,然后通过私有化部署对自身数据的大模型进行预训练。

目前,中小银行已经形成了相对成熟的云+算力服务解决方案,主要引入大型互联网企业和电信设备服务商的计算资源,解决前者对大模型数据的预训练和优化。 某中小银行信息技术部主任介绍。

为各种规模的银行提供差异化解决方案。

调查发现,目前具备自建算力能力的主要是大型国有银行和部分股份制银行。

究其原因,这些银行储备了一定数量的先进AI芯片,广泛用于自身金融大模型数据的预训练。

考虑到单个先进的AI芯片**相当昂贵,保留一定数量的芯片将是一笔不小的开支,只有大型银行和一些股份制银行才能负担得起。 上述中小银行信息技术部负责人表示。

相应地,大型银行在开发自己的金融模型方面取得了更快的进展。

据某大型银行IT部门人士透露,他们建立了异构GPU算力资源池,实现了基于云服务部署的算力灵活调度。

这使我们能够快速构建基础模型、金融行业模型和基于计算算法的场景模型。 IT人员直言不讳地说。 目前,这些大模型已广泛应用于智能客服、文本生成、辅助研发、智能投顾、智能采集、大数据风控等场景。

上述IT人士坦言,由于美国限制对华出口先进AI芯片的影响,加上银行内部金融模式迭代的加速,他们也发现自己的GPU芯片正在被快速“消耗”。 因此,他们也尝试与一些大型互联网公司开展算力合作,如共同建设算力集群、算力网络存储等底层基础设施,进一步利用外部算力资源进行金融大模型的优化迭代。

相比之下,绝大多数中小银行基本采用算力租赁或算力混合部署的方式,解决自身研发大模型技术的算力瓶颈。

目前,我们主要通过租赁大型互联网企业的计算资源(即通过云部署调用后者的算力)来开展银行内部数据大模型的预训练,但这种算力投入每年仍达数百万元。 上述中小银行信息技术部负责人表示。

据中小银行信息技术部负责人介绍,为了尽可能降低算力成本,他们正在考虑开发轻量级大模型,即在第三方金融科技平台开发的大模型产品的基础上,对场景进行优化适配, 然后结合银行内部数据的预训练结果,开发出适合特定任务或特定场景的大模型,既能有效减少数据预训练的工作量和算力投入,又能节省大模型研发中的大量“重复性工作”。

调查发现,为了进一步节约算力投入,部分中小银行还采用“大模型+小模型”的方式,推动大模型技术在金融场景中的应用。 具体来说,首先是大模型起到了任务分解和调度的作用,通过大模型对小模型的调度,可以实现更智能的工作,减少海量数据预训练带来的算力投入二是通过大模型对特征向量进行赋能,可以替代小模型所需的特征工程工作,也可以减少大量的算力投入。

在很多银行家看来,虽然很多银行已经采取了很多措施来解决算力瓶颈,但在金融大模型迭代加快、大模型技术快速发展的趋势下,真正解决算力瓶颈的最好办法是积极拥抱国产AI芯片。

目前,一些银行已尝试引入国产GPU芯片作为新的计算资源支持,用于其进一步研发金融模型。

然而,由于美国国产GPU芯片和先进的AI芯片在技术路线和软件生态上存在差异,以及国产GPU芯片仍在进一步提升计算性能,国产GPU芯片要适应现有的金融模型研发技术架构,仍需要一定的工作量和时间。

在第一个算力池中试水。

为了解决行业内众多企业开发大模型的算力瓶颈,近期不少地方都在积极建设“算力池”。

这也引起了多家银行的浓厚兴趣。

如果我们能够通过本地算力池解决数据预训练的问题,可能会加快我们金融大模型的迭代升级过程,让大模型技术更好地应用于更多的金融场景。 上述中小银行信息技术部负责人表示。

但他很快发现,最大的挑战是如何“防止数据传播”。

过去,当他们与大型互联网公司合作进行算力租赁时,后者将大模型数据预训练所需的计算资源部署在中小银行,这样银行在使用本地部署的计算资源进行海量数据预训练时,就没有了“数据出行”的麻烦。 如今,如何在“数据不流动”的情况下引入本地算力池的算力资源,他们目前正在研究合规运营方案的可行性。

有来自IT部门的中小银行建议,相关金融监管部门不妨为银行等金融机构建立算力池,供不同规模的银行进行金融大模型数据的预训练,这样不仅可以解决很多银行普遍遇到的“算力瓶颈”, 同时也最小化了大模型技术带来的银行间金融服务“差距”。然而,谁来资助算力的购买或租赁,如何分配算力,如何构建匹配不同银行转账接口的底层基础设施,都面临着一定的现实挑战。

AIagent已经初具规模。

临近年底,AI行业再次提供了“王者炸弹”。

近日,在首届OpenAI开发者大会上,OpenAI发布了AIAGENT GPTS的初始形态,并推出了相应的生产工具GPTbuilder。 用户只需与 GPTbuilder 聊天并描述所需的 GPT 功能,即可生成自己的 GPT。

对此,某城商行IT部门负责人透露,他们也注意到AIAGENT业务日趋火爆,该行高层也认为AIAGENT大模型技术在很多金融场景中都能发挥出更加智能化的服务效果,但由于算力的瓶颈, 他们不太可能对这种尖端的大模型技术进行探索性研究。

AIagent,又称AI agent,与LLM属于两个完全不同的概念,LLM本质上是一种大型语言模型,包括GPT、GLM等基于自然语言处理和海量参数的生成式预训练大型模型,但AIAGENT侧重于AI与环境的交互,并根据当前环境的特点, 人工智能自主决策和采取行动。

在某种程度上,LLM 是 AI 代理的关键环节。 但是,目前aiagent还不成熟,存在很多错误和问题。 但是,可以预见的是,如果AIAGENT技术成熟并形成各种实际应用,可以帮助金融机构更高效、更低成本地使用AI技术。

多家中小银行直言,随着AIAGENT技术的日益成熟和数据加密检索技术的不断进步,未来可能会引入AIAGENT大模型技术,并尝试将其应用到更多的金融场景中,因为AIAGENT确实可以在智能服务、降本增效方面发挥更强大的作用。 然而,这项工作能否开展的一个主要前提是,银行能否构建独立、安全、稳定、强大的计算资源,以支持AIAGENT等前沿大模型技术的研发和应用。 陈志.

*:城市财经新闻。

相似文章

    制造商如何跨越障碍?

    文 观察团 新经济观察团 自年底ChatGPT引爆市场以来,大模型的风向已经吹了整整一年。金融行业作为天然的数据密集型 技术驱动的行业,成为大模型最热门的试验场之一,在全球首个金融模型彭博GPT发布后,大模型被淹没。在中国,从金融机构到互联网巨头,再到蚂蚁集团 新浪数科等金融科技公司,纷纷押注自己的...

    金融模式落地,“百模大战”开启下半场

    年,ChatGPT诞生 年,生成式 AI 风靡全球。在AI的iPhone时刻,在移动时代的LLM时代的奇点时刻,国内科技巨头和顶级AI团队加速入局。今年年初,打响了国内大模的第一枪,随后阿里巴巴 腾讯 JD.com 华为 字节 速消费相继推出自己的大模。国内大模特一夜之间遍地开花,行业爆发了 百模大...

    中国如何突破算力的“瓶颈”?

    今年以来,以ChatGPT为代表的AI模型的出现,标志着一个新时代的开始。大模型技术的快速迭代催生了Midjourney Character等多项技术的诞生人工智能和其他类型的AIGC 人工智能生成内容 应用为办公 电子商务 教育 医疗保健和法律领域带来了革命性的变化。复杂的AI算法需要大量的计算资...

    大模型引爆AI算力需求,青云“下一站”。

    对于青云来说,AI时代将是一个新的机遇,年将带来比过去年更大的市场需求和机遇。青云科技总裁林远说。在这一轮AI大模型的技术进步中,支撑人工智能所需的算力自然成为关注的焦点。基于对AI算力需求的洞察,青云发布了青云AI算力服务平台 青云AI算力云等产品和服务。随着大型AI模型的发展,算力的重要性日益凸...

    AIGC对算力需求量大云计算机如何赋能AIGC?

    AIGC目前是一个非常热门的技术领域,广泛应用于各个行业和领域,但同时,AIGC也面临着很多痛点,那么如何解决这些痛点呢?在云时代,如何通过云电脑赋能AIGC行业,我们一起来看看吧。AIGC是指利用人工智能技术生成内容,包括文本 图像 音频 等形式。AIGC应用场景广泛,可应用于文学创作 艺术创作 ...