【金融GAI先行者经验:国泰金控】全集团统一GAI战略与技术框架,加速子公司多元发展AI创新

面对内部GAI需求暴增,国泰金控选择先从集团角度下手,不仅在今年成立AI卓越中心,专责排序集团AI应用发展顺序,还要打造集团统一的GAI技术框架,让子公司都能透过同个平台打造GAI应用

早从2018年展开集团数据转型的国泰金控,相当清楚大型企业拥抱AI的困难,光是让业务同仁接纳新技术、理解数据重要性,就是一段漫长的路。

国泰金控2018年开始发展大数据生态圈,也推动小核心、大中台、微服务等IT现代化工程,就是希望促进更多数据驱动的创新。国泰金2020年更进一步发展出CaaS服务模式,扩大更多数据资料和应用场景,也发展出了不少AI应用。

但是,国泰金控资深副总经理姚旭杰坦言,过去推动数据转型十分困难,业务人员得具备一定技术或学习新工具,否则无法直接与数据互动。

GAI爆红後,员工可以在ChatGPT中用自然语言描述需求,生成图表或报告,在企业内部直接与数据互动,「这是之前做不到的事情。」姚旭杰强调:「生成式AI真的打开了数据价值。」

看好新一波GAI浪潮,国泰金控全集团,从金控到子公司,纷纷展开不同的GAI创新尝试。

例如,去年中,国泰金控就运用GAI打造一个云端知识顾问chatbot,能即时回覆云端技术问题,分析子公司上云问题、提供解方。今年,国泰世华银行打造一款员工助手chatbot,能快速整理行内资讯,解答员工疑问。

不仅如此,国泰子公司业务单位也开始运用GAI,解决业务场景中,长期面临的痛点。像国泰人寿就用GAI打造智能对练工具,替代真人陪练,还可提升新人面对客户的应对能力。国泰产险则用GenAI来萃取法院判决中的重要资讯,取代人工查找大量判决文件,让理赔人员能快速参考判决,评估精神赔偿金额。

GAI爆红不到两年,国泰旗下子公司已各自累积不少GAI应用,部分应用正在实验阶段,部分应用则已正式上线。

子公司GAI推进步调不同,集团难以有效集中技术资源

不过,随着集团内部GAI应用逐渐增加、需求量不断上升,治理层的挑战也渐渐浮现。

国泰内部去年开始涌现许多AI需求,随着子公司各自发展GAI应用,集团难以有效集中技术资源,再加上子公司各自的技术基础不同,推进步调开始出现落差。

对多年前就推动数位转型的国泰人寿来说,很快就能延续过往经验,快速启动全员GenAI计画。国寿透过开办训练课程,让员工了解GAI技术、思考如何将技术应用到业务场景,包括董事长和总经理都要接受一对一培训课程。「在这样的过程中,让AI应用遍地开花。」国泰人寿数据暨人工智慧发展部协理庄淑仪说。对国泰人寿而言,GAI目前最大挑战,「是需求很多,需从影响力来排序先後顺序。」庄淑仪说。

相比国泰人寿,国泰产险数位转型起步较晚,碍於产业特性,更有许多业务场景仍采人工作业,较难快速导入新技术,但是,国泰产险督导吴香妮表示,这个处境,更激发了产险内部对GAI的强烈需求。在资源有限的情况下,国泰产险正和金控合作,藉助金控资源,共同推进GAI应用发展。

成立AI卓越中心,排序集团AI应用发展顺序

面对AI需求上升、子公司GAI推进步调不同的挑战,国泰的GAI策略,是先从集团角度下手。今年9月,国泰金控在自家技术年会中,抢先金融同业,公布了集团的GAI战略和技术框架。

当时,国泰金宣布要透过「AI Ready」、「AI Native」、「AI Empower」三大AI发展策略,实现AIaaS战略目标,要以AI作为集团核心,驱动转型和推出创新服务,国泰金控数数发中心副总经理梁明乔说:「期待国泰能成为提供AI金融服务的科技公司。」

国泰在自家技术年会上宣布AIaaS的战略目标,要靠三大AI策略「AI Ready」、「AI Native」、「AI Empower」实现。图片来源/国泰金控

AI Ready策略是要打造集团统一技术发展框架,同步子公司间的策略和技术。AI Native则是要将AI嵌入不同业务运作,达到AI应用无所不在的目标。最後一项策略,AI Empower则要提升集团全员工AI和云端思维,除了要推动云端转型和成立AI专责组织,还要在集团扩大AI影响力。

不仅要建立统一的GAI技术框架,来实现三大AI发展策略,今年,国泰还在金控成立AI卓越中心,负责规画全集团的AI应用发展,排序集团应用发展先後顺序。在金控带领下,各子公司也成立AI卓越中心,依循金控AI CoE策略方向,推动AI应用发展。

国泰分四个阶段来发展GAI,从基础的AI工具,再来是AI助理和AI代理,最後要达到AI应用无所不在的愿景。梁明乔强调,这四个阶段并非循序渐进,「不是第一个做完,才到第二个。」他表示,目前国泰仍在打造AI工具和AI助理阶段,未来会根据法规环境和技术成熟度,适时步入AI代理应用阶段。

打造集团统一GAI技术框架,集中子公司技术资源

在技术年会上,梁明乔揭露了集团统一的GAI技术框架GAIA。「GAIA是国泰生成式AI的基础框架,也是发展AI即服务(AI as a Service)的核心。」他用一句话,点出GAIA的重要性。

这个技术框架具备三大特点。第一,适用於地端和云端环境。第二则可支援多模态或单一模态输出。最後,也是梁明乔认为最重要的特点,「可以在这个架构中微调模型,进行弹性扩充。」

GAIA包含三个核心模组,分别是知识库、Model Hub,和护栏。梁明乔解释,若将GAIA视为一座模型工厂,知识库就是模型工厂的图书馆,不仅可协助降低AI幻觉问题,未来要微调模型,或打造RAG架构,专属知识库非常重要。

GAIA的知识库类型可分为对内和对外,对内包含HR知识库、授信知识库、洗防知识库和内稽知识库等,对外则包含贷款产品知识、寿险产险产品知识、理财产品知识等。

Model Hub是国泰GAIA架构中的另一个核心,梁明乔说:「Model Hub就像是中央控制室。」不仅能提供多种模型选择,包含云端、地端、开源或闭源模型,也提供标准化API接口,能介接各种服务。最後,Model Hub也提供成本管理功能,协助开发者管控模型使用开销。这是梁明乔认为十分重要的功能。

最後一个核心,是国泰自行开发的护栏。梁明乔解释,护栏如同模型工厂的警卫室,负责确保模型输入和输出的安全。GAIA的护栏设计包含复合式规格护栏和多层抽换模组护栏。前者是在知识库连接模型时进行资讯过筛,後者则是在既有模型护栏上,再加上防护措施,例如增加业务专属的业务护栏,实现多层次过滤机制。

目前,国泰金控仍在持续完善GAIA架构,预计最快今年完工。不过,在建立统一技术框架的同时,各子公司仍在持续发展应用,因此,如何将各子公司发展的工程整合到GAIA框架,是国泰金控技术团队现阶段需要面对的一项挑战。

AI评测也是关键技术

除了GAI技术发展框架,AI评测平台,也是国泰GAI发展策略的关键技术。这个评测平台,会运用量化的AI评测指标,来评估AI模型是否符合公平性、可靠性等AI治理原则。检测完成後,平台会产出检核报告,再交由专责单位决策模型上线与否。

国泰金控打造AI评测平台,确保模型从研发到上线都符合规范。图片来源/国泰金控

梁明乔表示,国泰根据金管会金融AI指引的六大原则和数发部AI评测中心的十大评测项目,订定评测项目。并且,国泰透过自建问答集,来建立量化的评测指标。

梁明乔坦言,将治理原则化为量化指标并不容易,需要设立多种适当的情境提问,才能有效检测模型。

目前,国泰锁定的GenAI应用,分别是辅助员工、客户、提升生产力和AI基础设施4类GenAI应用。

在员工场景中,国泰计画要建立员工自助开发平台、AI教练和业务团队AI助手等应用,客户场景则包含信用卡消费分析应用。常见的AI副驾驶(AI Copilot)则归类在生产力应用。最後一项,AI基础设施,则包含运用GenAI提升反诈技术和风险管理能力。

在技术年会上,国泰公布了新的AI发展蓝图,透露了国泰未来的AI发展重点。首先,这张蓝图中的底层,数据架构层,涵盖国泰AI发展的基础设施,不仅包含国泰的地端资料仓储、ML平台,也纳入了国泰计画要在云端环境建立的资料湖仓平台。意味着,国泰未来的AI发展,将会奠定在云地混合架构之上。

数据架构层之上的是多元数据源层和数据与AI治理层,前者包含各种资料来源,例如,顾客旅程、客户关系管理系统、交易数据、夥伴生态系数据等数据来源。後者则包含DataOps和MLops等平台,国泰今年在技术年会首次曝光的AI评测平台Cathay RAI,也并列在数据与AI治理层中。而在核心技术模组中,除了传统AI技术模组,也包含国泰的GAI技术发展框架GAIA。

这些AI技术未来都会运用在四种场景,包括风险管理、客群经营与行销、投资与财务规划,和营运效率优化,也就是国泰AI蓝图中的场景层。最後,国泰AI蓝图中的最上层,治理层,是国泰金控在今年设立的AI CoE,负责排序AI应用发展顺序。图片来源/国泰金控

国泰金控打造的GAI技术框架GAIA主要分为三大核心,分别是知识库、Model Hub和护栏。

知识库如同GAIA的图书馆,能提供全集团对内和对外知识。对内知识库包含各种内部服务,例如,HR知识库、授信知识库、洗防知识库和内稽知识库等,对外知识库则包含各种产品知识,例如,贷款产品知识库、产险寿险产品知识库、理财产品知识库,和信用卡产品知识库。

Model Hub则如同GAIA的中央控制室,可分为四大块,分别是Model Menu、Model Registry、AI Gateway,和底层管理。Model Menu是一个模型清单,可提供多种模型选择,包含云端、地端、开源或闭源模型。Model Registry则包含模型服务台和模型储存库。而AI Gateway包含标准化API接口,能介接各种服务,同时,也包含身份认证授权机制。在底层管理中,包含监控日志蒐集、结果快取,另外,流量费用管理也并列其中。

GAIA最後一个核心是护栏,如同GAIA的警卫室,负责管控模型服务输入和输出。GAIA的护栏是由国泰金控自建而成,包含复合式规格护栏和多层抽换模组护栏,前者是在知识库连接不同模型时进行资讯过筛,後者则是额外防护措施,例如提供业务规则、基础防护、安全强化等护栏。

除了GAIA三大核心,国泰金控也规划出GAIA的AI应用核心,包括资料检索/摘要、解读判断、预测分析,和客制化生成等功能。图片来源/国泰金控

 相关报导 

红海pro靠谱吗

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x