先进数通:商业银行湖仓一体解决方案

来源:“鑫智奖”第五届金融数据智能优秀解决方案评选

获奖单位:先进数通

荣获奖项:数据治理与数据平台创新优秀解决方案

一、解决方案简介

先进数通商业银行湖仓一体解决方案是提升数据管理能力,充分发挥数据价值,助力数字化转型,亟需提升数据服务能力,按照“敏前台、大中台、强后台”思路,构建数据能力底座,扩大数据服务范围,提升数据服务效率,通过数据中台建设,实现数据共享融合,沉淀数据治理成果,形成数据驱动力,提升数据资产变现能力。

二、应用场景痛点简介

近年来,我国金融创新不断推进,商业银行业务规模不断扩张,产生了大量的数据,如何有效存储、治理和利用这些数据促进银行业务发展是所有银行面临的共同挑战。

参照业界先进实践并结合商业银行实际情况,引入大数据技术对数据架构进行更新升级,利用大数据的海量数据处理和并行计算优势,搭建湖、仓一体化的基础建设。批量数据、实时数据、外部数据等在内的新一代数据总线,为数字化转型打下坚实基础。借助数据中台湖仓一体化建设项目,可以整合行内各业务系统的数据,建设一套完整、准确、强大的数据平台;理顺全行各个业务条线的统计分析工作机制;为全行及各业务条线提供好数据支持,提高工作效率、节省工作时间;为后续管理应用系统的建设打下坚实的数据基础和技术基础。主要以下6个方面的需求:

1.建立全行数据集中管理平台初步形成业务报表和统计分析解决方案,报表自动生成,数据更新及时,信息展示灵活、多样,为业务运营管理提供及时、准确的信息。

2.整合业务数据、客户信息,提高数据标准化程度,改变了原来银行基本信息不一致、数据关联度低,数据不规范、数据质量不高,难以有效支持管理信息应用的局面。

3.建立了业务洞察、经营决策新模式,提升业务洞察能力和预判能力,提高决策准确性,便于查询和监管。

4.建立行内常用指标库体系,统一和规范全行的统计口径,实现针对不同管理对象、不同管理规则的灵活定义。不仅服务于报表、管理驾驶舱,也为未来决策支持、监管报送打下良好的基础。

5.开发企业级数据仓库模型,对数据进行标准化处理,满足监管机构的要求,采用规范的业务术语,使业务人员、IT人员、IT服务商在相同语言环境下沟通,降低沟通成本。

6.为业务专业化应用,整体业务运作能力提升奠定了基础:支撑后续零售集市、对公集市、金市集市、风险集市等系统建设。

三、解决方案亮点介绍

1.建设湖仓一体化平台,提升快速响应服务能力

采用先进技术,借鉴行业经验,构建适用于商业银行的架构,科学合理的企业数据平台。明确数据湖、数据仓库、数据集市的定位及数据保存周期,理顺现有的数据接入及交换,建立数据采集交换原则、规范及流程;明确数据入湖、数据入仓的原则,数据湖、数据仓库对外供数及数据服务流程及规范;建立数据的需求管理、作业开发、模型设计、调度配置等一系列的数据建设规范。为后续零售集市、对公集市等建设提供数据支持,提高工作效率、节省工作时间,梳理出一套简单、快捷的开发平台及开发、运维工作流程,满足各方需求时效性要求,提升开发及运维人员的工作效率,缓解现有系统的运行压力。

2.提高系统数据流转处理效率

本次项目建设使用云平台,拥有强大的海量数据存储及分析处理能力,支持横向扩展。项目实施以解决性能要求,分层架构,合理配置作业并发数量,充分利用系统资源,满足日终批量处理时间要求,严格按照时间要求提供数据处理结果。

3.提升数据服务能力

数据中台湖仓一体化建设项目作为商业银行数据中台建设规划的重要组成部分,它将根据各条线及业务部门的管理经营要求,通过数据整合与模型计算,为各部门及各管理机构提供数据依据。同时,根据信贷、网贷、互联网等创新业务系统建设及运行需求,利用云平台海量数据存储及处理能力,将抽象、分析、汇总后的结果按照约定形式提供给各系统,以实现数据供给体系的数据支撑能力。

4.增强报表自助式服务

数据中台湖仓一体化建设报表集市,支持商业银行各业务条线报表需求的管理。提升服务请求的响应速率梳理简捷的报表开发流程,提升服务请求的响应速率。通过先进的报表开发工具,整理出一套从需求接收、数据分析、数据加工、报表开发与制作等环节的工作流程,达到快速开发,及时响应服务请求的目的。提供自助式的报表服务,解决各级机构使用数据难的现状。

四、金融行业客户名单

威海市商业银行股份有限公司

五、客户评价

项目上线以来重点解决数据架构松散、基础平台薄弱、数据治理及服务能力低的问题,主要如下几点:

1.数据流转时效性显著提升

构建统一、高效的技术架构,建设全面的数据能力。湖仓一体使用华为公司的分布式存储、计算架构,最大支持数千节点的部署,可以灵活扩展、高效计算。湖仓一体的开发建设是个复杂的系统工程,需要全面的技术能力,完善的管理能力。采用先进数通的SharkData数据研发平台,功能方面全面支持数据采集、加工、服务、数据治理、运行管理、流批一体;管理方面实现了从需求、设计、开发到运维的全面线上化、平台化管理。既可以满足当前湖仓一体的建设,也可以满足未来数据应用的建设。

通过湖仓一体使数据有序、高效、高质、安全在数据湖及数据仓库进行流转。深入的进行内外部数据的融合、批量数据与流式数据的融合、账户数据与交易数据的融合、结构化数据与非结构化数据的融合。

2.全面提升数据管理能力

系统统筹全行数据管理需求,持续推进数据治理,驱动全行级数据使用、分析、治理的服务能力升级,充分实现数据资产价值。全面深化数据治理工作,优化数据治理体系、建设数据治理制度,制定数据标准、提升数据质量、强化数据安全、明确数据责任,全面提升数据管理能力。

3.提升数据资产管理能力

构建主题明确、服务完善、权责清晰的数据资产管理体系。通过自上而下的业务流程分解和自下而上的系统数据梳理,开展数据资产盘点,形成全行范围的数据资产目录和数据地图。统一管理行内数据资产和外部数据资产,通过数据资产服务的形式提供服务,充分释放数据要素在全行业务中的价值。

4.提升数据分析能力

基于湖仓一体的技术支撑,拉通行内外数据资源,构建全业务领域的数据分析体系。建立并持续优化的分析指标体系,打造多维度数据标签体系,全面赋能零售、公司、金市业务发展与风险管控,提升数字化应用水平。

5.提升数据服务能力

持续优化数据应用,建设数据服务体系,扩大数据服务范围,提高数据服务效率。通过建设数据应用集市,引入 BI 分析报表、数据挖掘引擎、模型实验室、人工智能等先进技术及工具,搭建数据服务综合平台,提供智能化数据服务,并通过统一服务封装、订阅和应用,全面赋能业务发展,攻克业务痛点与瓶颈。

更多金融科技案例和金融数据智能优秀解决方案,请登录数字金融创新知识服务平台-金科创新社案例库、选型库查看。