大数据吧 关注:165,627贴子:202,890
  • 0回复贴,共1

数据服务:释放数据价值的关键

只看楼主收藏回复

大型金融公司如银行、券商和金融集团早已开始全面数字化建设,希望将数据转化为公司重要的战略资产,这些公司已经构建了相对完善且复杂的数字化系统架构。然而,架构的复杂性使得数据的敏捷服务成为一个问题。数据库的架构涵盖了本地部署、私有云、公有云等混合云架构;数据库供应商包括Oracle、MSSQL、MySQL、国产数据库如TDSQL、OceanBase、达梦等;同时还涉及到Hadoop集群、ES、Doris、Hudi等大型数据库,这使得数据服务的提供需要不同开发语言的工程师进行开发。由此,也面临着以下问题:
调用API接口的稳定性难以保证,并且对调用行为的管理也困难重重,缺乏全局权限管控,存在数据安全隐患。
数据分散在不同的业务系统和数据库中,获取数据主要依靠开发团队为不同的业务需求和取数平台单独开发数据接口,需要花费大量时间和精力进行繁琐且重复的工作。即使能够快速开发所有应用需求,计算性能也可能不稳定,高并发请求可能导致系统崩溃。
因此,让数据服务更高效、更便捷是业界迫切而必要的。通过数据服务平台,可以实现如下目标:
将数据服务化,将有共性的开发工作标准化。
消费端无需关心数据的存储和格式,即可直接调用数据。
能够了解数据调用的整体情况,也能对数据的调用进行快速的变更和管理。
览众数据服务平台是自研数据服务API网关,支持数据的统一接入,面向企业用户提供从API创建、发布、申请/审批、调用等全生命周期管控服务,使企业的数据在各个系统之间流转更加便捷,充分发挥数据资产的价值,提高数据开发与共享效率。

主要功能
01
接口规范化,访问便捷性
对各个数据应用屏蔽了不同的中间存储,提供统一的API,可以通过Restful、实时数据消费、文件异步请求、Excel/WPS客户端插件下载数据等不同的模式进行数据服务消费。
02
数据网关部署
作为网关服务,数据服务具备认证、授权、限流、监控四大功能,满足包括安全控制、访问控制、调用审计、监控大屏、冷热数据分析等需求。
03
数据全链路打通
服务很难避免出现问题或者故障,一旦出现问题,及早发现并介入是非常重要的。览众数据服务能够与览众科技数据血缘管理工具整合,或与客户已有元数据和数据血缘管理系统进行集成。通过开放的接口,接入维护数据模型到数据应用的链路关系,构建服务平台的全链路监控,可实现包括数据质量检测、影响预警或者失败检测等。
04
数据API开发
开发人员通过向导式配置或代码的方式快速生成数据服务API;配置模式主要由选择框选取所需数据库表以及输入输出参数字段,代码模式主要由SQL编写更复杂的数据访问需求。已经创建好的API能够升级迭代、下线删除、多版本控制、上下线审批,使得开发人员工作效率大大增加,能够立即响应企业的数据应用需求。
05
构建API超市,实现接口复用
通过专有的消费门户,用户可以通过API超市,以数据目录或者超市检索的方式,直接在API集市发现已有的数据接口,直接申请该接口的API权限,即可访问该数据,不需要重复开发。
06
行为及成本价值分析
企业内部的API调用行为也会被记录,开发人员和高层能通过分析数据使用情况来进一步优化运营,并同时可以更方便地实现相关数据资产的成本及价值分析,为数据资产入表提供有力的依据。
应用场景
对内
有效进行数据管理,提升数据共享效率
某头部金融机构案例
在数字化交互的新常态下,大量重要数据通过API进行线上流动和传输。随着API数量的迅速增加,API管理过程中亦面临着服务管理混乱、服务质量粗糙和服务方式复杂等痛点。
览众科技为某头部金融机构提供了解决方案,实施的数据服务API统一开发平台,无论是精确的服务控制、一致的数据质量,还是简化的服务方式,都为企业带来了高效、可靠的数据服务体验。
通过应用身份验证、授权和使用限制,可根据数据权限向不同团队公开数据和服务,令数据管理者、服务化开发者、数据消费者能够在统一平台上实现敏捷的数据服务化,进而实现企业数据资产的价值化。
连接 连接主流数据源(传统数据库、大数据平台)或位置的不同数据。
开发 简单的向导式配置或者SQL,实现数据到服务的开放。
管理 从安全认证、授权、限流、审计、血缘质量监控和预警、冷热数据服务分析、成本分摊等不同方面实现企业数据服务全生命周期管理。
发布 服务的发布、上下线、消费申请等实现从开发到生产的全链路管控。
消费 为数据消费者,提供了数据超市。发现数据、在线探查数据、Restful、CSV/Excel下载、实时数据长连接消费、大数据量调用为AI训练提供支持等不同的消费服务。

对外
实现数据资产变现,提升数据价值效益
某头部金融集团案例
在金融集团的发展过程中,不断积累了技术实力和宝贵的数据资源,需要与下属企业和第三方机构客户共享大量数据,提供数据的增值服务。然而,传统的邮件或传真方式已难以管理权限和控制。同时,还面临以下问题:
1、随着集团银行、普惠及外部合作机构等业务的快速发展,数据作为风险控制的关键手段,但分散在不同用户之间的数据形成了多个版本,修改者无法追溯,人为操作风险高,导致业务无法快速将数据转化为服务。
2、数据维护效率低,数据、业务模型及前端数据应用无法有效连接,数据流转环节多、协同效率低下。
3、数据的商业价值实现能力差,数据产出散乱,难以高效统一的输出,缺少对数据全生命周期的管控,无法准确衡量集团风控数据模型的价值。
览众科技为某头部金融集团打造了一个数据资产变现的典型案例,主要实现了如下目标:
数据资产服务化–DaaS数据服务
提供数据服务和三方服务API统一管理。提供全面的集团数据能力的对外输出和管控,助力客户团队快速实现集团内数据资产的对内对外开放,为前端产品快速提供能力炮火,持续对业务进行迭代创新。
灵活的数据服务引擎– 数据服务
以统一的数据语言向内外部提供数据目录和数据服务。支持在线探索数据中心/数据湖的数据,探索结果生成数据服务向上开放,提供数据服务能力。
数据集成及管理– 数据集成/清洗/管理
兼容市面上大多数数据库、大数据平台、结构化数据文件,并提供丰富的数据接入接口,助力团队快速实现自动化的数据接入和清洗。为数据中心和模型提供数据支持,持续提供数据输入。同时,通过数据图谱实现数据目录、数据标准及数据血缘管理。
经过持续的项目建设,该数据服务产品不断成熟完善,至今仍以专业金融数据服务产品的形式进行升级迭代,持续地为该金融集团提供良好的数据服务产品和业务支持,在数据资产的呈现、数据资产能力变现、数据价值分析和数据服务的敏捷交付上,都产生了极高的效益。


IP属地:广东1楼2024-06-18 09:38回复