JR／T 0237-2021标准规范下载简介

JR／T 0237-2021 金融大数据平台总体技术要求.pdf

金融大数据平台总体技术要求

本文件规定了面向金融业的大数据平台总体技术要求的框架结构、功能技术要求、非功能技术要求 以及接口技术要求。 本文件适用于金融大数据平台的设计、开发和应用。

下列文件中的内容通过文中的规范性 文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 JR/T0236一2021金融大数据术语 IS0/IEC20546:2019信息技术大数据概述和术语

JR/T0236一2021《金融大数据术语》界定的以及下列术语和定义适用于本文件。 3.1 大数据bigdata 海量的数据集，其数据在本质上具有体量大、种类多、变化快、变数多的特征，需要一种易扩展白 技术来有效存储、处理、管理和分析。 注：1.大数据通常以多种不同方式使用，例如，作为某种用于处理大数据海量数据集的易扩展技术的名称。 2.GB/T35295一2017《信息技术大数据术语》中2.1.1对大数据的定义为“具有体量巨大、来源多样、 成极快、且多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据”。 3.在某些非工程性研讨的场合，“大数据”一词的外延可能被扩大到所有的数据。 [来源：JR/T 0236—2021，3.1] 3.2 大数据参考体系结构bigdatareferencearchitecture 一种用作工具以便于对数据内在要求、设计结构和运行进行开放性探讨的高层概念模型 注：比较普遍认同的大数据参考体系结构一般包含：系统协调者、数据提供者、大数据应用提供者、大数据框架 提供者和数据消费者等5个逻辑功能构件。 [来源：JR/T0236—2021，4.1] 3.3 系统协调者systemorchestrator 大数据参考体系结构中的一种逻辑功能构件，可定义所需的数据应用活动并将其整合到可运行白 垂直系统中。 注：1.系统协调者可以是人、软件或这二者。

GB／T 39422-2020 木结构销槽承压强度及钉连接承载力特征值确定方法.pdf5金融大数据信息价值链

从信息价值链的角度来看，金融大数据平台面向金融大数据应用提供者、系统协调者及大数据 供者，核心活动在于从数据提供者处收集、处理、分析金融活动过程中的相关业务数据、用户 为数据等，并结合金融业务特征支撑金融机构的各项活动和服务。金融大数据信息价值链见图

JR/T 02372021

金融大数据信息价值链

数据提供者为金融大数据平台提供数据或信息，包括数据源提供者、数据流通平台提供者和数据 API提供者。 系统协调者在金融领域规范和协调各类所需的数据应用活动，包括系统的配置管理、作业调度、 资源调度、运行监控等活动。 金融大数据应用提供者满足金融领域大数据服务需求，包括收集、预处理、分析、可视化和访问 等活动。 大数据框架提供者为金融大数据应用提供者在创建具体应用时提供资源和服务。 数据消费者是金融大数据应用的最终使用者或其他系统

6金融大数据平台总体目标

金融大数据平台的总体目标是帮助金融机构更高效、更快速地完成金融大数据应用的开发、部 理，从以交易为中心转向以数据为中心，以应对更多维、更大量、更实时的数据和互联网业务的排 融机构以防范系统性风险为底线，对数据安全和业务连续性保障的技术要求通常高于其他行业

7金融大数据平台功能技术要求

金融大数据平台是企业级、分布式、开放、统一的大数据平台，应包括数据接入、数据存储、数据 处理、数据分析及数据服务相关组件。从功能的必要性及重要性角度看，金融大数据平台具体功能技术 要求可以划分为基本要求和增强要求。增强要求是从技术的发展趋势和金融用户的前瞻性需求入手提 出的。 数据接入的基本要求应包括作业调度、数据传输、消息队列、批量采集，增强要求宜包括实时采集； 数据存储的基本要求应包括分布式关系数据库、分布式存储系统（文件、对象、块）等，增强要求宜包 括分布式列数据库、分布式图数据库；数据处理的基本要求应包括批处理、流处理、图计算，增强要求 宜包括批流融合计算、内存计算；数据分析的基本要求应包括模型库、数据处理引擎等，增强要求宜包 括数据可视化；数据服务的基本要求应包括风险管理、用户画像、营销管理、客户服务和经营分析等。 金融大数据平台技术架构见图2。

今融大数据平台技术架构

7.2数据接入功能要求

作业调度的功能要求如下： a）应支持工作流任务的调度。 b）应支持工作流的编排。 ）应支持工作流的批量启停、导入、导出 d）应支持通过接口方式进行工作流的增、删、改、查管理。

JR/T 02372021

e）宜支持工作流的可视

数据采集的功能要求如下： a）应支持数据库与文件系统间数据、文件的导入和导出。 b）应支持数据的批量采集。 c）宜支持数据的实时采集。 d）应支持任务的并行执行，在任务失败后可以重新调度 e）应支持通过可视化配置等形式进行的数据采集。 f）宜支持异构数据库之间的建表语句转换DDL建表功能。

消息队列的功能要求如下： a）应支持高吞吐、分布式消息的处理。 b）应支持消息的缓存。 c）应支持离线应用和在线应用对消息的使用和处理。 d）宜支持多种客户端。

7. 2. 4 数据传输

数据传输的功能要求如下： a）应支持通用的数据传输协议。 b）应支持断点续传机制。 c）应支持同步、异步传输机制。 d）应支持传输安全加密机制。 e）宜支持高速大容量数据传输机制，如FTP、FTPS、SCP、SFTP等。

7.3数据存储功能要求

7.3. 1 分布式文件系统

分布式文件系统的功能要求如下： a）应支持文件的上传、下载、读写、复制、移动、删除、访问控制等。 b）应支持文件的搜索、批量操作、回收站、快照等。 c）应支持文件容错机制和系统高可用机制，包括数据块的备份、系统快速恢复等。 d）应支持文件数据的校验和同步，保证数据的完整性与一致性。 e）应支持RESTful接口对分布式文件系统进行基本操作。 f）应支持金融大数据平台对国内外主流操作系统的兼容性，如Linux、Unix、AIX、MacOS、Kylin、 Euleros等。 注：Linux、Unix、AIX、MacOS、Kylin、EulerOS为操作系统名称。Linux是一种免费使用和自由传播的操作系 统：Unix是20世纪70年代初出现的一种操作系统，除了作为网络操作系统之外，还可以作为单机操作系统使用： AIx是国际商业机器公司开发的操作系统，名称来自先进交互运行系统（AdvancedInteractiveexecutive， AIx）；MacOS是由苹果公司开发的操作系统；Kylin是一个中国自主知识产权操作系统；EuleroS是华为自主研 发的服务器操作系统。 g）宜支持将小文件自动打包为大文件进行集中存储。 h）宜支持对不同型号CPU的兼容性。 i）宜支持弹性扩展功能、动态添加操作以及删除节点操作。 i）宜支持对数据资源的统一检索、编目、增加和册除操作

7.3.2分布式列数据库

分布式列数据库的功能要求如下： a）应支持数据以键值形式进行存储。 b）应支持基于表级、行级和列级的用户权限管理。 c）应支持对数据库数据进行列加密。 d）应支持多级索引。 e）宜支持将多个具有类似功能或存在关联的业务表合并存储。

7.3.3分布式图数据库

分布式图数据库的功能要求如下： a）应支持由节点及边组成（即节点间关系）的数据模型。 b）应支持图查询、图遍历及图分析。 c）应支持主流开发接口，如RESTful、Gremlin等的接口。 注：Gremlin是一种图遍历语言。 d）宜支持单节点、多节点多层关系扩线查询。 e）宜支持顶点、属性的继承操作。 f）宜支持长任务异步会话机制。

7.3.4分布式关系型数据库

分布式关系型数据库的功能要求如下： a）应支持结构化数据的分布式存储机制。 b）应支持SQL实现数据的查询操作，包括并发事务控制、存储过程等。 c）应支持多表关联。 d）应保障数据分布式存储的一致性。 e）应支持关系型数据库间的数据进行跨库关联。 f）宜支持行列混合存储，表按行或列格式存储。 g）宜支持与ODBC接口的兼容性。

7.4数据处理功能要求

JR/T 02372021

h）宜支持与JDBC接口的兼容性， i）宜支持基于多种分布式流处理引擎的查询语言，如flink、spark等。 注：flink是一种开源流处理框架，spark是一种专为大规模数据处理而设计的快速通用的计算引擎， i）宜提供画布、SQL和JAR等多种流计算开发模式。

图计算的功能要求如下： a）应支持同步计算模型或异步计算模型编写迭代算法。 b）应支持基于属性图模型的图数据表达，包含结点或边上的标签和属性类型定义。 c）应支持内置常用图指标计算功能，以描述图的拓扑结构特征 d）应支持实现水平扩展的分布式图计算和图查询。 e）宜支持明细数据的多种导入方式，包括全量导入、增量导入以及自定义导入。 f）宜支持索引，提供在线图分析和图查询功能。 g）宜支持PageRank、社区发现、最短路、LPA等多种图计算能力。 注：PageRank是谷歌排名运算法则的一部分，是谷歌用来标识网页的等级或重要性的一种方法

内存计算的功能要求如下： a）应支持负载均衡和水平扩展。 b）应支持对多种数据类型的离线分析，包括结构化数据、半结构化数据、非结构化数据 c）应支持高度抽象算子，快速构建分布式的数据处理应用。 d）宜支持标准SQL语法。 e）宜支持读取非关系型数据库数据

7.4.5 批流融合计算

模型库的功能要求如下： a）应支持具备机器学习、深度学习、自然语言处理等能力的数据挖掘及分析 b）应支持动态扩展。 c）应支持模型有效性校验及评估。 d）应支持用户灵活的自定义模型。 e）应提供算法I/0注册、算法注册的接口，算法厂商的算法要与存储解耦。 f）算法镜像文件存储宜对接分布式文件系统，保证镜像数据的可靠性。 g）应为Web类常驻应用提供访问代理和负载均衡服务，允许用户自定义域名。

h）应提供标准的RESTful接口，方便业务系统集成 i）宜支持对多算法厂商多算法的统一注册、管理。 j）宜支持各算法厂商独立维护、升级算法。 k）宜提供友好直观的UI设计，方便用户操作管理。 1）宜对外提供在线或离线算法服务，

7. 5. 2数据处理引

数据处理引擎的功能要求如下 a）应支持图计算引擎。 b）应支持流处理引擎。 c）宜支持语义推理引擎。 d）宜支持规则引擎。 e）宜支持预测算法、机器学习

数据处理引擎的功能要求如下： a）应支持图计算引擎。 b）应支持流处理引擎。 c）宜支持语义推理引擎。 d）宜支持规则引擎。 e）宜支持预测算法、机器学习、推荐算法、相似度算法、分类聚类、文本挖掘。

数据可视化的功能要求如下： a）数据应可视化，支持多维度、多种形式的数据展现。 b）数据模型应可视化，支持可视化交互、调整模型 c）数据处理过程宜可视化，包括数据获取、数据分析、数据展现等。 d）宜支持信息流可视化，包括交易过程等。 e）宜支持统计分析可视化，包括用户视图、交易视图、资金视图等

7.6数据服务功能要求

7.6. 1 营销管理

营销管理的功能要求如下： a）应提供客户画像和客户标签服务。 b）应提供拓展客户、营销、销售、运营、服务、考核等客户营销全流程服务， c）应提供多渠道营销服务。 d）应提供实时营销服务。 e）宜提供AI智能营销服务

7. 6. 2 风险管理

风险管理的功能要求如下： a）应提供客户征信信息服务。 b）应提供客户风险识别、风险计量和评估服务。 c）应提供客户风险监测、风险控制、风险预警和处理服务。 d）应支持用户风险识别分析、用户行为预测分析。 e）应支持用户风险评估和监测分析、实时发现交易风险、实时处理风险、实时处理反欺诈等。 f）应支持对经过识别和评估的风险采取分散、对冲、转移、规避和补偿等措施进行分析，支持对 抵押、担保、金融衍生品等风险缓释工具的分析

JR/T 02372021

d）宜提供刷脸支付、无感支付等多种智能支付服务。 e）宜提供智能投顾、智能保单识别、智能金融咨询等多种智能金融服务

7. 6. 4 经营分析

经营分析的功能要求如下： a）应提供资产负债管理服务。 b）应提供财务管理、管理会计服务。 c）应提供多维度绩效考核分析服务。 d）应提供运营管理服务。 e）应提供合规审计服务

经营分析的功能要求如下： a）应提供资产负债管理服务。 b）应提供财务管理、管理会计服务。 c）应提供多维度绩效考核分析服务。 d）应提供运营管理服务。 e）应提供合规审计服务，

用户画像的功能要求如下： a）应支持用户自然属性数据分析。 b）应支持用户系统日志、交易数据分析， c）应支持用户标签及多维度细分，包括用户价值、活跃度、忠诚度、影响力、消费能力、用户属 性、消费偏好等。 d）应支持多用户的关联分析。 e）宜支持用户社交网络等第三方数据分析。

7.6.6数据基础服务

数据基础服务的功能要求如下： a）应支持交易数据访问控制，包括实时交易数据、历史交易数据等。 b）应支持用户数据访问控制，包括用户基本信息、金融业务偏好等。 c）应支持金融业务数据访问控制，包括负债业务、资产业务、中间业务等， d）应支持上层应用注册机制、鉴权、管理。 e）应支持服务功能查询机制。 f）应支持开放的API调用接口。 g）应支持批量数据查询获取。 h）应支持数据订阅功能。 i）应支持元数据驱动的数据地图管理及服务，包括元数据自动获取、数据血

7.7平台运维功能要求

安装部署的功能要求如下： a）应支持用户根据业务需要对金融大数据平台容量进行调整，包括对主机、服务实例等的调整 b）应支持用户定期升级系统，支持关键业务滚动升级。 c）应支持补丁上传、安装、卸载。 d）宜支持对金融大数据平台所有组件的自动化、向导式安装部署。 e）宜提供开箱即用的组件开发包。 f）宜支持集群、组件和管理系统统一进行安装部署

7. 7. 2监控告警

监控告警的功能要求如下： a）应支持对主机、服务及服务实例等进行实时监控。 b）应支持系统自动感知故障并生成告警信息。

c）应支持以告警的方式展示运行过程中的系统故障，便于用户及时定位及处理系统故障。 d）应支持多种北向网管协议，支持与第三方告警和监控系统对接。 e）宜提供告警恢复的方法，帮助用户快速解决系统故障。 f）宜支持可视化的监控告警

健康检查的功能要求如下： a）应支持对系统运行环境进行自动健康检查。 b）应支持健康检查报告的导出及问题分析。 c）宜提供健康检查的界面。 d）宜支持手工健康检查。

7.7.4用户/组织/部门管理

用户/组织/部门管理的功能要求如下： a）应支持动态添加和删除用户/组织/部门。 b）应支持管理模型，实现将用户动态配置到相应的用户/组织/部门中。 c）应支持对用户/组织/部门进行统一管理及认证。 d）应支持对用户配置不同角色及与角色对应的权限管理，

7. 7. 5且志管理

日志管理的功能要求如下： a）应支持分布式日志收集。 b）应支持对日志的采集、聚合和传输。 c）应满足日志可读性、操作痕迹可追溯性和细化日志埋点的要求。 d）宜支持对日志的可视化操作，包括日志收集、日志下载、日志查询等。 e）宜支持日志审计和日志导出。

7. 7. 6 多集群管理

多集群管理的功能要求如下： a）应支持对多个金融大数据集群（以下简称多集群）进行集中统一管理和监控。 b）应针对不同集群进行资源队列的分层管理，支持动态刷新资源池。 c）应对多集群的存储资源进行全局配额管理。 d）宜支持多集群及自建集群运维管理，如启动、停止、修改等。 e）宜支持展示纳管集群的运维信息，如主机信息、服务信息、组件信息

数据管理的功能要求如下： a）应支持统一元数据管理，实现对元数据的自动捕获及更新。 b）应支持数据质量管理，实现对数据质量规则的可视化管理及监控、自动化调度及监控， c）应支持对数据血缘的自动捕获及更新

7.7.8应急响应管理

应急响应管理的功能要求如下： a）应制定应急响应运营管理制度，明确人员岗位职责，实现24小时不间断监控和响应服务。 b）应具备应急管理接口或具体功能，可纳管或处理突发情况。 c）运维管理模块应具有穴余部署功能，防止运维管理模块单点故障。

7. 7.9 统一数据调度

统一数据调度的功能要求如下：

a）宜支持对各种作业任务的调度。 b）宜支持周期性调度，可配置年、季、月、周、天，甚至是小时级别的调度周期，可配置作业启动 时间。 c）宜支持依赖调度。 d）宜支持参数调度。 e）宜支持作业任务监控和作业任务重跑等

8金融大数据平台非功能技术要求

金融大数据平台的安全性要求如下： a）应支持数据传输链路几余机制，保障数据传输可靠性。 b）应支持数据采集、传输、存储、处理等全流程安全加密机制，防止信息泄露。 c）应支持数据资产分级、权限访问控制及数据处理策略，权限访问控制需要根据资产敏感等级决 定权限控制的粒度，如角色组级别、表级别、字段级别等。 d）应支持数据清洗、转换及使用过程中的安全性及可追溯性。 e）应支持个人隐私信息保护，应支持个人信息授权同意、更正、删除。 f）应支持基于用户角色的安全控制机制。 g）应支持应用、设备与外部服务组件安全管理。 h）应支持数据的脱敏、变形。 i）宜支持金融大数据平台与业界主流云计算技术栈的集成与兼容。 j）宜支持多租户数据安全。 k）宜支持行为审计与分析审计。

金融大数据平台的性能要求如下： ）负载应满足如下要求： 一一支持对多台云服务器进行流量分发的负载均衡服务，扩展应用系统对外服务能力，提升应 用系统的可用性，满足业务系统的需求。 一易于扩展，随数据增加而扩展。 在容量扩展时，金融大数据平台负载性能同步得到提升。 支持构建跨地域统一存储资源池

JR/T 02372021

一一支持在多个数据中心建立统一存储资源池。 一选择标准化的部件，利于灵活替换和容量扩展。 b）资源利用率应提供租户级百分比和绝对值的混配策略，满足各种灵活的租户资源调度诉求。 c）并发应满足如下要求： 一支撑潜在的来自全部用户高并发查询、分析业务需求。 一一高并发情况下的响应速度需在可接受范围内，保证系统不岩机。 一一多集群的运维任务可并发执行、互不影响，应支持在任务管理中心显示集群名称，支持按 集群检索任务。 d）处理效率应满足如下要求： 一一对查询响应时间要求较高的业务，查询速度快，其响应时间在1秒内。 一查询条件简单，80%查询是主键查询，其他查询是简单条件组合查询。

9金融大数据平台接口技术要求

9.1数据接入接口技术要求

数据接入接口的技术要求如下： a）应支持对数据源的注册、鉴权及管理。 b）应支持高性能批量导入。 c）应支持数据库、数据仓库、文件、Hadoop、NoSQL等多种类型的数据源 注：Hadoop是一种分布式系统基础架构。NoSQL指不遵循关系模型的数据库。 d）宜支持大量在线实时数据采集，

9.2数据服务接口技术要求

数据服务接口的技术要求如下： a）应支持对应用的注册、鉴权及管理。 b）应支持应用数据查询、获取及更新。 c）应支持批量数据查询及在线数据交互式查询获取。 d）应支持数据分析、数据请求及数据订阅功能。 e）应支持RESTful、API、RPC等接口技术。

9.3管理接口技术要求

管理接口的技术要求如下： a）应支持用户管理。 b）应支持灰度升级维护。 c）应支持安全维护。 d）宜支持对软硬件资源的配置管理。

JR/T 02372021

附录 （资料性） 金融大数据平台应用场景

风险管理以反欺诈场景为例。金融欺诈风险主要来自针对借记卡和信用卡的身份盗用、持卡人欺诈 第三人欺诈、商户欺诈济南国际会议大酒店部分建筑改造装饰装修工程施工组织设计，以及针对电子渠道的钓鱼网站、中间人欺诈、木马欺诈等。银行业金融机构应 有效地甄别、防范和控制风险。

金融大数据平台实时反欺诈功能通过客户的自然属性、行为属性、客户信用度、资产负债状况、交 易环境等信息进行实时交易行为监测，通过交易记录、频度、位置等信息，实时分析判断交易风险，并 针对不同类别和级别的疑似欺诈交易做相应处理，将传统的风险事后跟踪转变为事中控制。实时反欺诈 大数据分析可以通过统一管理银行业金融机构内部多源异构数据结合依法查询外部征信数据，建立完 善的风险防范体系。

金融大数据平台通过对客户数据进行挖掘、追踪、分析，将不同客户群体进行聚类，分析客户的消 费习惯、风险收益偏好等特征信息，对细分的客户进行个性化智慧营销。例如，根据客户的购买习惯利 风险偏好进行动态的理财产品组合营销。根据客户行为轨迹分析，主动推送关联产品服务，真正做到个 性化的主动营销服务，提升客户整体满意度

通过金融大数据平台改善银行业金融机构与客户之间的交互模式，为客户提供增值服务，不断增强 银行业金融机构核心竞争力，增强客户粘性。银行业金融机构可将客户行为转化为信息流，分析客户的 个性特征和偏好，更深层次地理解客户的交互习惯，为用户画像，智能化分析和预测客户需求，从而进 行产品创新和服务优化。

金融服务竞争力某种程度上就体现在整体服务效率上，如快速放款、产品组合优化等涉及多 环节审批处理流程，需要系统化地分析并优化金融服务流程，提升整体经营效率。 2解决方案

路基老路开挖安全专项施工方案JR/T 02372021