标准规范下载简介

DB52／T 1541.6-2021 政务数据平台 第6部分：面向全网搜索应用的数据处理规范.pdf

ICS 01.040.03 CCS A 12

B52/T 1541. 62

Government dataplatformPart 6:Datapreprocessing specificationsfor searching application based on the platform

贵州省市场监督管理局 发布

LY／T 2713-2016 竹材饰面木质地板DB52/T1541.62021

范围 规范性引用文件 术语和定义 缩略语 总体框架 数据接入 6 数据处理 搜索应用 数据安全

DB52/T1541.62021

DB52/T1541.6202

政务数据平台第6部分：面向全网搜索 应用的数据处理规范

件规定了面向政务数据平台全网搜索应用的数据处理的总体框架、数据接入、数据处理、搜索

基于政务数据平台围绕特定应用场景进行数据处理，通过搜索引擎和机器学习技术实现数据的组织 呈现、融合重构、关联分析和衍生应用

结构化数据structureddata

DB52/T1541.6202

将两次更新间隔发生变更的数据同步到存储区域。

GBT51262-2017 建设工程造价鉴定规范.pdf将两次更新间隔发生变更的数据同步到存储区域。

DB52/T 1541.62021

数据描述data description

DB52/T1541.6202

DB52/T 1541.62021

图1全网搜索应用的整体业务逻辑架构图

1.1数据分类存储按DB52/T1541.3的规定进行。 数据接入前应根据待处理数据的结构化程度将数据存储至以下区域： a) 结构化数据应存储到统一数据采集区； b 非结构化数据应存储于云计算的开放存储区OSS，并建立对应数据描述表以支撑搜索应用； C 半结构化数据按将文件基本属性、存储路径等描述信息以结构化数据文件入库存储至统一数据 采集区。

6.2.1结构化、非结构化数据GBT 16895.23-2012标准下载，通过ETL工具进行分类接入； 6.2.2半结构化数据化解为结构化数据通过ETL工具进行接入： 6.2.3接入形式包括二维库表类型、文本类型、URL连接地址、API 接口等。

DB52/T1541.6202