标准规范下载简介
GY/T 339.1-2020 有线电视网络大数据技术规范 第1部分:通用要求.pdfGY/T 339. 1202(
有线电视网络大数据技术规范
Technical specification for CATV's big data Part l: General requirements
GB 50089-2018 民用爆炸物品工程设计安全标准GY/T 339.12020
前言, 引言 范围 规范性引用文件 术语和定义 缩略语 概述 数据采集接入要求 6. 1 概述 6.2基本要求 6.3采集接入内容 6.4 数据表达 6.5 性能要求 6.6 交互与接口 数据处理要求 数据开放与服务要求 8. 1 功能要求 8.2 开放内容 8. 3 数据表达, 8.4 性能要求, 8.5 交互与数据接口 数据服务安全要求 9. 1 概述, 9. 2 数据采集环节 9. 3 数据传输环节 9. 4 数据接入平台环节 9. 5 数据存储环节 9.6 数据处理环节, 9.7 数据开放环节 9. 8 接口安全 9. 9 个人信息隐私保护 衬录A(规范性) 数据采集上报的交互过程与接口要求. A. 1交互过程
言 言 范围 规范性引用文件 术语和定义 缩略语 概述 数据采集接入要求 6. 1 概述 6.2基本要求 6.3采集接入内容 6.4数据表达 6.5 性能要求 6.6 交互与接口 数据处理要求 数据开放与服务要求 8. 1 功能要求 8. 2 开放内容 8.3 数据表达 8. 4 性能要求, 8.5 交互与数据接口 数据服务安全要求 9. 1 概述, 9. 2 数据采集环节 9. 3 数据传输环节 9. 4 数据接入平台环节 9. 5 数据存储环节 9. 6 数据处理环节, 9. 7 数据开放环节 9. 8 接口安全 9. 9 个人信息隐私保护 寸录A(规范性) 数据采集上报的交互过程与接口要求. 交互过程
A. 2 A. 3 OAuth2密码模式认证过程. A. 4 设备注册过程.: A. 5 控制信令消息格式, 16 A. 6 文件数据上报 18 衬录B(规范性) 大数据平台与应用系统的交互过程与接口要求 19 B. 1 概述 19 B. 2 认证接口 19 B. 3 资源调用接口 20 老立盐
GY/T 339.12020
本文件按照GB/T1.1一2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定 起草。 本文件为GY/T339《有线电视网络大数据技术规范》的第1部分。GY/T339已经发布了以下部分: 一第1部分:通用要求; 一第2部分:平台要求; 一一第3部分:数据规则。 请注意本文件的某些内容可能涉及专利。本文件发布机构不承担识别这些专利的责任。 本文件由全国广播电影电视标准化技术委员会(SAC/TC239)归口。 本文件起草单位:国家广播电视总局广播电视规划院、中国电子技术标准化研究院、北京邮电大学 广州市诚毅科技软件开发有限公司、浩鲸云计算科技股份有限公司、北京东方国信科技股份有限公司、 华数数字电视传媒集团有限公司、国家广播电视总局广播电视科学研究院、重庆有线电视网络股份有限 公司、中国广播电视网络有限公司、北京歌华有线电视网络股份有限公司、广东省广播电视网络股份有 限公司、湖北省广产播电视信息网络股份有限公司、河北产电无线传媒有限公司、深圳市天威视讯股份有 限公司、陕西广电网络传媒(集团)股份有限公司、陕西广信新媒体有限责任公司、贵州省广播电视信 息网络股份有限公司、江苏省广电有线信息网络股份有限公司、北京海致星图科技有限公司、广西广电 大数据科技有限公司、新疆广电网络股份有限公司。 本文件主要起草人:余英、韦安明、吴钟乐、张群、王洪波、刘智、王帅、刘敬玉、唐志燕、李庆 国、聂明杰、邓向冬、曹志、王倩男、赵明、赵士原、欧阳峰、杨旭、沈文、唐永壮、董彬、刘军霞、 胡其权、刘彦鹏、柳涛、杨晨、王飞、郑璐、林昕、梅杨、唐昊、陈昕、尹卓、曹燕明、诸葛海标、胡 障宸、张玮、刘晓敏、王欣然、曹阳、李海波、鞠宏、付晶、赵良福、苟明宇、杨敬一、王季友、刘艺 兰、张城瑞、周传清、傅力军、王瑶、范斐、孙嘉阳、张琦、陶宛昌、张君、王士刚、杨娟、李文、涂 均、吕燕、刘波、彭宇涛、杨斌
GY/T 339.1—2020引言GY/T339《有线电视网络大数据技术规范》规定了有线电视网络大数据技术规范的通用要求,包括大数据系统和数据服务的功能、性能、接口、安全等方面的要求,适用于有线电视网络大数据系统和业务的规划、设计、实施、验收、升级改造和运行维护。GY/T339共有三个部分。各部分简述如下。一一第1部分:通用要求。规定了有线电视网络大数据系统和数据服务的功能、性能、接口、安全等方面的要求。一一第2部分:平台要求。规定了有线电视网络大数据平台的结构和技术要求。一一第3部分:数据规则。规定了有线电视网络大数据的数据源、数据内容和数据表达规则。IV
GY/T 339.12020
本文件规定了有线电视网络大数据技术规范的通用要求,包括大数据系统和数据服务的功能、性能 接口、安全等方面的要求。 本文件适用于有线电视网络大数据系统和业务的规划、设计、实施、验收、升级改造和运行维护
GB/T35295一2017界定的以及下列术语和定义适用于本文件
大数据bigdata 具有体量巨大、来源多样、生成极快、多变等特征并且难以用传统数据体系结构有效处理的包含大 量数据集的数据。 [来源:GB/T35295—2017,定义2.1.1]
大数据参考体系结构bigdatareterencearchitecture 一种用作工具以便于对大数据内在的要求、设计结构和运行进行开放性探讨的高层概念模型! [来源:GB/T35295—2017,定义2.1.3]
数据中心datacenter 由计算机场站(机房)、机房基础设施、信息系统硬件(物理和虚拟资源)、信息系统软件利 源(数据)等组成的实体。
大数据平台bigdataplatform 以大数据参考体系结构为功能基础的数据中心系统,在本文件中,指集成了大数据采集接入、存储、 处理、分析、共享,以及各类配套功能组件及基础设施的数据处理系统。 3.5 大数据系统bigdatasystem 以大数据参考体系结构为基础的数据处理系统,在本文件中,指由大数据平台、数据源、数据采集 终端、网关以及相关辅助功能组件构成的数据处理系统。 [来源:GB/T35295—2017,定义2.1.14] 3.6 数据采集终端datacollectionterminal 种部署在数据源实现数据规范收集汇总的软件组件或实体设备。 3.7 OAuth2The OAuth 2.0Authorization Framework 通过该框架,允许第三方应用程序通过IETFRFC6749规定的方法获取HTTP服务或行为的有限制的 访问权限。 注:OAuth2是由IETFRFC6749描述的“0Auth2.0授权框架”的简称。
GY/T339.1—2020本文件将大数据系统的结构用图1的形式进行建模,系统中包括数据采集接入、数据处理、数据应用等部分。本文件为大数据系统的通用要求部分,规定数据源、数据采集接入、数据处理、数据开放服务、数据服务安全及个人信息隐私保护的基本要求,以及数据采集终端与平台、平台与应用系统之间的交互和接口。数据采集终端均通过网关与平台进行数据交换。对于不同的应用场景,网关可表现为不同的形式,种为集成在数据采集终端内部的组件,一种为独立于数据采集终端和大数据平台的实体设备,也可能是集成在大数据平台内部的一个组件。为了便于定义大数据业务流程,本文件不区分网关的具体实现形式和位置,仅将其当成一个实现格式规范化转换和执行通信功能的功能实体。大数据系统模型各单元之间有依赖关系,例如数据采集终端执行数据采集流程并上传数据到网关,网关接收数据采集终端的数据并封装成规范格式后上传到大数据平台,大数据平台接受终端和网关的认证注册,向终端和网关下发操作指令,同时为各类大数据应用提供开放的数据服务。数据源大数据平台数据应用BSS数据精准营销OSS数据数据数据数据数据精细服务采集存储处理分析展示开放MSS数据网关精确管理接入计算/存储/网络资源池服务业务平台数据精益网运其他数据基础配套系统管理安全运维数据共享图1大数据系统模型6数据采集接入要求6.1概述数据采集接入指大数据平台将外部数据纳入大数据平台内部的过程。6. 2:基本要求要求如下:a)应具备定时采集接入数据的功能;b)应具备定量采集接入数据的功能;c)宜提供图形化的数据采集接入配置或管理界面;d)应具备采集接入结构化数据的功能;e)应具备采集接入半结构化数据的功能:f)应具备采集接入非结构化数据的功能;g)应具备采集接入实时在线数据的功能;h)应具备采集接入离线数据的功能;i)应具备主动采集接入和被动接收数据的功能;宜采取措施维持数据源与接入服务器时钟的同步。6.3采集接入内容要求如下:a)应具备采集接入GY/T339.3一2020规定的各类基础数据的功能;3
D)应具备采集接入GD/I074一2018规定的收视评价基础数据的功能。
DB34/T 2827-2017 蒸压砖企业 清洁生产评价指标体系要求如下: a)应支持采集接入按GY/T339.3一2020规定格式表达的数据; b)应支持采集接入按GD/J075一2018规定的格式表达的符合GD/J074一2018规定的数据。
要求如下: a)应支持采集接入按GY/T339.3一2020规定格式表达的数据; b)应支持采集接入按GD/J075—2018规定的格式表达的符合GD/J074一2018规定的数据。
a)采集接入实时数据时,应具备实时传输、接入全网实时数据的能力,实时数据应在不超过3 内从数据源到达大数据平台的数据存储系统; 采集接入BSS离线数据时,应具备1h内完成当日增量数据的传输、接入的能力; 采集接入OSS离线数据时,应具备1h内完成当日增量数据的传输、接入的能力; 采集接入MSS离线数据时,应具备1h内完成当日增量数据的传输、接入的能力; e)采集接入其他离线数据时,应具备1h内完成该类数据当日增量的传输、接入的能力
a)采集接入实时数据时,应具备实时传输、接入全网实时数据的能力,实时数据应在不超 内从数据源到达大数据平台的数据存储系统; 采集接入BSS离线数据时,应具备1h内完成当日增量数据的传输、接入的能力; 采集接入OSS离线数据时,应具备1h内完成当日增量数据的传输、接入的能力; d 采集接入MSS离线数据时,应具备1h内完成当日增量数据的传输、接入的能力; e)采集接入其他离线数据时,应具备1h内完成该类数据当日增量的传输、接入的能力
要求如下: a)数据源或数据采集终端与大数据平台间的交互应通过网关进行;
大数据平台接入数据后,应具备数据处理功能,要求如下: a 应具备数据预处理功能,可对存放在文件系统和数据库中的数据进行抽取、清洗、转换等操作 后加载到数据分析等处理模块; b) 应具备存储处理后的数据的功能,可为其他处理模块提供上传、下载、查看、删除、权限管理 等操作,并通过余备份等机制提供安全的数据存储; C 应具备计算资源配置、调度和回收管理功能,支持水平扩展计算框架、调度任务和管理任务优 先级; 应具备数据分析功能,支持非结构化数据、实时数据、结构化数据的分析,可提供SQL分析、 跨数据源关联分析、机器学习等数据分析功能,并提供对大数据平台外开放分析服务的API; 应具备接入、处理符合GY/T339.3一2020规定的数据的能力: 数据处理环节的功能、性能、数据访问、系统和数据管理、基础配套、安全可靠性和运行维护 等应满足GY/T339.2一2020的要求,
要求如下: a)应具备对外提供数据服务的功能,如提供数据交换、共享、发布等功能; b)宜具备对外开放数据存储、分析、展示功能:
GTCC-067-2018 弹条I、II型扣件 挡板座-铁路专用产品质量监督抽查检验实施细则GY/T 339.12020
c)应具备管理数据服务用户注册、授权、计费功能,可监看和审计用户的行为; d)应提供开放的数据服务接口,如提供用户注册API、服务应用API,宜提供二次开发接口,允 许用户自定义业务; 应能提供至少1年内的BSS、OSS、MSS数据; f)其他功能应满足GY/T339.2一2020的要求。