标准规范下载简介

Q／GDW 11704-2017 大数据平台数据采集接入规范.pdf

Q/GDW117042017

C.1实时消息队列应用流程

业务应用通过Java代码开发方式调用平台提供的实时消息队列API接口GB／T 38514-2020 电去离子膜堆测试方法，往消息队列主题中发送 据。具体开发应用流程如下：

图14实时消息队列应用流程图

平台与业务应用方约定消息队列主题名称。 平台在大数据集群中创建相应的消息队列主题。 3.业务应用方开发程序调用平台实时消息队列API，封装数据往消息队列主题中发送消息

C.2实时消息队列API接口

表5实时消息队列API接口清单

C.3实时消息队列应用示例

业务系统在数据写入大数据平台时，需要加载大数据平台实时消息队列接口包，实现相应逻辑即可 Tava代码实例如下：

实时消息队列调用代码实

//消息发送接口示例 Producer producer = null; tryl producer=newProducer(用户名，密码，主题列表）： producer.send(主题名称，数据内容); //单条发送 producer.send(主题名称，多条数据内容)； //批量发送 producer.send(主题名称，数据内容，是否敏感)：//单条发送 producer.send(主题名称，多条数据内容，是否敏感)； //批量发送 J catch (Except ion) ( //此处进行异常处理 J finallyt

Q/GDW117042017

D.1文件接收FTP服务接口

Q/GDW 117042017

D/GDW117042017

表7文件接收FTP服务API接口清单

D.2文件接收FTP服务示例

表8文件接收FTP服务调用代码实例

E.1文件接收WebService服务API接

附录E （资料性附录） 文件接收WebService服务应用

附录E （资料性附录） 文件接收WebService服务应用

表9文件接收WebService服务API接口清单

E.2文件接收WebSerivce服务示例

业务系统在生成好文件后，通过调用大数据平台WebService文件接收服务，调用服务示例（Java） 如下：

D/GDW117042017

/GDW 11704201

表10文件接收WebService服务调用代码实

Q/GDW117042017

附录F （资料性附录） 文件拉取HTTP服务应用

F.1文件拉取HTTP服务接口

表11文件接收HTTP服务API接口清单

F.2文件拉取HTTP服务示例

业务系统在生成好文件后，通过调用大数据平台HTTP文件拉取服务，调用服务示例（Java）如

表12文件接收HTTP服务调用代码实

12文件接收HTTP服务调用代码实例

Q/GDW117042017

D/GDW 117042017

Q/GDW117042017

附录G （资料性附录） 文件拉取FTP服务应用

G.1文件拉取FTP服务API接口

表13文件拉取FTP服务API接口清单

G.2文件拉取FTP服务示例

业务系统在生成好文件后，通过调用大数据 台FTP文件拉取服务，调用服务示例（Java）如下

/GDW 117042017

表14文件拉取FTP服务调用代码实例

附录H （资料性附录） 文件拉取NFS服务应用

H.1文件拉取NFS服务API接口

D/GDW117042017

表15文件拉取NFS服务API接口清单

H.2文件拉取NFS服务示例

表16文件拉取NFS服务调用代码实

16文件拉取NFS服务调用代码实例

D/GDW 117042017

Q/GDW117042017

大数据平台数据采集接入规范

编制主要原则 42 与其它标准文件的关系. 主要工作过程 2 标准结构和内容， 42 6条文说明... 13

狮制月 编制主要原则 与其它标准文件的关系. 主要工作过程， 5标准结构和内容.

标准编制的主要原则是遵守现有相关法律、条例、标准和导则等，同时依据了《电力大数据平台体 系架构及总体要求》文件，并遵循国家电网公司对标准编写的要求。 本标准的出发点和基本原则是在保障大数据平台系统安全、稳定和可靠运行的前提下DG／TJ08-2303-2019 轨道交通声屏障结构技术标准，使规范具有 科学性和可操作性 本标准项目计划名称为“电力大数据平台数据采集转换技术规范”，根据审查组建议，更名为“大 数据平台数据采集接入规范”

3与其他标准文件的关系

本标准与相关技术领域的国家现行法律、 法规和政策保持一致。 本标准不涉及专利、软件著作权等知识产权问题。

2015年1月，在北京组织召开标准编制启动会，并成立编写小组，对大数据平台数据采集相关技术 标准进行资料收集和分析。 2015年6月，在北京组织召开标准编制研讨会，明确修编思路，完成标准大纲编写。 2016年2月，完成标准集中编制，并对标准编制草案进行内部评审，形成初稿。 2016年3月，国网信通部在北京组织专家召开初稿审查会，并给出修订意见。 2016年4月，按专家评审意见进行修编形成征求意见稿，采用函件方式，广泛、多次向国家电网公 同主管部门及省公司专家、研究院征求意见和建议。 2016年6月，公司信息与通信技术标准专业工作组在北京组织召开征求意见稿审查会，并给出修改 意见。 2016年11月，公司信息与通信技术标准专业工作组在北京组织召开送审稿审查会，审查结论为：审 查组经协商一致，同意修改后报批。 2016年11月，根据专家最终审查意见修改形成报批稿。

D/GDW 11704201

GA∕Z 1360-2018标准下载本标准按照《国家电网公司技术标准管理办法》（国家电网企管（2014）455号文）的要求编写 本标准的主要结构和内容如下： 本标准主题章分为2章： 第5章概述是对业务系统与大数据平台数据集成所涉及的采集数据对象和数据存储目标的概述。 第6章技术要求描述大数据平台提供的抽取服务、数据网关服务、实时消息队列、文件接收FTP服务 文件接收WebService服务、文件拉取HTTP服务、文件拉取FTP服务、文件拉取NFS服务、增量数据库复 等数据采集方式的接口描述、应用场景和应用要求

本标准按照《国家电网公司技术标准管 本标准的主要结构和内容如下： 本标准主题章分为2章： 第5章概述是对业务系统与大数据平台数据集成所涉及的采集数据对象和数据存储目标的概述。 第6章技术要求描述大数据平台提供的抽取服务、数据网关服务、实时消息队列、文件接收FTP服务 文件接收WebService服务、文件拉取HTTP服务、文件拉取FTP服务、文件拉取NFS服务、增量数据库复制 等数据采集方式的接口描述、应用场景和应用要求