DB37／T 4529-2022 标准规范下载简介
DB37／T 4529-2022 海洋大数据分级存储技术规范.pdfICS35.240.99 CCS L 67
DB37/T452920
Technical specification forhierarchical storage of ocean big data
JC／T 2119-2012标准下载山东省市场监督管理局 发布
DB37/T45292022
范围 规范性引用文件 术语和定义 缩略语 数据分级 5.1分级要素 5.2定级规则 5.3分级等级及存储要求 分级存储技术要求 6.1基本要求. 6.2分级存储实现 6.3 数据迁移 分级存储管理要求 7. 1 设备管理 7. 2 资源管理 7.3策略管理 7. 4 监控运维 参考文献
范围 规范性引用文件 术语和定义 缩略语 数据分级 5.1分级要素 5.2定级规则 5.3分级等级及存储要求 分级存储技术要求 6.1基本要求. 6. 2 分级存储实现 6. 3 数据迁移 分级存储管理要求 7. 1 设备管理 7. 2 资源管理 7. 3 策略管理 7. 4 监控运维 会老文献
DB37/T45292022
本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由山东省海洋局提出并组织实施。 本文件由山东省海洋标准化技术委员会归口
本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的 草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由山东省海洋局提出并组织实施。 本文件由山东省海洋标准化技术委员会归口
DB37/T45292022
海洋大数据分级存储技术规范
本文件规定了海洋大数据的数据分级以及分级存储的技术要求和管理要求。 本文件适用于10PB级以
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T35295一2017信息技术大数据术语
GB/T35295一2017界定的以及下列术语和定义适用于本文件。 3.1 大数据bigdata 具有数据巨大、种类多样、流动速度快、特征多变等特性，并且难以用传统数据体系结构和数据处 理技术进行有效组织、存储、计算、分析和管理的数据集。 [来源：GB/T37973—2019，3.1] 3.2 海洋大数据 oceanbigdata 具有大数据特征的海洋领域数据集。 3.3 数据分级dataclassification 按照存储效能的分级规则对大数据进行定级。 3.4 分级存储hierarchicalstorage 采用相应等级的存储要求对大数据进行存储。 3.5 迁移策略migrationstrategy 根据大数据的分级等级及数据访问量要求所建立的分级存储实施策略。 注：包括迁移触发条件、源存储设备、目标存储设备等
IoPS：每秒读写次数（InputOutputOperationsPerSecond） ORC：列式存储（OptimizedRowColumnar） PB：拍字节，1PB=2的50次方字节（Petabyte） RCFile：列存储文件（RecordColumnarFile） SQL：结构化查询语言（StructuredQueryLanguage）
DB37/T45292022
海洋大数据分级定级主要考虑的要素为海洋 即根据海洋人数据访回量从高 判断，可分为高频率访问的海洋大数据、一般频率访问的海洋大数据、低频率访问的海洋大数
表1海洋大数据等级条件及判定规则
5.3分级等级及存储要求
相应等级的海洋大数据的存储应符合表2的规定
表2海洋大数据分级等级及存储要求
DB37/T45292022
表2海洋大数据分级等级及存储要求
海洋大数据存储的基本要求： a 应提供结构化、非结构化、半结构化数据存储和处理等功能； b 应支持分布式存储，包括分布式文件存储、分布式结构化数据存储、分布式列式数据存储 分布式图数据存储； C 应提供时序数据存储功能： d 应提供实时数据存储功能； e 应支持批处理计算功能，包括离线批量数据处理、在线批量数据处理等功能； 应支持实时流处理/计算功能； g 宜提供数据压缩存储功能，支持压缩存储格式，包括文本格式、RCFi1e、ORC等： h 宜提供多副本存储功能，并确保数据存储完整性和多副本一致性； 宜提供多种编程语言和脚本语言进行数据处理功能，
海洋大数据的分级存储实现： a 应事先明确海洋大数据的数据分级等级，分级等级的判定应根据5.2的要求开展； 6 应支持依据海洋大数据的分级等级将海洋大数据存储在相应等级的存储设备或系统中，海洋 大数据分级等级及存储要求应符合5.3的要求； C 海洋大数据分级存储前应事先进行数据处理，应对缺失值数据进行补齐，支持差异数据、脏 数据、穴余数据的清洗、去噪、过滤等； d 应定期评估海洋大数据的分级等级，分级等级发生变化的，应将海洋大数据迁移至相应等级 的存储设备或系统，包括以下两种方式： 1）归档的历史海洋大数据可直接拷贝至磁带库/光盘库等存储介质中； 2 采用数据抽取方式将海洋大数据迁移至相应等级的存储设备或系统，应按照6.3的规定 开展数据迁移。 e 应支持根据海洋大数据的分级等级及存储要求、数据访问量，进行不同存储方式之间的迁移 策略的设置、修改、删除等操作； 应支持根据迁移策略实现对海洋大数据的组合查询 g）应支持根据海洋大数据的迁移策略实现海洋大数据的自动迁移，自动迁移应支持迁移日志。
迁移准备工作应包括但不限于：
迁移准备工作应包括但不限于：
DB37/T45292022
制定待迁移数据源的详细说明，包括数据的存储方式、数据量、数据的时间跨度等； 建立新旧系统数据库的数据字典； 旧系统历史数据的质量分析； 新旧系统数据结构的差异分析； 新旧系统代码数据的差异分析： 建立新旧系统数据库表的映射关系，并对无法映射的字段进行处理； g）开发、部署ETL工具，编写数据转换的测试计划和校验程序； 制定数据转换的应急措施。
6. 3. 2. 1数据抽取
应建立新旧系统数据库表的映射关系，采用合适的数据抽取工具将海洋大数据从源存储设备或 取至目标存储设备或系统
6.3.2.2数据转换
应对迁移至新存储设备或系统的海洋大数据进行数据质量分析，以找出存在问题的数据。 应对重复、错误、不完整、违反业务或逻辑规则等问题数据进行相应的操作。
6. 3. 2. 3数据装载
6. 3. 2. 4数据校验
迁移后的质量校验要求： 海洋大数据迁移后，应对迁移后的海洋大数据进行数据校验，可通过以下两种方式对迁移后 的海洋大数据进行校验： 1）新旧系统查询数据对比检查，通过新旧系统各自的查询工具DB34／T 1971-2013 井工煤矿辅助运输管理导则，对相同指标的数据进行查 询，并比较最终的查询结果； 2 将新系统的数据恢复到旧系统迁移前一天的状态，并将最后一天发生在旧系统上的业务 数据补录到新系统，检查有无异常，并和旧系统比较最终产生的结果。 b 数据校验内容应包括但不限于： 数据格式检查：检查数据的格式是否一致和可用； 数据长度检查：检查数据的有效长度； 3 区间范围检查：检查数据是否包含在定义的最大值和最小值的区间中； 空值、默认值检查：检查新旧系统定义的空值、默认值是否相同； 完整性检查：检查数据的关联完整性； 6） 一致性检查：检查逻辑上是否存在不一致的数据
DB37/T45292022
支持分级存储系统或设备的磁盘、CPU、内存、电源、风扇、网口等信息的查询，以便实时了解分 级存储系统或设备运行状态等；同时及时了解运行有误的分级存储系统或设备，若有必要应采取适当措 施保证其正常运行。
海洋大数据分级存储资源管理要求： 应提供分级存储系统的各个节点的服务情况的查询功能，包括节点的主备、节点的容量和性 能（IOPS、读流量、写流量）等信息，实时了解域内资源信息，运行状态； 应提供用户权限范围内的节点管理功能，包括存储信息的添加、修改、删除等； 应及时了解资源的异常，若有必要应采取适当措施保证其正常运行： 应提供CPU、内存、存储等资源的调度和配置功能； 应支持静态资源分配策略和动态资源分配策略； 应提供资源视图查看功能，包括可用CPU、内存、存储等的利用率、分占比等； 宜提供设置任务优先级的功能，并按任务优先级对资源进行调度； 宜提供作业自动分配或手动分配功能： 宜提供作业运行状态管理功能，包括开始、暂停、转移和重启等； 宜提供资源扩展和预留功能，以及资源预警、告警功能
海洋大数据分级存储策略管理要求： a）分级存储策略管理： 1）应提供灵活的分级存储策略，包括异地存储、加密存储、压缩存储、同步或异步等存储 方式，不同分级等级海洋大数据的分级存储策略应符合5.3的要求； 2）应支持对海洋大数据分级存储策略的设置、修改、删除和查询等。 b 迁移策略管理：应支持对海洋大数据迁移策略的设置、修改、删除和查询等； 应提供海洋大数据分级等级、分级存储要求和迁移策略三者间的映射关系。
海洋大数据分级存储监控运维要求： a 应定期对海洋大数据的分级等级进行监测，海洋大数据分级等级发生变化时，应实现海洋大 数据的自动迁移或人工迁移； 应实时监控各分级等级的存储设备的剩余空间，当存储设备剩余空间达到预先设定指标时 应实现海洋大数据的自动迁移或人工迁移： 应定期扫描海洋大数据的数据访问量，可根据数据访问量对数据进行迁移管理： 宜充分考虑海洋大数据的增长速度，并定期对各级别存储设备的容量可扩展性进行分析，确 保各级别的存储设备有足够的存储容量
土方开挖与回填施工方案1]GB/T37722一2019信息技术大数据存储与处理系统功能要求 2］GB/T37973一2019信息安全技术大数据安全管理指南 31GB/T39786一2021信息安全技术信息系统密码应用基本要求
DB37/T45292022