标准规范下载简介

TCVIA 02-2018 室内机器人视觉同步定位及地图构建的技术规范.pdf

室内机器人视觉同步定位及地图构建的

国电子视像行业协会 发

本标准是关于在室内机器人上使用的基于摄像头视频数据流等多传感器的视觉同步定位与地图构 建的技术规范，该技术规范阐述定义了以下内容： 1、视觉室内定位技术的原理概述； 2、视觉定位模块传感器输入信号标准及输出接口标准： 3、视觉室内定位系统中坐标系选取的规范； 4、视觉室内定位技术应具备的功能： 5、视觉室内定位技术的技术指标： 6、视觉室内定位技术的检测标准； 本标准由【中国电子视像行业协会】归口。 本标准主要起草单位：珊口（上海）智能科技有限公司，哈尔滨工业大学，浙江大学，乐生（东莞 智能科技有限公司，深圳市中彩联科技有限公司。 本标准主要起草人：崔彧玮、李磊、温任华、陈浩耀、章国锋、白为民、郝亚斌、冯晓曦、彭健锋、 杨勇、张利利

随着机器人技术、计算机视觉技术的发展和嵌人式设备计算能力的提高，基于各种传感器所提供的 移动信息进行同步定位与地图构建的技术在移动机器人上逐步普及。这类移动机器人可用于家庭或工业 场景中，具有自主移动、环境建模、地图构建、定位导航等功能。本标准提出了关于在室内机器人上使 用的基于摄像头视频数据流、陀螺仪、里程计等多传感器的视觉同步定位和制图的实现技术规范以及测 试标准。 视觉同步定位与地图构建技术，简称vSLAM，解决了同时建立机器人周围场景的三维模型，并定位 机器人自身的空间位置还原出相机运动轨迹的问题。基于视觉的vSLAM技术采用面阵CMOS相机作为核 心原件、融合惯性测量单元（IMU）、里程计等传感器辅助定位。相比于激光雷达，室内无线载波等定位 方案，具有成本低廉、功耗低、精度高、环境适应性好、使用范围广泛等优点。 根据目前室内视觉定位技术在机器人产品上使用的情况，本标准提出了基于摄像头视频数据流等多 传感器的视觉同步定位和制图的实现技术规范。技术框架内包含视觉特征提取模块、定位跟踪模块、地 图构建模块、闭环矫正模块四个处理模块；在功能上体现为视觉跟踪定位、视觉场景识别及全局重定位 视觉坐标系与房屋坐标系对齐等功能。 作为一种快速发展的新兴的定位方式，视觉定位技术的误差特性与路径积分等传统的定位方式有很 大不同。为了规范视觉定位技术的技术指标，本标准提出了测量室内视觉定位技术性能及精度的一系列 相关技术指标，并给出了标准的测量方法

大庆油田工程有限公司锅炉房改造工程施工组织设计2、术语与缩略语 3、视觉同步定位及地图构建的原理概述. 4、传感器采集层输入标准. 5、视觉定位模块输出标准。 6、视觉室内定位系统中坐标系选取的规范. 7、室内定位技术应具备的功能. 8、视觉室内定位技术的技术指标. 9、室内定位技术的检测标准

室内机器人视觉同步定位及地图构建的技术规范

本标准规定了室内视觉定位技术的实现方式与通讯接口。针对传感器与机器人的连接方 式和接口定义、定位构图信息的输出格式进行了规范化的设计。同时给出了室内视觉定位技 术方案的关键技术指标定义和测量方法， 本标准适用于使用摄像头及其他辅助传感器定位的室内机器人，也可供其他类型的机器 人应用，以及视觉定位技术在增强现实，虚拟现实等应用参考

2.1术语和定义 下列术语和定义适用于本标准。 2.1.1 视觉跟踪Visual Tracking 指基于视频流数据计算摄像头的实时位置。主要通过视频流中前后帧之间的图像匹配计 算位置。 2.1.2 视觉特征VisualFeatures 指图像中可识别，匹配的图像特征。典型的视觉特征包括角点（Corners），线段（Edges） 平面(Planes)等。 2.1.3 闭环检测Loop ClosureDetection

3、视觉同步定位及地图构建的原理

视觉同步定位及地图构建的原理概述

图1视觉同步定位及地图构建系统应用方案图

3.1视觉同步定位及地图构建系统利用摄像头采集到的视频流数据及其他类型的辅助 传感器完成机器人的定位及地图构建。 3.2视觉同步定位及地图构建技术中应包含实时传感器采集层。传感器采集层负责实时 采集多种传感器的数据流并获取每个传感器数据点的时间戳。时间戳可以通过硬件同步的方 式获取（同步触发多个传感器使其同时采集数据），也可以通过软件层的方式获取（基于获 取到传感器的系统时间来制订时间戳）。 3.3视觉同步定位及地图构建系统中应包含一个或多个摄像头以采集视频数据。也可以 包含基于结构光或飞行时间法的深度镜头模组同时获取场景深度信息。 3.4视觉同步定位及地图构建系统中还可以包括其他辅助传感器，例如惯性测量单元 （IMu），里程计（odometer，wheelencoder），光流地面跟踪传感器（floortrackingsensor） 等。这些辅助传感器的作用包括帮助视觉定位模块获取地图尺度信息，以及通过提供初始位 置估计减少视觉定位模块的计算量及定位误差。 3.5在视觉定位模块内部应包含利用图像视频流和其他传感器的信息跟踪定位机器人 的位置（视觉跟踪定位）的功能并提供输出接口实时输出机器人的位置。视觉跟踪定位模块 通过提取，分析，及匹配视频流中前后图像顿的视觉特征，并和地图中的视觉地标进行比对 推算出机器人的实时位置

3.6在视觉定位模块内部应包含地图构建及维护的功能。地图构建及维护模块根据机器 人的位置，创建机器人周围环境的三维模型。该三维模型以稀疏或半稠密，或稠密的三维点 云形式存在。定位模块可以通过串行通讯接口输出视觉地标的位置及描述， 3.7为了修正长时间运行导致的累积误差，视觉定位模块内部还应具有环境识别及闭环 检测与矫正的功能。该模块周期性地检测机器人是否位于之前去过的坐标附近，如果发现四 配，则根据历史记录的在同一场景下坐标和当前坐标的差别对定位和地图进行修正，以消除 累积误差。在发生闭环的时候，机器人的定位可能出现跳变，外部程序可以通过API接口获 取到闭环矫正的信号以进行相应的处理， 3.8视觉定位系统在摄像头出现大面积遮挡，光线条件恶劣，或环境视觉纹理稀少的情 况下会出现跟踪丢失的情况。当视觉定位丢失，且辅助传感器数据存在的情况下，定位模块 应使用辅助传感器进行定位，避免出现没有定位输出的情况。 3.9定位系统应具有视觉重定位的能力，通过分析比对摄像头采集到的图片和地图中存 诸的信息，重新计算出机器人的坐标并开始视觉跟踪。在发生重定位的时候，机器人的定位 可能出现跳变，定位模块应输出视觉重定位信号以通知外部程序进行相应的处理。

4.1.5出厂时摄像头应经过去畸变校准标定处理HG 20226-2015标准下载，畸变参数应以配置文件的形式存在模 组内部。 4.2惯性测量单元（IMU）数据 4.2.1惯性测量单元（IMU）数据的每个数据点包括时间戳、加速度或位移增量、角速度 或角度增量。 4.2.2IMU数据应通过UART串口接入到视觉定位模组上。 4.2.3IMU的协方差以配置文件的形式存储在模组内部。 4.3里程计数据 4.3.1里程计的每个数据点应包括时间戳、左轮、右轮的位增量。 4.3.2里程计数据应通过UART串口接入到视觉定位模组上。 4.3.3里程计数据的单位为脉冲值，每个脉冲值对应的距离长度应在出厂时进行校准标 定，并以配置文件的形式存储在模组内部。

7、室内定位技术应具备的功能

7、室内定位技术应具备的功能

图2视觉定位模块的坐标系规范

视觉室内定位技术应至少具备以下的功能。 7.1.．基于图像视频流作为输入数据，准确、实时的输出机器人的位置及航向角。 定位模块应能在不依赖其他传感器数据的情况下，实时输出机器人在空间中的定位及航 可角。其中实时处理图片的顿率应高于每秒10顺图片以上，在标准室内测试环境中，平均 绝对定位误差应小于5厘米，相对定位误差应小于1%。 7.2.基于图像视频流，具备跟踪去失后快速重定位的能力。 在视觉跟踪去失的情况下（例如镜头被遮挡或视觉条件恶劣的情况下）、或在机器人被 人为移动的情况下，机器人在重新回到同一个场景中之前去过的位置时，应能基于视频数据 重新快速计算出在世界坐标系中的位置，其中重定位成功率应高于80%，重定位的响应速度 立快于1秒钟。 7.3.基于图像视频流，给出平行或垂直于房间方向的坐标系。 在初次开机时，机器人应能通过分析图片信息对房间进行快速建模，将自身视觉定位坐 标系调整为平行或垂直于墙方向。在标准测试环境中，该功能的响应时间应小于20秒，坐 标系与墙方向的夹角应小于3度，成功率应高于90%。 7.4.在同一环境中多次使用，具有地图重复使用的功能。 机器在同一环境中多次重复使用，机器人应具有地图保存并重新加载的能力。多次使用 过程中视觉定位坐标系应保持一致。 8、视觉室内定位技术的技术指标 室内定位技术方案应提供以下技术参数以评估其性能 8.1图像处理帧率 图像处理顿率代表每秒钟系统可以处理的图像数量。在视觉定位系统中，图像处理的速 度很大程度上影响了定位系统可以支持的最大运动速度及旋转速度。处理一帧图像应至少包 括视觉特征提取及匹配，图像位姿计算等步骤。

8.1.1图像处理的顺率可以通过运行标准测试数据集的速度测量。处理帧率为计算单元 在标准测试数据集上的整体耗时，除以标准测试数据集所包含的图像数量。 8.1.2图像处理帧率也可以通过在标准测试间实时测量。实时测量时，计算单元需要输 出每一张所处理的图片所对应的时间戳及位姿，以及图片处理的中间结果以证明图片确实被 处理。可以被接受的图片处理结果包括图片中所包含的视觉特征数量及描述，图片中所包含 的视觉地标匹配数量及每个匹配地标的基本信息。 8.2实时坐标输出频率 视觉定位系统可以通过融合惯性测量单元，里程计等其他传感器的方式以更高的频率输 出定位坐标。实时坐标输出频率为计算单元在实际使用过程中每秒钟可输出的定位数据点的 数量。 8.3跟踪定位精度 定位精度反应了室内定位技术输出坐标的精确程度。定位精度包括位置精度和角度精度 两部分。位置精度的单位为毫米煤气管道安装施工方案，反应了在标准测试数据集上或标准测试间内运行时，定位 模块给出的坐标和真实坐标的RMSE偏差（通常以单位长度内的偏差进行衡量，例如每1米平 均偏差多少毫米）。角度误差的单位为度，反应了在标准测试数据集上或标准测试间内运行 时，定位模块给出的角度和真实坐标角度的RMSE偏差（通常以每米的平均角度偏差进行衡量） 在测量精度时，由于定位模块的坐标系和真实值采集的坐标系可能存在差异，允许将所有的 原始的定位数据进行一次整体的坐标平移及旋转变换以将原始坐标系和真实坐标对齐。 8.4视觉跟踪成功率 视觉跟踪成功率指在标准测试数据集或标准测试间内机器人运行时，视觉跟踪正常的时 间和总体测试时间的比例。在视觉跟踪率测试数据上，存在一定比例的恶劣视觉条件，例如 强光，弱光，弱纹理，会导致一定比例的视觉跟踪丢失。视觉跟踪成功率反应了视觉定位系 统对恶劣视觉条件的鲁棒性。 8.5重定位成功率、速度及精度

重定位成功率反应了定位模块的视觉重定位的反应速度。在重定位标准测试数据集或在 标准测试间的重定位测试样例中，机器人在固定场景下在视觉无遮挡的情况下预先运行二十 分钟时间。而后的二十分钟内，摄像头每隔一分钟会被完全遮盖长达一分钟的时间，总计被 遮盖/打开十次。机器的重定位成功率指在每次摄像头重新打开的20秒时间内机器成功完成 重定位的比例。 重定位的速度指在成功完成重定位的情况下，从摄像头打开到完成重定位的时间长度。 重定位精度指在成功完成重定位的情况下，在完成重定位的第一个定位数据点上的定位 误差。

表1：视觉定位系统的技术参数标准。