走进汉振-月博登录中心入口
点云滤波,是对点云数据处理的常用功能。
相机采集的图像,受限于拍摄条件、光照、物件表面反光及补光角度等原因,会导致摄像头成像质量下降,进而导致在进行点云重建时会包含一些噪点。包括飞点、弥散点、甚至是凭空出现的点,因此若需要得到高质量点云,可以选择对点云数据进行一次滤波,提升数据质量。
当然提高质量手段有很多,从环境上调优光照、调整拍摄角度,从拍摄上进行hdr、参数调整,或从算法上调整等,本文将先基于点云滤波展开讨论。
本文讲述滤波方法为基于邻域的滤波。顾名思义就是会计算每个点与周围邻域内有效点的数量,根据相关程度来决定当前点是否需要被过滤。
将点云2d平面化后,如上图:
(假设红色为邻域点,半径d为邻域距离阈值)
每个单独点云的邻域相关情况,一般来说分为3种:
-
黄色点:邻域内没有相关的点,作为噪点直接排除
-
蓝色点:邻域内有大量相关的点,作为有效点保留
-
绿色点:邻域内有相关的点,但是数量不足,也作为噪点排除
根据邻域滤波原理,可以解决大部分噪点,效果如下:
滤波前
滤波后
为了实现滤波,首先需要准备点云间距离阈值,即原理图中的半径d。一般来说可以使用点云点间平均距离*6。此参数越大时,滤波效果越差。参数越小时滤波效果越好。但是过小时可能会过滤掉有效点。
其次需要准备邻域内相关数量阈值,即邻域内至少要有几个点云才保留当前点。本算法实现为搜索邻域内一共44个点,有6个以上即判定为保留。此参数越大时滤波效果越好,参数越小时滤波效果越差。
通过两个参数组合和调优,已经可以胜任绝大部分场景下的点云滤波需求。
大致流程如下:
-
遍历点云数据中每个点
-
根据距离阈值,检查每个点邻域内相关点数量
-
根据相关数量阈值,确定点云数据是否保留
-
根据保留结果,将点云数据拷贝至新数据缓冲区
实现代码如下:
汉振3d开发sdk中,可以直接调用点云滤波接口,使用方法如下:
参数解释如下:
-
buffer:存储点云基本数据,需要按照3通道float方式存储xyz数据
-
targetdata:滤波后结果数据,按照3通道float方式存储xyz数据
-
1920:点云列数
-
1200:点云行数
-
0.5:质心平均距离,也可以理解为点云点间平均距离
-
30:云间距离阈值
有了思路,实现了效果还不够,代码需要跑得快才能真的派上用处。对于点云滤波算法,可以有以下几种加速思路:
01 多线程并行
即代码中coreutilsconcurrent部分。本算法中将点云按照行进行拆分,分发给4个线程单独处理。在4线程下可以提速2到3倍。这里要注意的一点是在现在基于cpu的运算中,线程并不是越多越好,需要根据算法实际调整。对于本算法,4线程左右为宜,即使cpu物理上有8线程甚至16线程。主要原因是本算法较为简单,内存瓶颈比cpu运算瓶颈更容易出现。线程多反而容易造成资源争夺,降低缓存命中率,进而导致性能下降。
02 邻域相关度计算剪枝
即代码循环体内最大代码量部分。算法中邻域搜索逻辑是会先从点云当前行开始,依次搜索-1行, 1行,-2行, 2行,-3行, 3行。结合物理世界中实际点云噪点分布情况,如果在当前行和-1行都没有搜索到符合条件的邻域有效点,那么在 1,-2行这些也大概率搜索不到邻域有效点,因此当前点基本就是无效点,就可以直接删除。按照此逻辑类推,分别设置1、3、5个邻域有效点的退出条件。通过此项剪枝后,可以提速2到4倍。
03 内存访问顺序优化
因为cpu有缓存秒钟问题,所以我们希望开发的程序尽可能提高缓存命中率,以提高运行速度。对点云数据的访问,在内存上尽量从左到右访问,从上到下访问。
04 代码减少判断条件
部分可以通过内联展开,代码结构完成的判断,可以直接通过写代码方式实现,而不是通过for,函数调用方式使用。
05 减少对象拷贝
尽量通过全局变量保存热点变量。例如点云数据指针,高宽等参数,会被频繁用到,可以保存到全局变量中让后续流程可以直接访问,而不是保存到中间变量反复拷贝,或者通过指针反复解指针使用。
进行了如上几点优化后,230w点云滤波,可以控制在5到15ms以内。