RGB相机动捕系列：相机标定（一、特征提取）

**RGB相机动捕系列：相机标定（一、特征提取）

一、概述

在动捕行业中，动捕系统一般采用红外相机捕捉演员身上的mark红外反光点，如vicon、OptiTrack等相机，相机厂商会有配对的相机标定系统。但是红外光学动捕有时会有一定的局限性，比如对于手指的捕捉效果很差，所以有一套RGB相机动捕是很有必要的。但是市面上大多数RGB工业相机并没有配套的相机阵标定系统，本系列文章将阐述RGB相机动捕的整个系统，包括相机标定、相机配准、RGB相机身体动捕、RGB相机手指动捕。本文讲述RGB相机标定中的特征提取方法。

二、相机标定

2.1、传统标定方法

1、使用棋盘标定板进行标定，该方法首先对单个相机的内参进行标定，再对相机组的外参求解，使用该方法只能每次两两相机进行标定， 一般动捕室相机非常多，各相机之间的相对位姿关系也较为复杂，使用该方法需要消耗 大量人力物力，且该方法算法时间长，不利于使用。

2、使用显著标志物进行标定，该方法在场景中放置显著标志物，通过提取标志物的特征点进行匹配，实际使用中需要设计多个不同的标志物，标志物设计较为困难，特征提取受噪声影响较大，且标志物的放置需要有一定规则，需要保证同一标志物至少两相机可见，对于非专业人员操作不太友好。

2.2、使用的标定方法

设计一个顶端使用 LED 红点光源的标定杆。标定时只需要人手持标定杆在动捕室进行挥动，相机通过波形发生器进行同步，通过算法分析实时提取出点光源在各个相机中的帧号和坐标，提取完成后再进行匹配关联，几何验证，最后进行全局优化，即可将相机内参外参一起标定完成，整个标定过程只需要几分钟就能完成大型动捕室相机阵列的高精度标定。

2.3、特征提取

该方法通过 LED 红灯作为标定杆，标定杆如下图所示：

由操作人员手持标定杆在动捕室运动（运动规则是让尽可能多的点均匀的落在不同 相机上，这点很容易做到），通过红点提取算法计算出每帧图像中红点在各相机中的坐标，具体的红点检测算法如下： 特征提取：算法采用自定义特征：红率∙灰度，对于图像中的每个 RGB 像素值，特征 F 的计算公式为：

F=reluR-G+relu(R-B)R+G+B+ε∙(0.3R+0.59G+0.11B) （1）

其中𝜺是一个极小值，避免除0。 通过该自定义特征，能够很好的将红点特征提取出来，并且对于噪声也有很好的过滤。特征提取完成之后，通过 DOG（高斯函数的差分）算子对特征进一步处理，提取出点位置，图像中的高斯核函数 G 如下：

G（x,y,σ）=12πσ2e(-x2+y22σ2) （2）

其中𝝈是方差，代表斑点的尺度。 高斯差分结果 D 的计算公式为：

D（x,y,σ）=G（x,y,σ+δ）-G（x,y,σ-δ）*F(x,y) （3）

其中 G 为公式（2）中的高斯核函数，δ是一个极小量，用于构建尺度差分，在实际使用中取10−1，*是卷积运算，F 为公式（1）中的特征图。最后通过阈值判断当差分结果大于阈值时认为该点是红点.公式如下所示：

R=0, &D（x,y,σ）<threshold1, &D（x,y,σ）≥threshold （4）

注。1

本文仅供学习参考，未经允许，拒绝转载或者用作他用。

---