摄像机几何全称为摄像机几何成像模型，其意义在于使用数学公式描述了三维空间中一点与二维图像中一点的关系。摄像机几何主要涉及四个坐标系，这也是整个三维重建部分最基础、最核心的部分。

1.四大坐标系

四大坐标系包括世界坐标系、相机坐标系、图像坐标系和像素坐标系，通过建立它们之间的位置关系可以实现二维平面上一点与三维空间中一点的坐标的互相转换。

1.1 摄像机坐标系&图像物理坐标系

这是最简单的以“小孔成像”为原理的*孔摄针机像**的的原理

从3D到2D的转换过程中会遗失角度以及距离的信息。

假设P的三维坐标为[x,y,z]，其在物理坐标系中对应的坐标为[x',y']，则两个坐标之间有如下关系（相似三角形）

等价于

将上述欧式坐标关系式转换为齐次坐标关系式如下

上述等式的右边常常写作如下形式

看起来仅仅只是将常数z提取出来，实际上表达的意思多了一层：对二维图像物理坐标系中的一个点坐标，其对应的三维坐标有无数种可能，只要保证在投影线上即可（这也是引入齐次坐标的一个意义）

1.2 摄像机坐标系&像素坐标系

一般来说在摄像机中存储的都是数字图像，因此需要将像平面（图像物理坐标系）转换到像素坐标系，也就是三维空间中的物体直接通过小孔投影到像素坐标系中（此处的像素坐标系的原点取的是图像左下角）。从像平面到像素平面的转换需要既需要考虑原点之间的偏置，也需要考虑单位之间的变换以及摄像机偏斜（摄像机内置参数，主要为α、β、θ、cx、cy）。为了保证变换的线性性质，引入齐次坐标（简单理解就是在欧式坐标的基础上增加一个维度，齐次坐标变为欧式坐标直接减少最后一个维度同时其他维度除以该维度的值），在下面的介绍中，没有特殊说明以外，默认使用的都是齐次坐标。

1.3 世界坐标系&像素坐标系

不同摄像机坐标系对于真实世界中三维物体的描述都不同，因此更好的方式是在真实世界中选定一个世界坐标系来描述真实物体。摄像机坐标系和世界坐标系的变换关系为旋转R(绕x,y,z轴旋转)和平移T(绕x,y,z轴移动)（R和T称为摄像机外参数）

2.坐标系转换

若已知摄像机的内参数和外参数（实际情况是这些参数一般都未知，这就是之后相机标定解决的问题），将空间内任意一点P从世界坐标下的描述变为像素坐标下的描述，一共需要经过三次坐标变换，坐标系之间的转换关系如下所示

2.1 世界坐标系->摄像机坐标系

刚体变换是指在变换过程中物体不会出现形变，只进行旋转变换和平移变换。坐标转换关系如下

其中(XW,YW,ZW)为P点在世界坐标系中的坐标，(XC,YC,ZC)是P点在摄像机坐标系中的坐标，R是3*3的旋转矩阵，T是3*1的平移矩阵。上述式子转换为矩阵形式如下

2.2 摄像机坐标系->物理坐标系

摄像机坐标系与图像坐标系之间的转换关系使用透视投影来描述。一般规定图像坐标系的原点是成像平面与摄像机光轴之间的交点，且其x,y轴与摄像机坐标系的X,Y轴平行。由理想的针孔成像原理可以得到如下坐标转换关系式（相似三角形）

上述式子中的f是摄像机的焦距，是一个固定的参数，由摄像机自身决定。上述式子写为矩阵的形式如下

2.3 物理坐标系->像素坐标系

假设在像素坐标系中有一个点p，其在x轴和y轴方向上的尺寸分别为dx和dy，则图像物理坐标系和图像像素坐标系之间的转换关系式如下

上述式子中的dx和dy分别表示一个像素在x方向和y方向表示多少毫米。上述式子写为矩阵形式如下

2.4 世界坐标系->像素坐标系

联立上述三个转换式子中的三个矩阵表达式，可以将世界坐标系中任意一点P转换到像素坐标系中，转换关系式如下

其中M1为摄像机的内参数矩阵(也称为标定矩阵)，M2为摄像机的外参数矩阵，由旋转矩阵R和平移矩阵T构成。M1和M2组成的矩阵统称为投影矩阵，通过投影矩阵，可以直接将一个齐次的世界坐标系坐标投影到二维齐次像素坐标系坐标。

3.畸变

畸变是指对直线投影的一种偏移，简单理解就是一条三维空间中的直线投影到二维平面上发生了弯曲，这就称为畸变（更准确的说应该是光学畸变，是由于摄像机的镜头导致）

畸变一般分为径向畸变和切向畸变：

• 径向畸变来自于摄像机使用的透镜；
• 切向畸变来自整个摄像机的组装；

无论是哪种畸变，都属于相机本身的固有特性，与摄像机的内部参数一样，在进行摄像机标定之后即可正常使用。当然还存在其他畸变，但是效果没有径向畸变和切向畸变显著，因此很少被关注。

3.1 径向畸变

径向畸变包括枕形畸变和桶形畸变，实际的透镜总是会在成像仪的边缘产生显著的畸变。

其中桶形畸变一般发生在使用广角镜头或使用变焦镜头的广角端时，枕形畸变则是使用长焦镜头或使用变焦镜头的长焦端时发生。

如下图，光线在原理透镜中心的地方比靠近中心的地方更加弯曲。对于常用的普通透镜来说，这种现象更加严重。筒形畸变在便宜的网络摄像机中非常厉害，但在高端摄像机中不明显，因为这些透镜系统做了很多消除径向畸变的工作。

对于径向畸变，成像仪中心（光学中心）的畸变为0，随着向边缘移动，畸变越来越严重。

使用数学形式表示径向畸变，首先假定归一化平面上有一点p，其坐标为[x,y]T，对应的极坐标形式为[r,θ]T，其中r表示该点与坐标原点的距离，θ表示与水平轴的夹角。径向畸变就是r发生了变化，畸变后的坐标表示为

此处的k1,k2和k3就是径向畸变参数。

3.2 切向畸变

切向畸变是由于透镜制造上的缺陷或摄像机组装上的问题使得透镜本身与图像平面不平行而产生

切向畸变可分为薄透镜畸变和离心畸变

径向畸变的数学表达式如下

其中的p1,p2就是切向畸变参数。

综合径向畸变和切向畸变的公式，最终可以得到5个畸变参数