1.openmvg是源码内参什么？
2.一文详解头部位姿估计收藏好文
3.易航智能——专注量产的自动驾驶解决方案供应商
4.opencv棋盘格实现相机标定(附源码)
5.Opencv中的两种去畸变函数
6.图像对齐根据cv2.findhomography()计算出的变换矩阵,能够

openmvg是什么？

       OpenMVG是一个开源的多视角立体几何库，它在计算机视觉领域中用于处理多视角几何问题。源码内参这个库以其简洁性和可维护性而闻名，源码内参提供了一系列经过测试且可靠的源码内参接口。它可以在GitHub上找到，源码内参并且有一个详细的源码内参sm2源码文档说明如何使用。OpenMVG的源码内参主要功能包括解决多视角立体几何的精准匹配问题，提供用于特征提取和匹配的源码内参方法，以及一个完整的源码内参单视图几何重建（SfM）工具链，包括校正、源码内参参数估计、源码内参重建和表面处理等步骤。源码内参

       OpenMVG的源码内参核心库包含了多个功能的核心算法实现，例如图像处理、源码内参数值计算、源码内参特征处理、相机模型和多视角几何等模块。它还提供了一些样例，教用户如何使用这些工具。OpenMVG在Windows平台上有着良好的支持，并且可以通过CMake和Visual Studio进行编译。

       在安装OpenMVG时，建议与OpenCV一起编译，并在CMake配置中启用OpenCV支持。如果使用的是较旧的Visual Studio版本（如），可能会遇到兼容性问题，此时可以修改源代码中的一些部分以兼容旧版本。

       在使用OpenMVG时，可能会遇到一些断言错误，尤其是在调试模式下。这些错误通常与数据结构的对齐问题有关，可以通过修改源代码中相关的数据结构和算法来解决。

       OpenMVG的SfM模块提供了一系列用于结构从运动（SfM）问题的方法和数据存储接口，包括相机位置估计、结构测量和Bundle Adjustment（BA）等。SfM_Data类是SfM问题的核心数据结构，包含了视图、姿态、内参和3D点等信息。

       OpenMVG还提供了一些样例程序，展示了如何使用不同的特征提取和匹配方法，以及如何估计单应矩阵和本征矩阵。这些样例有助于用户理解和掌握OpenMVG的使用。

       总的大灰狼 8.96源码来说，OpenMVG是一个功能强大的开源库，适用于需要在多个视图中处理立体几何问题的项目。

一文详解头部位姿估计收藏好文

       在许多应用中，我们需要知道头部相对于相机是如何倾斜的。例如，在虚拟现实应用程序中，可以使用头部的姿势来渲染场景的正确视图。在驾驶员辅助系统中，汽车上的摄像头可以观察驾驶员的面部，通过头部姿态估计来判断驾驶员是否在关注道路。当然，人们也可以使用基于头部姿势的手势来控制免提应用程序。

       本文中我们约定使用下面术语，以免混淆。位姿：英文是pose，包括位置和姿态。位置：英文是location。：英文是photo，本文中用来指一幅照片。图像：英文是image，本文中用在平面或坐标系中，例如image plane指图像平面，image coordinate system指图像坐标系统。旋转：英文是rotation。平移：英文是translation。变换：英文是transform。投影：英文是project。

       什么是位姿估计？在计算机视觉中，物体的姿态是指物体相对于相机的相对方向和位置。你可以通过物体相对于相机移动，或者相机相对于物体移动来改变位姿。—— 这二者对于改变位姿是等价的，因为它们之间的关系是相对的。本文中描述的位姿估计问题通常被称为“Perspective-n-Point” 问题，或计算机视觉中的PnP问题。PnP问题的目标是找到一个物体的位姿，我们需要具备两个条件：条件1：有一个已经校准了的相机；条件2：我们知道物体上的n个3D点的位置locations和这些3D点在图像中相应的2D投影。

       如何在数学上描述相机的运动？一个3D刚体(rigid object)仅有2种类型的相对于相机的运动。第一种：平移运动（Translation）。平移运动是指相机从当前的位置location其坐标为（X， Y， Z）移动到新的坐标位置（X‘， Y’，仿米赚 源码Z‘）。平移运动有3个自由度——各沿着X，Y，Z三个轴的方向。平移运动可以用向量t = (X’-X, Y’-Y, Z’-Z)来描述。第二种：旋转运动（Rotation）。是指将相机绕着X，Y，Z轴旋转。旋转运动也有3个自由度。有多种数学上的方法描述旋转运动。使用欧拉角（横摇roll, 纵摇pitch, 偏航yaw）描述，使用3X3的旋转矩阵描述，或者使用旋转方向和角度（directon of rotation and angle）。

       进行位姿估计时你需要什么？为了计算一幅图像中一个刚体的3D位姿，你需要下面的信息：信息1：若干个点的2D坐标。你需要一幅图像中若干个点的2D（x, y）位置locations。在人的面部这个例子中，你可以选择：眼角、鼻尖、嘴角等。在本文中，我们选择：鼻尖、下巴、左眼角、右眼角、左嘴角、右嘴角等6个点。信息2：与2D坐标点一一对应的3D位置locations。你需要2D特征点的3D位置locations。信息3：相机的内参。正如前文说提到的，在这个PnP问题中，我们假定相机已经被标定了。换句话说，你需要知道相机的焦距focal length、图像的光学中心、径向畸变参数。

       位姿估计算法是如何工作的？有很多的位姿估计算法，最有名的可以追溯到年。该算法的详细讨论超出了本文的讨论范围。这里只给出其简要的核心思想。该位姿估计PnP问题涉及到3个坐标系统。c stl 源码下载（1）世界坐标系。前面给出的各个面部特征的3D点就是在世界坐标系之中；（2）如果我们知道了旋转矩阵R和平移向量t，我们就能将世界坐标系下的3D点“变换Transform”到相机坐标系中的3D点。（3）使用相机内参矩阵，能将相机坐标系中的3D点能被投影到图像平面image plane, 也就算图像坐标系统image coordinate system。整个问题就是在3个坐标系统中玩耍：3D的世界坐标系World coordiantes、3D的相机坐标系Camera coordinates、2D的图像坐标系Image coordinates。下面，我们来深入研究图像生成方程式，以理解上述三个坐标系是如何工作的。

       在上述中，左下角的O是相机的中心，中间的平面Image Plane就是像平面，我们感兴趣的是找出“将3D点P投影到像平面中点p的方程式”。首先，我们假设已经知道了位于世界坐标系中3D点P的位置（U，V，W），如果我们还知道了世界坐标系相对于相机坐标系之间的旋转矩阵R和平移向量t,通过下面方程式，就能计算出点P在相机坐标系下的位置（X，Y，Z）。

       下面，我们来深入研究图像生成方程式，以理解上述三个坐标系是如何工作的。在上述中，左下角的O是相机的中心，中间的平面Image Plane就是像平面，我们感兴趣的是找出“将3D点P投影到像平面中点p的方程式”。首先，我们假设已经知道了位于世界坐标系中3D点P的位置（U，V，W），如果我们还知道了世界坐标系相对于相机坐标系之间的旋转矩阵R和平移向量t,通过下面方程式，就能计算出点P在相机坐标系下的位置（X，Y，Z）。

       正如将在下面章节讲述的，我们知道(X, Y, Z)只在一个未知的尺度上或者说(X, Y, Z)仅由一个未知的尺度所决定，所以我们没有一个简单的线性系统。

       直接线性变换（Direct Linear Transform）我们已经知道了3D模型世界坐标系中的很多点也就是（U，V，如何编译源码包W），但是，我们不知道(X, Y, Z)。我们只知道这些3D点对应的2D点在图像平面Image Plane中的位置也就是(x, y)。在不考虑畸变参数的情况下，像平面中点p的坐标(x,y)由下面的方程式（3）给出。方程式（3）中的s是什么？它是一个未知的尺度因子scale factor。由于在图像中我们没有点的depth信息，所以这个s必须存在于方程中。引入s是为了表示：图2中射线O-P上的任何一点，无论远近，在像平面Image Plane上的都是同一个点p。也就是说：如果我们将世界坐标系中的任何一点P与相机坐标系的中心点O连接起来，射线O-P与像平面Image Plane的交点就是点P在像平面上的像点p，该射线上的任何一点P，都将在像平面上产生同一个像点p。现在，上面这些讨论已经将方程式（2）搞复杂了。因为这已经不是我们所熟悉的、能解决的一个“好的线性方程”了。我们方程看起来更像下面的形式。不过，幸运的是，上面形式的方程，可以使用一些“代数魔法”来解决——直接线性变换（DLT）。当你发现一个问题的方程式“几乎是线性的，但又由于存在未知的尺度因子，造成该方程不完全线性”，那么你就可以使用DLT方法来求解。

       列文伯格-马夸尔特优化算法（Levenberg-Marquardt Optimization）由于下面的一些原因，前面阐述的DLT解决方案并不能非常精确地求解。第一：旋转向量R有3个自由度，但是DLT方案中使用的矩阵描述有9个数，DLT方案中没有任何措施“强迫估计后得到的3X3的矩阵变为一个旋转矩阵”。更重要的是：DLT方案没有“正确的目标函数”。的确，我们希望能最小化“重投影误差reprojection error”，正如下面将要讲的。

       对于方程式（2）和方程式（3），如果我们知道正确的位姿（矩阵R和向量t），通过将3D点投影到2D像平面中，我们能预测到3D面部点的2D点在图像中的位置locations。换而言之，如果我们知道R和t，对于每一个3D点P，我们都能在像平面上找到对于的点p。我们也知道了2D面部特征点通过Dlib或者手工点击给出。我们可以观察被投影的3D点和2D面部特征之间的距离。当位姿估计结果是准确的时候，被投影到像平面Image Plane中的3D点将与2D面部特征点几乎完美地对齐。但是，当位姿估计不准确时，我们可以计算“重投影误差reprojection error”——被投影的3D点和2D面部特征点之间的距离平方和。

       位姿（R和t）的近似估计可以使用DLT方案。改进DLT解决方案的一个简单方法是随机“轻微”改变姿态(R和t)，并检查重投影误差是否减小。如果的确减小了，我们就采用新的估计结果。我们可以不断地扰动R和t来找到更好的估计。尽管这种方法可以工作，但是很慢。可以证明，有一些基本性的方法可以通过迭代地改变R和t的值，从而降低重投影误差。——其中之一就是所谓的“列文伯格-马夸尔特优化算法”。在OpenCV中，有两种用于位姿估计的API：solvePnP和solvePnPRansac。solvePnP实现了几种姿态估计算法，可以使用参数进行选择不同的算法。默认情况下，它使用标志SOLVEPNP_ITERATIVE，其本质上是DLT解决方案，然后是列文伯格-马夸尔特算法进行优化。SOLVEPNP_P3P只使用3个点来计算姿势，并且应该只在使用solvePnPRansac时使用。在OpenCV3中，引入了SOLVEPNP_DLS和SOLVEPNP_UPNP两种新方法。关于SOLVEPNP_UPNP有趣的事情是，它在估计位姿时，也试图估计相机内部参数。solvePnPRansac中的“Ransac”是“随机抽样一致性算法Random Sample Consensus”的意思。引入Ransac是为了位姿估计的鲁棒性。当你怀疑一些数据点是噪声数据的时候，使用RANSAC是有用的。

       样例CMakeLists.txt文件：文件：源代码：OAK中国|追踪AI技术和产品新动态公众号|OAK视觉人工智能开发点「这里」添加微信好友（备注来意）戳「+关注」获取最新资讯↗↗

易航智能——专注量产的自动驾驶解决方案供应商

       北京易航远智科技有限公司自年成立以来，致力于自动驾驶系统的自主研发，成为中国首批自动驾驶创业公司之一。公司获得了包括经纬中国、源码资本、明势资本等知名创投机构的支持，以及北汽产投、广汽资本和理想汽车等主机厂的战略投资。

       易航智能自年起便涉足自动驾驶Tier1量产项目，至今已拥有万辆整车量产经验，积累了超过亿公里的驾驶数据。公司拥有感知、决策规划控制、软硬件开发、测试标定等全栈自研能力，并率先实现了NOA行泊一体、城市全场景FSD等高阶功能。

       易航智能团队在感知、决策、控制、故障诊断等核心算法方面拥有深厚的技术实力。公司主营自动驾驶解决方案（ADAS、NOA、FSD）、域控制器、摄像头模组、驾驶算法与软件等产品，并在北京、苏州设有研发中心和工厂，固安设有测试基地。主要客户包括理想汽车、北汽集团、江铃雷诺、上汽大通、一汽大众、威马汽车等主机厂。

       易航智能汇集了汽车行业精英和计算机视觉、深度学习领域专家，硕士及以上学历人员占比超过一半。团队成员主要来自国内外主机厂、Tier 1供应商、国内外顶尖科研机构和伯克利、剑桥、清华、北大、北航等知名院校。

       苏州平方米的一期生产工厂已建成并投入使用，拥有全球领先的智能化、自动化自动驾驶专用摄像头及域控制器生产线，产品已在多款车型中前装量产。

       公司还建立了全球领先的摄像头调试和测试实验室，产线可进行AA和内参标定，已量产1M、2M、8M前视、侧视、环视摄像头，FOV覆盖°-°。

       易航智能已通过IATF 、ISO、ISO 、ISO等国际认证。

opencv棋盘格实现相机标定(附源码)

       在理解相机标定的原理前，必须明确相机模型的四个坐标系：像素坐标系、图像坐标系、相机坐标系以及世界坐标系。像素坐标系的单位为像素，而图像坐标系则为归一化单位，具体单位（如mm或m）由深度值决定。畸变图像坐标通过相机标定得到的畸变参数校正，从而帮助理解内参矩阵与畸变系数的角色。图像坐标系与相机坐标系的转换需注意，这里的[Xc,Yc,Zc]代表物体在相机坐标系下的位置。相机坐标系与世界坐标系的转换则需理解相机位姿。

       使用OpenCV实现相机标定，首步是准备*7的棋盘格图像，可通过链接获取。确保从不同角度拍摄多张棋盘格图像，关键在于每张图像的角点应保持一致。不一致的图像应排除，确保图像走向一致。主要使用的OpenCV函数用于处理图像与坐标系的转换，具体函数使用可查阅相关文档。

       相机标定的结果通过重投影误差评估。核心代码简化了标定过程，有效提高效率。运行结果展示了棋盘格图像与标定后的结果对比，直观展示了标定效果。项目源码在链接中提供，适用于Ubuntu .系统。使用者只需打印棋盘格，将拍摄的存储于指定文件夹，即可完成标定。

Opencv中的两种去畸变函数

       在探讨 OpenCV 中的两种去畸变函数前，我们首先需要了解畸变校正和损失有效像素原理。在相机标定后，OpenCV 提供了两种主要方法来处理图像畸变：直接使用 cv::undistort() 函数得到去畸变图像，或通过 cv::getOptimalNewCameraMatrix() 获取新的矩阵，再利用 cv::initUndistortRectifyMap() 和 cv::remap() 函数映射原图至新图。

       在比较两种方法的差异之前，让我们先对 getOptimalNewCameraMatrix() 函数进行简要介绍。函数参数 alpha 对结果影响重大。当 alpha 为 0 时，生成的矩阵为内矩阵，即不包含任何黑色边框的图像大小，以此重新计算内参。如果 alpha 为 1，则生成的矩阵为外矩阵，等同于原图大小。当 alpha 在 0 到 1 之间时，将按照比例重新计算内参。内矩阵等同于不含任何黑色边框的图幅大小，而外矩阵等同于原图大小。

       深入探究 getOptimalNewCameraMatrix() 的实现过程，我们发现其 inner 和 outer 矩阵的生成与原始内参和畸变系数之间存在密切联系。通过在 icvGetRectangles() 函数中生成 9x9 个点，并对这些点进行去畸变转换，我们得到外围矩阵 oX0, oY0, oX1, oY1 及内围矩阵。这些矩阵的生成有助于理解原始图像的畸变情况。

       在实际应用中，如处理 Ladybug 相机时，可以自动获得去畸变图像，但通常包含黑色边框。为了去除这些边框，尝试将 alpha 设为 0 来得到去黑边图像。然而，当只提供相机内参而无畸变系数时，使用空畸变系数会导致内参不变。通过深入研究源码，我们发现，在畸变系数为空时，inner 与 outer 矩阵大小相同，导致 fx, fy, cx, cy 参数保持不变。因此，为了获得理想的去黑边图像，需要手动截取可视范围，并基于新左上角重新计算 cx, cy，从而得到新的去黑边图像和对应的新相机内参。

       综上所述，理解 OpenCV 中的两种去畸变方法有助于在实际项目中灵活选择合适的处理策略。通过分析内参、畸变系数和生成的矩阵，可以更有效地处理和优化图像，满足不同应用需求。

图像对齐根据cv2.findhomography()计算出的变换矩阵,能够

       在使用OpenCV进行图像处理时，有时需要计算图像间的变换矩阵，以实现图像对齐。其中，cv2.findHomography()函数是实现这一目标的重要工具。但请注意，这一计算得到的变换矩阵仅适用于平面物体，并且在使用前，需要先获取相机的内参信息（通常通过标定过程获得）。

       进一步操作中，若需要将计算出的变换矩阵中的旋转部分（R）和位移部分（t）分开，OpenCV提供了相应的接口。具体而言，可以利用cv2.decomposeEssentialMat()或cv2.decomposeHomographyMat()函数，来分别从Essential矩阵或Homography矩阵中提取旋转和位移信息。这些接口在处理三维场景时尤其有用。

       在实际应用中，如OpenVSLAM（一种用于视觉SLAM（同步定位与地图构建）的开源系统）的源码中，通常直接利用OpenCV提供的分解Homography或Essential矩阵的接口来进行初始化，以实现目标物体在不同相机视图间的对齐与定位。