2024.9 学习笔记
目录
9.10
1.大地坐标系
2.地球坐标系
3.局部坐标系
4.世界坐标系
5.IMU
6.GPS
9.11
1.SGM算法
步骤
优点与缺点
应用
2.ISP
核心任务
9.12
1.双立方插值
9.10
1.大地坐标系
大地坐标系（Geodetic Coordinate System）:
- 定义: 基于地球表面，通常使用经度、纬度和高度来描述位置。也可以称为东北天（XYZ轴）
- 用途: 常用于地图制作、地理信息系统（GIS）和导航。（局部）
- 使用椭球模型，包括WGS84（用于GPS）和GRS80等。
- 有时需要将大地坐标系与其他坐标系统进行转换：
-
地心坐标系（ECEF）: 将大地坐标系转换为地心地固坐标系进行三维位置描述。
-
平面坐标系: 在局部区域内，将大地坐标系转换为平面坐标系统（例如UTM投影）以便于地图和工程应用。
-
-
原点可以为任意一点
2.地球坐标系
地球坐标系（Earth-Centered, Earth-Fixed Coordinate System, ECEF）:
- 定义: 一个三维直角坐标系，以地球的中心为原点，X轴指向格林威治子午线的交点，Y轴与X轴垂直，指向地球赤道的交点，Z轴指向地球的旋转轴。
- 用途: 常用于全球定位系统（GPS）和地球物理研究中。
- 椭球体模型: 由于地球的形状近似于一个旋转椭球体，常用的椭球体模型包括WGS84（用于GPS）和GRS80。
- 主要参数: 椭球体的长半轴（赤道半径）和短半轴（极半径）。
-
从地心地固坐标系到大地坐标系:
- 转换: 需要使用数学公式将直角坐标（X, Y, Z）转换为经度、纬度和高度。
-
从大地坐标系到平面坐标系:
- 投影: 如UTM（通用横轴墨卡托投影），用于将地球的三维表面映射到二维平面上，适合局部区域的地图制作。
3.局部坐标系
局部坐标系（Local Coordinate System）:
- 定义: 相对于某一特定区域或物体的坐标系，其原点和坐标轴方向通常由该区域的需求决定。
- 用途: 常用于建筑、工程设计、机器人定位等场景中，以简化局部空间内的计算和操作。
4.世界坐标系
世界坐标系（World Coordinate System）:
- 定义: 一个统一的三维坐标系，用于描述一个更大范围内的对象和场景。其原点和坐标轴方向通常是固定的，为整个应用或系统提供参考。
- 用途: 常用于计算机图形学、虚拟现实和游戏开发中，确保不同对象和场景之间的相对位置准确。
5.IMU
惯性测量单元（IMU）
IMU由陀螺仪和加速度计组成，它们分别测量车辆在机体坐标系中的角速度和加速度。角速率 𝜔~ω~ 和线性加速度 𝑎~a~ 的测量值由下式给出，其中 𝜔ω 和 𝑣˙v˙ 是车辆在机体坐标系 {B} 中的真实角速度和线性速度的时间导数，𝜂𝑔ηg 和 𝜂𝑎ηa 是高斯白噪声过程，𝑏𝑔bg 和 𝑏𝑎ba 是慢变的随机游走扩散过程。
6.GPS
9.11
1.SGM算法
SGM（Stereo Global Matching），是一种用于立体视觉的匹配方法，用于计算两个图像之间的深度信息。在立体视觉中，通常有两个相机从不同角度拍摄同一场景，生成两个图像。SGM算法旨在从这些图像中估计每个像素的深度，通过找到两幅图像之间的对应关系来实现。这是一个典型的立体匹配问题，其中的关键任务是为每个像素找到其在另一幅图像中的最佳匹配点，从而构建一个深度图。
原理：通过全局优化来解决立体匹配问题。它将匹配问题建模为一个优化问题，其中需要在代价函数中找到最佳的视差图（即每个像素的深度信息）。
步骤
代价计算：
- 代价函数：首先，算法需要计算每对像素之间的匹配代价。代价函数通常考虑像素间的颜色或亮度差异。例如，使用绝对差异（AD）或平方差异（SSD）来度量两个像素之间的相似性。
- 代价聚合：为了提高匹配的鲁棒性，SGM使用代价聚合策略，通过在局部区域内聚合代价来减少噪声和误差。这可以通过卷积、加权平均或其他聚合技术来实现。
全局优化：
- SGM算法通过全局优化来确保视差图的平滑性。它引入了一种平滑约束，以确保相邻像素的视差变化不会过大。常用的平滑约束包括Ternary/Quadratic Smoothness Constraint等。
- 图割（Graph Cuts）：一种常见的全局优化方法是图割算法，它将立体匹配问题转化为图论问题，并通过图割算法来最小化全局代价函数。
视差计算：
- 在全局优化过程中，SGM算法会计算每个像素的最佳视差值，从而生成最终的视差图。视差图是深度图的直接表现，显示了每个像素的深度信息。
优点与缺点
优点：
- 高精度：SGM算法通过全局优化来提高匹配精度，能够生成高质量的深度图。
- 鲁棒性：全局优化和代价聚合技术可以有效减少噪声和错误匹配。
缺点：
- 计算复杂度：SGM算法计算量大，尤其是在处理高分辨率图像时，计算和内存开销较大。
- 参数选择：算法的性能很大程度上依赖于参数的选择和调整。
应用
SGM算法广泛应用于各种计算机视觉任务，包括：
- 3D重建：生成场景的三维模型。
- 机器人导航：为自主机器人提供环境的深度信息。
- 增强现实：实现虚拟物体与现实世界的融合。
2.ISP
图像信号处理器（Image Signal Processor，简称ISP），是一种专门用于处理图像数据的硬件组件。它主要用于数字相机、智能手机、摄像头和其他图像捕捉设备中，负责从传感器获取图像数据后对其进行处理和优化。
核心任务
- 图像处理: 包括去噪、锐化、色彩校正、白平衡调整等，以提高图像质量。
- 图像增强: 对图像进行增强处理，如亮度调整、对比度增强等，使图像更加清晰和生动。
- 图像编码: 将处理后的图像数据编码为存储格式，如JPEG或HEIF，方便存储和传输。
- 降噪: 去除图像中的噪声，以提高图像的清晰度。
- 自动对焦和曝光控制: 协助相机系统实现自动对焦和曝光调整，确保图像的清晰度和亮度。
ISP通常与图像传感器紧密集成，形成一个完整的图像采集和处理系统。它的性能直接影响到图像质量和设备的整体表现。在现代设备中，ISP也可能包含用于处理视频数据的功能，例如实时视频增强和编码。
9.12
1.双立方插值
一种图像放缩方式，可以最大程度保留图片细节。图像放缩之双立方插值_双立方差值-CSDN博客
for file_path in glob.glob(os.path.join(input_left_rgb, 'rgb*.png')):image = cv2.imread(file_path)resized_image = cv2.resize(image, new_size2, interpolation=cv2.INTER_CUBIC)output_path = os.path.join(output_left_rgb_depth, os.path.basename(file_path))cv2.imwrite(output_path, resized_image)print(f"Processed RGB image: {os.path.basename(file_path)}")