图像配准相关概念:创新实践期末总结测验整理

创新实践课程的期末总结测验,图像配准相关概念整理_(:з」∠)_

什么是图像配准(lmage Registration)?图像配准的主要应用有哪些?

  1. 图像配准是找到两张(或多张)图像中所有点之间的对应关系的过程。其中,两张(或多张)图像通常是指同一对象在不同时间、不同成像设备、不同条件(光照、拍摄角度和位置等)下获取的图像。
  2. 图像配准的主要应用
    1. 医学图像处理(病患&标准图配准,观察病变的位置)。
    2. 遥感图像处理(不同时间/角度/拍摄器材获取的图像配准。地图、数据分析)。
    3. 对象跟踪(同一对象在不同时间/动作/状态的图像的配准)。
    4. 运动分析、变化检测、三维场景重建、图像融合(全景照片)。

图像配准的核心步骤是什么?

  1. 特征点的提取。
  2. 通过特征描述算子&相似性度量找到匹配的特征点对。
  3. 筛选特征点对,保留准确度高且数量足够的点对。
  4. 根据特征点对得到图像空间坐标变换模型(使图像相似度最高)。
  5. 将待配准的图像做对应的参数变换,使其与参考图像配准。

简要介绍几类图像配准的方法,说明其适合的应用领域。

  1. 基于灰度的配准方法:MAD(平均绝对差)、SAD(绝对误差和)、SSD(互相关)等。
    • 特点:基于图像整体。对光照、旋转、遮挡比较敏感。计算复杂度高。
    • 应用:医学图像处理。
  2. 基于特征的配准方法:Harris、SIFT、SURF、FAST、Canny等。
    • 特点:基于图像局部。抗噪性较好,对灰度变化、遮挡有较好的适应能力。计算量较少。要求高精度图像以找到足够的特征点。
    • 应用:遥感图像处理等,应用广泛。
  3. 机遇与变幻的配准方法:小波变换等。(沃尔什变换、傅里叶-梅林相位相关变换)
    • 特点:(金字塔)不需要人工干预,自顶向下搜索减小了搜索空间,速度提高。避免因控制的特征点不足造成较大的配准误差。
    • 应用:大批量的遥感图像处理。
  4. 其他
    • 基于最小惯性轴的配准:抗噪性差、鲁棒性低。适用于精准的图像配准。
    • 基于松弛的配准:迭代计算复杂度高,选取的是图像局部。
    • 基于灰度边界的配准:对光照变化的适应性好,鲁棒性高。
    • 基于VGG16模型的配准配准结果很玄学,基于图像全局,适用角度变化不大的图像配准。

传统的图像配准方法和基于深度学习的图像配准方法,各自的优缺点?

  1. 传统的图像配准方法
    • 优点
      1. 计算速度较快(相较于跑个模型而言)。
      2. 明确知道每一步能达到什么样的效果,是基于什么原理。
      3. 只需两张图片即可完成配对。
    • 缺点
      1. 有些特征不是可以描述出来的,但也许机器能学到。
      2. 基于图像的局部,可能提取不到足够多且精准的点。
  2. 基于深度学习的配准方法
    • 优点
      1. 基于图像全局,能提取到的特征点分布广。
      2. 能学到一些只有机器知道的特征(算法描述不出来或很难归类的)。
    • 缺点
      1. 训练模型的时间消耗较长,计算量较大。
      2. 若要自己训练模型,还需要准备大量的图像来喂数据。
      3. 黑盒计算,结果玄学。中间过程针对性不强无法明确得知每一步做了什么。