图像表示和描述 wu-kan

图像表示与描述有两种方法:形状(外部描述)、颜色与纹理(内部描述)。

表示方法

链码

  • 链码用于表示由顺次连接的具有指定长度和方向的直线段组成的边界线。
  • 以 x 轴正向为起始 0,逆时针方向依次编号(类似象限)。
  • 链码种类:四向链码和八向链码。
  • 常见的问题:
    • 得到的链码太长
    • 噪声或边界缺陷的影响
    • 解决方案:选择更大间隔的网格对边界进行重新采样。
  • 边界链码依赖于起始点;用差分码可以将链码旋转归一化

多边形近似表达方法

  • 基于收缩的最小周长多边形法:将原边界看作有弹性的线,在像素的约束下将线拉紧
  • 基于聚合的最小均方误差线段逼近法:每个顶点到边的垂线距离小于$\delta$
  • 基于分裂的最小均方误差线段逼近法
  • 基于收缩的最小周长多边形法(MPP 算法):围成一条数字边界的单元集合称为单元组合体。令 W、B 分别表示凸顶点和镜像凹顶点的集合。
    • 由简单连接的单元组合体为边界的 MPP 是非自相交的。
    • MPP 的每个凸顶点都是一个 W 顶点,但并非边界的每个 W 顶点都是 MPP 的一个顶点。
    • MPP 的每个镜像凹顶点都是一个 B 顶点,但并非边界的每个 B 顶点都是 MPP 的一个顶点。
    • 所有 B 顶点,要么在 MPP 上,要么在 MPP 外;所有 W 顶点,要么在 MPP 上,要么在 MPP 内
    • 单元组合体包含的顶点序列的最左上角的顶点,总是 MPP 的一个 W 顶点。

标记图方法

标记图是一种一维函数的边界表达方法

  • 不受目标平移影响,但受目标尺度变换和旋转的影响
  • 尺度变换影响可以通过将最大幅值归一化来解决
  • 旋转的影响解决方法
    • 选择离重心最远的点为标记起点
    • 求出边界的主轴,以主轴上离重心最远的点作为标记起点

边界线段

将边界分段可以减小边界的复杂度。

骨架

表达平面区域结构形状的一种方法;此方法可以用细化算法实现。

边界描绘子

简单描述符

  • 边界的长度
  • 边界的直径:边界上相隔最远两点的距离。($D$可以是任意距离度量)
  • 曲率:斜率的变化率。通常采用相邻边界线段的斜率差。当沿顺时针方向沿着边界运动,当顶点 p 斜率变化量为非负的时候,称这一点属于凹线段;否则,称 p 属于凸线段。

形状数

  • 形状数是基于链码的一种边界形状描述符。
  • 一个边界形状描述是其链码的差分码中值最小的一个序列。
  • 形状数长度称为阶数。

傅里叶描绘子

将二维问题转化为一维问题,将边界点的坐标对表示成一个复数。

$s(k)=x(k)+jy(k),k=0,1,\dots,k-1$

对$s(k)$的傅氏变换为

$a(u)=\frac{1}{K}\sum_{k=0}^{K-1}s(k)e^{-j2\pi uk/K},u=0,1,\dots,K-1$

复系数$a(u)$称为边界的描绘子。

傅氏反变换确定边界的重建:

$s(k)=\sum_{u=0}^{K-1}a(u)e^{j2\pi uk/K},k=0,1,\dots,K-1$

通过有限重建构造近似边界:

$\hat{s}(k)=\sum_{u=0}^{p-1}a(u)e^{j2\pi uk/K},k=0,1,\dots,K-1,K>P$

统计矩

统计矩(statistical moment)用于刻画边界线段的特征波形。

  • 将上述曲线看作一维函数$g(r)$
  • 将$g$的振幅看作离散随机变量$v$,并形成直方图$p(v_i)$,其中$i=0,1,\dots,A-1$
  • 定义$n$阶中心矩 $\mu_n(v)=\sum_{i=0}^{A-1}(v_i-m)^np(v_i)$ 其中$m=\sum_{i=0}^{A-1}v_ip(v_i)$,$m$是$v$的均值

另一种统计矩:

  • 将$g(r)$归一化为单位面积的函数,并作成直方图,即将$g(r_i)$作为产生值$r_i$的概率
  • 定义$n$阶中心矩为 $\mu_n(r)=\sum_{i=0}^{K-1}(r_i-m)^ng(r_i)$ 其中$m=\sum_{i=0}^{K-1}r_ig(r_i)$,$m$是$r$的均值

区域描绘子

简单描述符

  • 区域的面积:图象中对象区域的面积可以看作区域像素的总和。通常关心一些不变量,如区域致密性为周长平方与面积之比。
  • 区域灰度或密度:常用的区域灰度特征有目标灰度(或颜色分量)的最大值、最小值、中值、平均值、方差以及高阶矩等统计量。
  • 区域重心:$(\overline{x},\overline{y})=(\sum_{(x,y)\in R}xf(x,y)/A,\sum_{(x,y)\in R}yf(x,y)/A)$,其中$R$代表一个区域,$A$代表区域面积。

拓扑描述符

$E=C-H=V−Q+F$,其中$E$为欧拉数,$C$为区域内连通组元数,$H$为区域内孔数;将区域的网络进行目标区域的分类,可以分为顶点数 V,边数 Q,面数 F。

纹理

  • 纹理就是由纹理基元按某种确定的规律或某种统计规律排列而成
  • 纹理分为确定性纹理和随机性纹理
  • 区域的纹理主要度量:
    • 平滑度
    • 粗糙度
    • 规律性
  • 描述纹理的方法主要有

    • 统计方法
    • 结构方法
    • 频谱方法。
  • 区域灰度直方图的统计矩($n$阶中心矩) $\mu_n(z)=\sum_{i=0}^{L-1}(z_i-m)^np(z_i)$ 其中$p(z_i)$为归一化直方图
  • 光滑度描述子 $R=1-\frac{1}{1+\sigma^2(z)}$ 若$R=0$则表示平滑(区域平坦),$R=1$代表不平滑。
  • 一致性 $U=\sum_{i=0}^{L-1}p^2(z_i)$
  • 熵 $p=-\sum_{i=0}^{L-1}p(z_i)\log_2p(z_i)$
  • 共生矩阵 设$S$为目标区域$R$中具有特定空间联系的像素对的集合,则共生矩阵$G$可定义为 $G(g_1,g_2)=#\lbrace [(x_1,y_1),(x_2,y_2)]\in S\mid f(x_1,y_1)=g_1 \& f(x_2,y_2)=g_2\rbrace $
    • $m_{x}=\sum_{i}^{K} i \sum_{j}^{K} p_{ij}, \quad m_{y}=\sum_{j}^{K} j \sum_{i}^{K} p_{ij}$
    • $\sigma_{x}^{2}=\sum_{i}^{K}\left(i-m_{x}\right)^{2} \sum_{j}^{K} p_{ij}, \quad \sigma_{y}^{2}=\sum_{j}^{K}\left(j-m_{y}\right)^{2} \sum_{i}^{K} p_{ij}$
    • $P(i)=\sum_{i}^{K} p_{ij}, \quad P(j)=\sum_{i}^{K} p_{ij}$
    • $m_{x}=\sum_{i}^{K} iP(i), \quad m_{y}=\sum_{i}^{R} jP(j)$
    • $\sigma_{x}^{2}=\sum_{i}^{K}\left(i-m_{x}\right)^{2} P(i), \quad \sigma_{y}^{2}=\sum_{j}^{R}\left(j-m_{y}\right)^{2} P(j)$
  • 最大概率$\max_{i,j}(p_{ij})$
  • 对比度(元素差异的$k$阶矩) $\sum_i^K\sum_j^K(i-j)^kp_{ij}$
  • 同质性 $G$对角分布的紧密性$\sum_i^K\sum_j^K \frac{p_{ij}}{1+|i-j|}$
  • 一致性 $\sum_i^K\sum_j^K p_{ij}^2$
  • 熵 $-\sum_i^K\sum_j^K p_{ij}\log_2 p_{ij}$
  • 相关性 $\sum_i^K\sum_j^K\frac{(i-m_x)(j-m_y)p_{ij}}{\sigma_x\sigma_y}$
  • 二阶函数的矩: 对于二维连续函数$f(x,y)$,$(p+q)$-阶矩定义为 $m_{pq}=\int_{-\infty}^{+\infty}{\int_{-\infty}^{+\infty}{x^py^qf(x,y)}{x}}{y}$

主分量描绘

运用主分量分析对区域进行描述,计算区域的本征轴,分长轴和短轴。

基于特征向量的变换:通过对一类图像特征分析得出变换核函数。

特征分析

如果矩阵 A 是对称的,则所有的特征向量构成一个正交基集。

主分量分析(PCA)或 K-L 变换

主分量分析(PCA),Hotelling 变换,特征向量变换,K-L 变换。

霍特林(Hotelling)提出一个可以去掉一个随机向量元素间相关性的线性变换(PCA)。

卡胡南(Karhunen)和列夫(Loeve)对连续函数提出类似变换,并派生出离散图像变换的方法,称为 K-L 变换。

降维

使用两个最大特征值对应的特征向量重建的图像:

  • 丢失细节
  • 可以用于压缩传输

L 个 N 维空间的向量,构成 N 维空间的 L 个点。如果大多数点落在一个 M 维超平面上,只要能找到 M 维空间的坐标系,则可以将 L 个向量投影到 M 维空间,获得低维的表达。

K-L 变换是压缩与特征提取的有效方法。

应用:压缩