基于超像素的多视觉特征图像分割算法研究

0.引言

背景：

经典聚类算法：Kmeans、FCM
现有问题：
1）现有算法大都是基于单一的视觉特征而设计的，eg：基于颜色特征的分割。
2）没有考虑像素周围的空间信息；分割结果：多噪声，缺乏区域性
3）像素点的数量比较大，算法时间复杂度大；
4）传统的聚类优化算法一般都是使用梯度信息来求解，该优化算法对初始值比较敏感，容易陷入局部最优

梯度信息：在指定方向每单位距离的数值变化

解决思路

1）融合颜色特征和纹理特征——基于多特征的图像分割算法
（导致对多种特征赋予相同的权重）
2）分割空间信息：1.改进目标函数，将空间信息加入到聚类目标函数中。2.首先使用预分割算法获得过分割图像，而后使用聚类算法对过分割图像块进行合并（仅是基于颜色特征，效果不好）
3）进化算法——全局优化算法：多目标空间模糊聚类算法(MSFCA)——法在适应度函数中加入了从图像中提取的非局部空间信息（仅基于颜色特征，利用像素点进行计算，时间复杂度高）

多目标进化颜色和纹理分割算法(MECTS)

优化目标：颜色+纹理
缺点：基于像素点——无法有效去除噪声+时间复杂度高
改进：基于超像素的多视觉特征图像分割算法(SRMFS)

基于超像素的多视觉特征图像分割算法(SRMFS)

1.流程：

1.首先使用 Meanshift 算法将图像划分为多个超像素区域。
2.而后提取每个超像素区域的颜色和纹理特征。分别在颜色空间和纹理空
间中设计两个聚类目标准则，并使用多目标优化算法对其进行并行优化。
3.最终在获得的 Pareto 解集中挑选出最佳分割结果。
该算法分为五部分：
(1)对原始图像进行预分割，获得一组超像素区域；
(2)分别提取超像素区域的颜色特征和纹理特征；
(3)使用多目标进化算法对超像素区域进行聚类，获得一组 Pareto 解集，每一个解代表一种分割结果；
(4)解码每个 Pareto 解，获得整个图像的分割结果；
(5)挑选出最佳分割结果。

2.算法核心

2.1超像素区域

首先对原始图像进行预分割，获得一组超像素区域。
Q1：为什么选择Meanshift算法？（其他算法：分预分割
流程既可以保证图片在局域内的连通性，又能通过减
少像素规模而降低算法的时间复杂度水岭算法、SLIC）
预分割作用：1）保证图片在局域内的连通性，2）通过减少像素规模而降低算法的时间复杂度
注意：Meanshift分割区域太多——结果图像噪声点较多，时间复杂度增大；太少——导致本文分割算法过多地依赖于Meanshift算法的预分割

2.2特征提取

Q2:为什么选取颜色和纹理作为特征提取

A2: 颜色特征和纹理特征已成为图像处理中两个比较重要的特征，并且这两个特征在描述图像信息时具有极大的不相关性，颜色特征可以直观的描述图像的视觉特征，纹理特征可以描述图像局域内的空间特征

2.2.1颜色提取

从 RGB 颜色空间中提取每个像素的颜色特征

2.2.2纹理特征提取

常见提取方法：可分统计方法、几何法、模型法、信号处理法和结构方法
本文选用： Gabor 小波方法
此方法通过对滤波后的图像进行非线性操作和能量计算来得到特征图像，并用建立的特征矢量做分类。可以对每个像素提取 5 维纹理特征。

2.3 多目标进化算法（RM-MEDA）

2.3.1 染色体编码

首先需要将解编码成染色体形式；
目标：将预分割获得的超像素区域聚类成具有特定意义区域的形式。
编码形式：基于 实数-标签

2.3.2 目标函数

J_mse 指标
首先对染色体解码，并计算每个类的类中心；接下来再分别计算颜色空间中的隶属度矩阵和和纹理空间的隶属度矩阵。

2.3.3 进化算子

本文算法使用的是 RM-MEDA 算法作为进化多目标优化器。该算法使用建模和采样来产生新的种群。
通过建模和采样，可获得子代种群，然后使用非支配排序和拥挤距离选择popsize（种群规模）个染色体作为第g+1代种群pop(g+1)；

2.4 输出最佳分割图像

从 Pareto 集中挑选出最优解，根据所得标签值进行聚类，对于所有标签为 j 的区域合并成若干个完整的区域，输出最终分割后的图像，由于最终获得的分割图像数量比较少，手工挑选出最好的分割图像。

3.实验结果

实验对象：

1）颜色相近但纹理特征不同；
2）纹理特征相近，但颜色不同 ；
3）目标物体内部与边缘颜色不同，但具有相同的纹理。

对比算法：

1）基于颜色的FCM
2）基于纹理的FCM
3）结合颜色和纹理的FCM
4）增加空间信息的AFCM_S1
5）Meanshift算法
6）基于像素点的多目标颜色纹理融合算法MECTS

量化分析

1）分割精度 Segmentation Accuracy
2）兰德指数 Rand Index
ps:取值范围[0,1] 正相关

优点

1）有效地对颜色和纹理特征进行结合
2）分割对象是区域而不是像素点，可以极大地降低算法的时间复杂度

展望

1）如何融合三种以上特征
2）如何自动的选择最佳分割结果