模式识别理论及应用

模式识别理论及应用

武汉大学电子信息学院

模式识别理论及应用Pattern Recognition - Methods and Application第六章 模式特征的选择与提取

模式识别理论及应用

模式识别与神经网络

内容目录6.1 引言

第六章 模式特征的选择与提取

6.2 类别可分离性判据 6.3 特征提取与K-L变换 特征提取与K 6.4 特征的选择 6.5 讨论

模式识别理论及应用

6.1 引言特征的选择与提取是模式识别中重要而困难的一 个环节： 分析各种特征的有效性并选出最有代表性的特征是模 式识别的关键一步 降低特征维数在很多情况下是有效设计分类器的重要 课题

三大类特征：物理、结构和数学特征 物理和结构特征：易于为人的直觉感知，但有时难于 ：易于为人的直觉感知，但有时难于 定量描述，因而不易用于机器判别 数学特征：易于用机器定量描述和判别，如基于统计 ：易于用机器定量描述和判别，如基于统计 的特征

第六章 模式特征的选择与提取

模式识别理论及应用

特征的形成特征形成 (acquisition): (acquisition): 信号获取或测量→原始测量 信号获取或测量→ 原始特征

引言

实例： 数字图象中的各像素灰度值 人体的各种生理指标 原始特征分析： 原始测量不能反映对象本质 高维原始特征不利于分类器设计：计算量大， 冗余，样本分布十分稀疏第六章 模式特征的选择与提取4

模式识别理论及应用

特征的选择与提取

引言

两类提取有效信息、压缩特征空间的方法： 特征提取和特征选择 特征提取 (extraction):用映射(或变换)的 ：用映射(或变换)的 方法把原始特征变换为较少的新特征 特征选择(selection) :从原始特征中挑选出 一些最有代表性，分类性能最好的特征 特征的选择与提取与具体问题有很大关系， 目前没有理论能给出对任何问题都有效的特 征选择与提取方法第六章 模式特征的选择与提取5

模式识别理论及应用

特征的选择与提取举例细胞自动识别：

引言

原始测量：(正常与异常)细胞的数字图像 原始特征(特征的形成，找到一组代表细胞性 质的特征):细胞面积，胞核面积，形状系数， 光密度，核内纹理，和浆比 压缩特征：原始特征的维数仍很高，需压缩以 便于分类特征选择：挑选最有分类信息的特征 特征提取：数学变换 傅立叶变换或小波变换 用PCA方法作特征压缩 PCA方法作特征压缩

第六章 模式特征的选择与提取

模式识别理论及应用

6.2 类别可分离性判据类别可分离性判据：衡量不同特征及其组合对分类 ：衡量不同特征及其组合对分类 是否有效的定量准则 是否有效的 理想准则：某组特征使分类器错误概率最小 实际的类别可分离性判据应满足的条件： 度量特性： J ij > 0, if i ≠ j; J ij = 0, if i = j; J ij = J jid 与错误率有

单调关系 J ij ( x1 , x2 ,..., xd ) = ∑ J ij ( xk ) 当特征独立时有可加性： k =1 单调性： J ij ( x1 , x2 ,..., xd ) ≤ J ij ( x1 , x2 ,..., xd , xd +1 )

常见类别可分离性判据：基于距离、概率分布、熵 函数

第六章 模式特征的选择与提取

模式识别理论及应用

基于距离的可分性判据类间可分性:=所有样本间的平均距离： :=所有样本间的平均距离：c 1 c 1 J d (x ) = ∑ Pi ∑ Pj 2 i =1 j =1 ni n j

可分性 判据

δ (x (ki ) , x (l j ) ) ∑∑k =1 l =1

ni

nj

(8-1) squared Euclidian类间 距离

δ (x (ki ) , xl( j ) ) = (x (ki ) xl( j ) )T (x (ki ) xl( j ) )1 mi = nic

x (ki ) ∑k =1ni

ni

m = ∑ Pi mii =1

c

类内平 均距离

∑ δ ( x , m i ) + δ ( mi , m ) k =1 c c 1 ∑ Piδ (mi , m) = 2 ∑ Pi ∑ Pjδ (mi , m j ) i =1 i =1 j =1(i ) k

1 J d ( x ) = ∑ Pi i =1 ni c

(8-5) (8-6)8

第六章 模式特征的选择与提取

模式识别理论及应用

基于距离的可分性判据矩阵形式样本类间 离散度矩阵

可分性 判据

% Sb = ∑ Pi ( mi m)( mi m)Ti =1

c

% = P 1 Sw ∑ i ni i =1样本类内 离散度矩阵

c

∑ (xk =1

ni

(i ) k

mi )( x mi )(i ) k

T

% % J d (x ) = tr( S w + Sb )

类间可分离 性判据

基于距离的准则概念直观，计算方 便，但与错误率没有直接联系第六章 模式特征的选择与提取9

模式识别理论及应用

基于概率的可分性判据J p (x ) = ∫ g [ p(x | ω1 ), p( x | ω2 ), P , P2 ]dx 1

可分性 判据

基于概率的可分性判据：用概率密度函数间 的距离来度量p(x | ωi ) lij (x ) = ln p( x | ω j )

散度：

p( x | ωi ) J D ( x ) = I ij + I ji = ∫ p( x | ωi ) p(x | ω j ) ln p( x | ω ) dx x jI ij (x ) = E lij (x ) = ∫ p(x | ωi ) ln x

p(x | ωi ) dx p(x | ω j )10

第六章 模式特征的选择与提取

模式识别理论及应用

正态分布的散度ωi ~ N (µi , Σi )ω j ~ N (µ j , Σ j )

可分性 判据

Σi = Σ j = ΣJ D ( x ) = (µ i µ j ) Σ (µ i µ j )T 1

Mahalanobis

第六章 模式特征的选择与提取

模式识别理论及应用

基于熵函数的可分性判据熵函数： Shannon熵： Shannon熵： 平方熵： 平方熵：H = J c [ P (ω1 | x ),..., P(ωc | x )]1 J c = ∑ P (ωi | x ) log 2 P(ωi | x )c 2 2 J c = 2 1 ∑ P (ωi | x ) = ii=1

可分性 判据

c

i =1

熵函数期望表征类别的分离程度：J ( ) = E

{J [ P ( ωc

1

| x ) , .. ., P ( ω c | x ) ]}

第六章 模式特征的选择与提取

模式识别理论及应用

类别可分离性判据应用举例

可分性 判据

图像分割：Otsu灰度图像阈值算法 图像分割：Otsu灰度图像阈值算法 (Otsu thresholding) thresholding) 图像有L阶灰度，n 是灰度为i 图像有L阶灰度，ni是灰度为i的像素数，图 像总像素数 N= n1+n2+ … + nL 灰度为i的像素概率：pi = ni/N 灰度为i的像素概率：p 类间方差： B ( k ) = ω 1 ( µ 1 µ ) 2 + ω 2 ( µ 2

µ ) 2 σ 2µ1 = ω1 =

∑k

k

i =1 i

ip i , µ 2 = pi, ω 2 =

i = k +1 i

∑L

L

ip i , µ =

∑

L

i =1

ip i

∑

i =1

i = k +1

∑

pi = 1 ω113

第六章 模式特征的选择与提取

模式识别理论及应用

Otsu thresholding灰度图像阈值: 灰度图像阈值:t = a rgm a x σk =1 L 2 B

可分性 判据

(k )

Otsu灰度图像二值化算法演示及程序分析: Otsu灰度图像二值化算法演示及程序分析:

第六章 模式特征的选择与提取

模式识别理论及应用

6.3 特征提取与K-L变换 特征提取与K特征提取： 特征提取：用映射(或变换)的方 …… 此处隐藏：2399字，全部文档内容请下载后查看。喜欢就下载吧 ……