kl800.com省心范文网

机器学习与模式识别-第4章_线性判别_图文

第四章 线性判别函数

1

? ?

4.1 引言 4.2 Fisher线性判别

? 4.3 感知准则函数 ? 4.4 最小平方误差准则函数 ? 4.5 多类问题 ? 4.6 讨论

2

引言
分类器 功能结构
基于样本的Bayes分类 器:通过估计类条件 概率密度函数,设计 相应的判别函数
样本分布的 统计特征:
概率密度函数 x1

g1 g2
. . .

x2
. . .

MAX

a(x)

xn

gc

训练样本集

– 最一般情况下适用的“最 优”分类器:错误率最小, 对分类器设计在理论上有 指导意义。 决策规则: – 获取统计分布及其参数很 判别函数 困难,实际问题中并不一 定具备获取准确统计分布 决策面方程 的条件。
3

直接确定判别函数
? 基于样本的直接确定判别函数方法:
– 针对各种不同的情况,使用不同的准则函数, 设计出满足这些不同准则要求的分类器。 – 这些准则的“最优”并不一定与错误率最小相 一致:次优分类器。 – 实例:正态分布最小错误率贝叶斯分类器在特 殊情况下,是线性判别函数g(x)=wTx(决策面 是超平面),能否基于样本直接确定w?
选择最佳准则

训练样本集

决策规则: 判别函数 决策面方程
4

判别函数
? 假设对一模式X已抽取n个特征, 表示为:
X ? ( x1 , x2 , x3 ,..., xn )T X是n维空间的一个向量

x2

?2

?1
x1
边界

? 模式识别问题就是根据模式X的 n个特征来判别模式属于

ω1 ,ω2 , … , ωm类中的
那一类。 例如右上图:三类的分类问题,它 们的边界线就是一个判别函数

?3

5

? 用判别函数进行模式分类,取决两个因素:
? 判别函数的几何性质:线性与非线性 ? 判别函数的参数确定:判别函数形式+参数

? 判别函数包含两类:
? 一类是线性判别函数:

?线性判别函数:线性判别函数是统计模式识 别的基本方法之一,简单且容易实现

?广义线性判别函数
所谓广义线性判别函数就是把非线性判别函 数映射到另外一个空间(高维)变成线性判 别函数 ?分段线性判别函数
? 另一类是非线性判别函数
6

线性判别函数
? d维空间中的线性判别函 数的一般形式:

g (x) ? w x ? w0
T
T

? x是样本向量:样本在d维特征空间中的描述, w是权向量, w0是一个常数(阈值权)。

x ? ? x1, x2 ,... xd ?

w ? ? w1, w2 ,...wd ?

T

? 两类问题的分类决策规则:

?g(x)>0, 则决策x ? ?1 ? 如果 ?g(x)<0, 则决策x ? ?2 ?g(x)=0, 可将其任意分类或拒绝 ?
7

?线性可分 –模式分类如可用任一个线性函数来划分, 则这些模式就称为线性可分的,否则就是 非线性可分的。

–一旦线性函数的系数wk被确定,这些函 数就可用作模式分类的基础。

8

线性判别函数
这是二维情况下判别由判别边界分类。 情况如图:

x2

? ?

?1
g ( x) ? w1x1 ? w2 x2 ? w3

?2

x1

9

线性判别函数 的基本概念

10

广义线性判别函数

11

广义线性判别函数
? 线性判别函数是形式最为简单的判别函数,但是 它不能用于复杂情况。
– 例:设计一个一维分类器,使其功能为:
? x ? b 或 x ? a 则决策x ? ?1 如果 ? 则决策x ? ?2 ? b?x?a

判别函数:g ( x) ? ( x ? a)( x ? b)

? 二次函数的一般形式: 映射X→Y ? g(x)又可表示成:

g ( x ) ? c0 ? c1 x ? c2 x 2 ? y1 ? ? 1 ? ? a1 ? ? c0 ? y ? ? y2 ? ? ? x ? ,a ? ? a2 ? ? ? c1 ? ? ? ? ? ? ? ? ? 2 ? ? ? y3 ? ? ? ?x ? ? ? a3 ? ? ? ? c2 ? ? g ( x ) ? a y ? ? ai yi
T i ?1 3

12

广义线性判别函数
? 按照上述原理,任何非线性函数g(x)用级数展开成高次多 项式后,都可转化成线性判别函数来处理。 ? 一种特殊映射方法:增广样本向量y与增广权向量a
?x ? T y ? ? ? ? ? x1 ,..., xd ,1? ?1? ?w? T a ? ? ? ? ? w1 ,..., wd , w0 ? ?1?

? 线性判别函数的齐次简化:

g (x) ? w x ? w0 ? a y
T T

? 增广样本向量使特征空间增加了一维,但保持了样本间的 欧氏距离不变,对于分类效果也与原决策面相同,只是在 Y空间中决策面是通过坐标原点的。

13

设计线性分类器的主要步骤:
1) 有一组具有类别标志的样本集 2) 根据实际情况确定一个准则函数J,满足: J是样本集和w,wo,a的函数 J的值能反映分类器的性能,它的极值解对应 于“最好”的决策.

3) 利用最优化方法求出准则函数的极值解和

w,wo,a,进而得到g(x)

14

4.2 Fisher线性判别

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

至此,我们还没有解决分类问题, 只是将d维映射到1维,将d维 分类问题转划为1维分类问题, 如何分类? 确定阈值

30

31

4.3 感知准则函数
感知准则函数是五十年代由Rosenblatt提 出的一种自学习判别函数生成方法,由于 Rosenblatt企图将其用于脑模型感知器, 因此被称为感知准则函数。其特点是随意 确定的判别函数初始值,在对样本分类训 练过程中逐步修正直至最终确定。
?

32

感知器的原理结构为:

“感知器”是借于上世纪五六十年代人们对一种分类 学习机模型的称呼,源于对生物智能的仿生学领域。
33

基本概念
? 感知器:Perceptron,Rosenblatt,50d/20thc ? 线性可分性:训练样本集中的两类样本在特征空间 可以用一个线性分界面正确无误地分开。在线性可 分条件下,对合适的(广义)权向量a应有:

如果 y ? ?1 , 则aT y ? 0 如果 y ? ?2 , 则aT y ? 0
? 规范化样本向量 :将第二类样本取其反向向量
? y 如果 y ? ?1 y?= ? ? ? y 如果 y ? ?2

a y? i ? 0 i ? 1,..., N
T
34

解向量与解区

35

基本思路:通过对W的调整,可实现判别函数: g(x) =WTX > RT 其中RT为响应阈值 定义感知准则函数准则:只考虑错分样本 定义: J (W ) ? ? ?? W T X ? ,其中X0为错分样本
X ?X 0

当分类发生错误时就有WTX <0,或-WTX >0, 所以J(W) 总是正值,错误分类愈少, J(W)就愈 小。理想情况为 J (W ) ? 0 ,即求最小值的问题。
36

求最小值,对W求梯度 ?J ?

?J (W ) ? ? ?? X ? ?W X ?X 0

代入迭代公式中Wk+1 = Wk-ρk▽J

X ?X 0 由J(W)经第K+1次迭代时,J(W)趋于0,收敛于所求的W值。

即感知器迭代公式:Wk ? 1 ? Wk ? ?k

?X

37

梯度下降算法
? 梯度下降算法:对(迭代)向量沿某函数的负 梯度方向修正,可较快到达该函数极小值。

? J p ( a) ?J p (a) ? ? ? (?y) ?a y?Y
k

任意给定一向量 初始值a(1) a(k+1)= a(k)+ rk×Sum (被错分类的所有样本)

a( k ? 1) ? a( k ) ? rk ?J p (a) ? a( k ) ? rk

y?Y k

?y

? 算法(step by step):
1. 初值: 任意给定一向量初始值a(1) 2. 迭代: 第k+1次迭代时的权向量a(k+1) 等于第k次的权向量a(k)加上被错分类的 所有样本之和与rk的乘积 3. 终止: 对所有样本正确分类
所有样本 正确分类
Y
N

得到合理的a 完成 分类器设计
38

梯度下降算法
W的训练过程:例如: x1, x2, x3∈ω1 作 x1, x3的垂直线可得解区(如图) 。假
设起始权向量w1=0 ,步长ρ k = 1: 1. x1, x2, x3三个矢量相加得矢量2,垂直于矢量2的超平面H将x3错分; 2. x3与矢量2相加得矢量3,垂直于矢量3的超平面H1,将x1错分; 3. 依上法得矢量4,垂直于矢量4做超平面, H2将x3错分; 4. x3与矢量4相加得矢量5,矢量5在解区内,垂直于矢量5的超平面可以把 x1, x2, x3分成一类 。

x3
W区间

3

5
4

2 x2 H
H
H2

1

x1

39

梯度下降算法
? 感知器算法:
1.错误分类修正wk 如wkTx≤0并且x∈ω1 wk+1= wk+ρkx 如wkTx≥0并且x∈ω2 wk+1= wk-ρkx 2.正确分类 ,wk不修正 如wkTx>0并且x∈ω1 如wkTx<0并且x∈ω2 wk+1= wk

如果样本进行正 则化处理,情况 为何?

+ -

H
wk+1 wk ρkx
40

权值修正过程

梯度下降算法
? 赏罚概念:感知器算法显然是一种赏罚过程。对正
确分类的模式则“赏”(此处用“不罚”,即权向量 W不变);对错误分类的模式则“罚”,使W加上一 个正比于错误模式样本X的分量。

? ρk选择准则:
① ② 固定增量原则 ρk固定非负数 绝对修正规则 ρk>

| wT x | x x | wT x | x x
T T



部分修正规则 ρk=λ

0<λ≤2

41

梯度下降算法
例题:有两类样本:
ω1=(x1,x2)={(1,0,1),(0,1,1)},ω2=(x3,x4)={(1,1,0),(0,1,0)} 解:先求四个样本的增值模式 x1=(1,0,1,1) x2=(0,1,1,1) x3=(1,1,0,1) x4=(0,1,0,1) 假设初始权向量 w1=(1,1,1,1) ρk=1 第一次迭代: w1Tx1=(1,1,1,1) (1,0,1,1)T=3>0 所以不修正 w1Tx2=(1,1,1,1) (0,1,1,1)T=3>0 所以不修正 w1Tx3=(1,1,1,1) (1,1,0,1)T=3>0 所以修正w1 w2=w1-x3=(0,0,1,0) w2Tx4=(0,0,1,0)T (0,1,0,1) =0 所以修正w2 w3=w2-x4=(0,-1,1,-1) 第一次迭代后,权向量w3=(0,-1,1,-1),再进行第2,3,…次迭代, 42 如下表:

梯度下降算法
训练样本
x1 x2 x3 x4
x1 x2 x3 x4 x1 x2 x3 x4 x1 x2 x3 x4

wkTx
+ + + 0
0 + 0 + + + -

修正式
w1 w1 w1-x3 w2-x4
w3+x1 w4 w4-x3 w5 w5 w5+x2 w6 w6 w6 w6 w6 w6

修正后的权值wk+1
1 1 1 1 0 0 0 –1 1 1 1 1 1 1 0 -1

迭代次数
1

1011 0111 1101 0101
1011 0111 1101 0101 1011 0111 1101 0101 1011 0111 1101 0101

1 –1 2 0 1 –1 2 0 0 –2 2 –1 0 –2 2 -1 0 –2 2 –1 0 –1 3 0 0 –1 3 0 0 –1 3 0 0 0 0 0 –1 –1 –1 –1 3 3 3 3 0 0 0 0

2

3

4

直到在一个迭代过程中权向量相同,训练结束。 w6=w=(0,1,3,0) 判别函数g(x)= -x2+3x3 ? 感知器算法只对线性可分样本有收敛的解,对非线性 43 可分样本集会造成训练过程的振荡,这是它的缺点。

44

45

46

47

48

49

50

51

52

53

54

55

感知器方法例解
? 固定增量法与可变增量法 ? 批量样本修正法与单样本 修正法
– 单样本修正法:样本集视为 不断重复出现的序列,逐个 样本检查,修正权向量 – 批量样本修正法:样本成批 或全部检查后,修正权向量

56

感知器方法小结
? 感知准则函数方法的思路是:先随意找一个 初始向量a(1),然后用训练样本集中的每个 样本来计算。若发现一个y出现aTy<0,则只 要a(k+1) = a(k) + rky,rk为正(步长系数), 则必有a(k+1)Ty = a(k)Ty + rkyTy,就有趋势 做到使a(k+1)Ty >0。当然,修改后的a(k+1) 还可以使某些y出现a(k+1)Ty <0的情况,理 论证明,只要训练样本集线性可分,无论 a(1)的初值是什么,经过有限次叠代,都可 收敛。
57

4.4 最小平方误差准则函数
? 规范化增广样本向量yi,增广权向量a,正确分类要求:

aTyi>0, i=1,…,N
T ? y1 ? ? y11 ? T? ?y y 21 Y ?? 1??? ? ... ? ? ... ? T? ? ? y N ? ? yN 1

? 线性分类器设计?求一组N个线性不等式的解 ? 样本集增广矩阵Y及一组N个线性不等式的的矩阵表示:
y12 y22 ... yN 2 ... ... ... ... y1d? ? y2 d? ? ? ... ? ? y Nd? ?

Ya ? 0

? 引入余量(目标向量) b=[b1, b2, …, bN]T, bi任 意给定正常数, aTyi = bi >0 ? N个线性方程的的矩阵表示:

Ya ? b
58

平方误差准则函数
? 定义误差向量 e=Ya-b: ? 定义平方误差准则函数Js(a):

J s ( a) ? e

2

? Ya ? b

2

? ? (aT y i ? bi )2
i ?1

N

? 最小二乘近似解(MSE解):

a* ? argmin J s (a)
a

MSE方法的思想:对每个样本,设定一个“理想”的判 别函数输出值,以最小平方误差为准则求最优权向量
59

MSE准则函数的伪逆解
?J s (a) ? ? 2(aT y i ? bi )y i ? 2Y T (Ya ? b)
i ?1 N

?J s (a ) ? 0 ? Y Ya ? Y b
* T * T

a ? (Y Y ) Y b ? Y b
* T T
Y的 伪逆矩阵
60

?1

?

MSE方法与其他方法的关系
? 与Fisher方法的关系:当
? N / N1 ? ? ... ? ? ? ? N / N1 ? b?? ? N / N 2? ? ? ... ? ? ? N / N 2? ?

MSE 准则

N1个 N2个

MSE解等价于Fisher解

? 与Bayes方法的关系:当N→∞,b=uN= [1,1, …, 1]T 时,则它以最 小均方误差逼近Bayes判别函数:

g (x) ? P(?1 | x) ? P(?2 | x)
61

MSE方法的迭代解
? a*=Y+b, Y+=(YTY)-1YT,计算量大 ? 实际中常用梯度下降法:
?J s (a) ? ? 2(aT y i ? bi )y i ? 2Y T (Ya ? b)
i ?1 N

a(1), 任意初始化 ? ? T a ( k ? 1) ? a ( k ) ? r Y (Ya ? b) ? k

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

4.5 多类问题
二、对于多类问题:模式有 ω1 ,ω2 , … , ωm 个类别, 可分三种情况:
1.第一种情况:每一模式类与其它模式类间可用单个判 别平面把一个类分开。这种情况,M类可有M个判别函 数,且具有以下性质:

?? 0, X ? ?i g i ( x) ? Wi X ? ?? 0, 其它, i ? 1,2,..., M。
T

式中Wi ? ( wi1 , wi 2 ,..., win , win?1 , )T 为第i个判别函数的 权向量。

此情况可理解为 ?i

?i 两分法。

78

4.5 多类问题
下图所示,每一类别可用单个判别边界与其它 类别相分开 。如果一模式X属于ω1,则由图可
清楚看出:这时g1(x) >0而g2(x) <0 , g3(x) <0 。 ω1 类与其它类之间的边界由 g1(x)=0确定。

x2

?

?1
?3

?

g1 ( x) ? 0
g 3 ( x) ? 0

?2

? ?

?

g 2 ( x) ? 0
79

x1 ?

4.5 多类问题
例:已知三类ω1,ω2,ω3的判别函数分别为:
? g1 ( x) ? ? x1 ? x2 ? ? g 2 ( x) ? x1 ? x2 ? 5 ? g ( x) ? ? x ? 1 2 ? 3
因此,三个判别边界为:

? g1 ( x) ? ? x1 ? x2 ? 0 ? ? g 2 ( x) ? x1 ? x2 ? 5 ? 0 ? g ( x) ? ? x ? 1 ? 0 2 ? 3
80

4.5 多类问题
作图如下:
5
? g1 ( x ) ? 0 ? ? g 2 ( x) ? 0 ? g ( x) ? 0 ? 3

x2

?

g1 ( x) ? 0

?

?1

IR1 IR 2

?2

? g1 ( x) ? 0 ? ? g 2 ( x) ? 0 ? g ( x) ? 0 ? 3

1
IR 4

?3
? g1 ( x) ? 0 ? ? g 2 ( x) ? 0 ? g ( x) ? 0 ? 3
5

? ?

g 3 ( x) ? 0

IR3

x1

?

?

g 2 ( x) ? 0
81

4.5 多类问题
对于任一模式X如果它的 g1(x) >0 ,g2(x) <0 ,g3(x) <0, 则该模式属于ω1类。 相应ω1类的区域由直线-x2+1=0 的正边、直线-x1+x2-5=0 和直线-x1+x2=0的负边来确定。
5
? g1 ( x ) ? 0 ? ? g 2 ( x) ? 0 ? g ( x) ? 0 ? 3

x2
IR1

?

g1 ( x) ? 0

?

1
IR 4

?1

?2

? g1( x ) ? 0 ? ?g2( x ) ? 0 ? ? g3( x ) ? 0

IR 2

?3
? g1 ( x ) ? 0 ? ? g 2 ( x) ? 0 ? g ( x) ? 0 ? 3
5

? ?

g 3 ( x) ? 0

IR3

x1

?

?

g 2 ( x) ? 0
82

必须指出,如果某个X使二个以上的判别函数 gi(x) >0 。 则此模式X就无法作出确切的判决。如图中 IR1,IR3, IR4区域。
另一种情况是IR2区域,判别函数都为负值。IR1,IR2, IR3,IR4。都为不确 定区域。
5
? g1 ( x ) ? 0 ? ? g 2 ( x) ? 0 ? g ( x) ? 0 ? 3

x2
IR1

?

g1 ( x) ? 0

?

1
IR 4

?1

?2

? g1( x ) ? 0 ? ?g2( x ) ? 0 ? ? g3( x ) ? 0

IR 2

?3
? g1 ( x ) ? 0 ? ? g 2 ( x) ? 0 ? g ( x) ? 0 ? 3
5

? ?

g 3 ( x) ? 0

IR3

x1

?

?

g 2 ( x) ? 0

83

问当x=(x1,x2)T=(6,5)T时属于那一类
代入判别函数方程组 :
? g1 ( x) ? ? x1 ? x2 ? ? g 2 ( x) ? x1 ? x2 ? 5 ? g ( x) ? ? x ? 1 2 ? 3

得: g1 ( x) ? ?1, g 2 ( x) ? 6, g 3 ( x) ? ?4.

结论: g1(x) <0 , g2(x) >0 , g3(x) <0所以它属于ω 2类

84

第二种情况:
每个模式类和其它模式类间可分别用判别平面分开, 一个判别界面只能分开两个类别,不一定能把其余所 有的类别分开;这种情况可理解为 ?i ? j 二分法。
这样有 M(M _ 1)/2个判别平面。 g 23 ( x) ? 0 g12 ( x) ? 0 ?2 ? 对于两类问题,M=2,则有一个判别平面。 同理,三类问题则有三个判别平面。 ?1 ?3 T 判别函数: gij ( x ) ? Wij X ? g13 ( x) ? 0 ? 判别边界: gij ( x ) ? o

?

? ?

?? 0 ? 当x ? ?i i? j 判别条件: g ij ( x)? ?? 0 ? 当x ? ? j
85

判别函数性质:

gij ( x) ? ? g ji ( x)

? g12 ( x) ? ? x1 ? x2 ? 5 ? 假设判别函数为: ? g13 ( x) ? ? x1 ? 3 ? g ( x) ? ? x ? x 1 2 ? 23 ? g12 ( x) ? ? x1 ? x2 ? 5 ? 0 ? 判别边界为: ? g13 ( x) ? ? x1 ? 3 ? 0 ? g ( x) ? ? x ? x ? 0 1 2 ? 23 用方程式作图:
?2判别区
g 21 ? 0, g 23 ? 0
?

5

x2

?1判别区
g12 ? 0 g13 ? 0

? ? 判别区
3

g 23( x ) ? 0

g31 ? 0 g32 ? 0

5

3

g13( x ) ? 0

?

?

? g12( x ) ? 0

?

x1

结论:判别区间增大,不确定区间减小,比第一种 情况小的多。
问:未知模式X=(x1,x2)T=(4,3)T属于 那一类? 代入判别函数可得: 把下标对换可得:
g 21( x) ? 2, g31( x) ? 1, g32 ( x) ? 1
g 3 j ( x) ? 0 因为 结论:所以X 属于ω 3类

5

?2判别区

x2 g 21 ? 0

g 23 ? 0

?

?1判别区
g13 ? 0

g12 ( x) ? ?2, g13 ( x) ? ?1, g 23 ( x) ? ?1 g12 ? 0

? 3判别区
g31 ? 0 g32 ? 0

?

g 23 ( x) ? 0

3

g13 ( x) ? 0

?

?

? g ( x) ? 0
12

?

x1

5

第三种情况: 每类都有一个判别函数,存在M个判别函数,这种 情况可理解为无不确定区的 ?i ? j 二分法。
判别函数: g k ( x) ? WK X
T k

K ? 1,2,..., M

?最大,当x ? ?i 判别规则: g i ( x) ? W X ? ?小,其它
判别边界: gi(x) =gj(x) 或gi(x) -gj(x) =0

就是说,要判别模式X属于那一类,先把X代入M 个判别函数中,判别函数最大的那个类别就是X 所属类别。 类与 类之间的边界可由gi(x) =gj(x) 或 gi(x) -gj(x) =0来确定。

右图所示是M=3 的例子。对于

ω 1类模式,
g1 ( x) ? g2 ( x)

必然满足g1(x) >g2(x) 和 g1(x) >g3(x) 。
假设判别函数为:
? g1 ( x) ? ? x1 ? x2 ? ? g 2 ( x) ? x1 ? x2 ? 1 ? g ( x) ? ? x 2 ? 3

?1
g1 ( x) ? g3 ( x)

?2
?3
g 2 ( x) ? g 3 ( x)

则判别边界为:

? g1 ( x) ? g 2 ( x) ? ?2 x1 ? 1 ? 0 ? ? g1 ( x) ? g3 ( x) ? ? x1 ? 2 x2 ? 0 ? g ( x) ? g ( x) ? x ? 2 x ? 1 ? 0 3 1 2 ? 2

用上列方程组作图如下:

0.5

?

?

?

?1
?

g ( x) ? g ( x) ?? ?
2 1

? g1 ( x) ? g 2 ( x) ? ? g1 ( x) ? g 3 ( x)

?2
0.5

? g 2 ( x) ? g 3 ( x)
1.0

g1 ( x) ? g3 ( x) ? 0

g 2 ( x) ? g 3 ( x ) ? 0 ? g 3 ( x) ? g 2 ( x) 3 ? ? g 3 ( x) ? g1 ( x) g1 ( x) ? g 2 ( x) ? 0

?

?

结论:不确定区间没有了,所以这种是最好情况。

问假设未知模式x= (x1,x2)T= (1,1)T ,则x属于那一类。

把它代入判别函数:g1 ( x), g 2 ( x), g3 ( x). 得判别函数为:g1 ( x) ? 0, g 2 ( x) ? 1, g3 ( x) ? ?1 因为 g 2 ( x) ? g3 ( x), g 2 ( x) ? g1 ( x) 所以模式x= (1,1)T属于? 2 类。 ? ? ? ? g 2 ( x) ? g1 ( x)
0.5

?

?1

? g1 ( x) ? g 2 ( x) ? ? g1 ( x) ? g 3 ( x)

?2
?3

? ? g 2 ( x) ? g 3 ( x)
1.0

g1 ( x) ? g3 ( x) ? 0

?

0.5

g 2 ( x) ? g 3 ( x ) ? 0 ? g 3 ( x) ? g 2 ( x) ? ? g 3 ( x) ? g1 ( x) g1 ( x) ? g 2 ( x) ? 0

?

4.5 多类问题

92

93

94

95

决策树

96


机器学习与模式识别-第4章_线性判别_图文.pdf

机器学习与模式识别-第4章_线性判别 - 第四章 线性判别函数 1 ? ? 4.

机器学习与模式识别-第5章_非线性判别函数.pdf

机器学习与模式识别-第5_非线性判别函数_互联网_IT/计算机_专业资料。第五章...树分类器的各节点上采用线性判别规则, 即构成分段线性分类器 ? 4 5.1.1 ...

黄庆明 模式识别与机器学习 第四章 作业.pdf

黄庆明 模式识别机器学习 第四章 作业 - 设有如下三类模式样本集ω1,ω2 ω3,其先验概率相等,求 Sw Sb T T T ω1:{(1 0) , (2 0) , (...

模式识别与机器学习期末总结_图文.pdf

模式识别机器学习期末总结_工学_高等教育_教育专区。1.1.样本(sample, ...两个步骤:确定使用的判别函数类型或决策 面方程类型,如线性分类器,分段线性分类...

模式识别与机器学习第一章_图文.ppt

模式识别机器学习第_工学_高等教育_教育专区。模式识别 模式识别机器学习黄庆明,兰艳艳,郭嘉丰,山世光 中国科学院大学计算机学院/中科院计算所 qmhuang@ucas....

...黄庆明 模式识别与机器学习 期末考点 复习_图文.ppt

中科院 国科大 黄庆明 模式识别机器学习 期末考点 复习 ?第一章 概论 ?第二...线性判别函数 ? 用判别函数分类的概念 ? 线性判别函数的一般形式分类问题 ? ...

模式识别和机器学习第三章线性回归模型_图文.ppt

模式识别和机器学习第章线性回归模型 - PATTERN RECOGNITION

机器学习与模式识别-第3章_概率密度函数的估计_图文.pdf

机器学习与模式识别-第3_概率密度函数的估计 - 第三章 概率密度函数的估计

深度学习、机器学习与模式识别的研究_图文.doc

龙源期刊网 http://www.qikan.com.cn 深度学习、机器学习与模式识别的研究 作者:陈星沅 姜文博 张培楠 来源:《科技资讯》2015 年第 31 期 摘要:科学技术的不...

机器学习与模式识别-第1章_绪论_图文.pdf

机器学习与模式识别-第1_绪论 - 机器学习与 模式识别 夏榆滨 北京航空航天

某校模式识别与机器学习汇总_图文.pdf

某校模式识别机器学习汇总_理学_高等教育_教育专区。黄庆明模式识别机器学习 ...广义线性判别函数: 对于 x*,当 x 为 n 维时,fi(x)选用二次多项式函数时,...

模式识别第1章 绪论_图文.doc

第4章 线性判别函数 第5章 聚类分析 主要参考书: 1. 《模式识别》 作者: ...这种训练的过程就是机器学习的过程。这个过程往往需要反 复多次,不断纠正错误,...

模式识别与机器学习第三章作业_图文.pdf

模式识别机器学习第三章作业_互联网_IT/计算机_专业资料。中科院大学模式识别...问该模式识别问题所需判别函数的最少数目是多 少? 解: ? 一个三类问题,其...

模式识别第八讲-第五章 线性判别函数_图文.ppt

模式识别第八讲-五章 线性判别函数 - 五章 线性分类器 5.1 5.2 5.3 5.4 引言 感知器(Perceptron)算法 Fisher 线性判别 支撑向量机简介 5.1 引言 ...

研究生《模式识别与机器学习》教学大纲--学位课.doc

学时/学分:40/3 4. 课程目标: 模式识别机器学习研究计算机识别物体的机理,...第三章 分类器教学内容: 3.1 线性判别函数 3.2 最小平方误差判别 3.3 最...

第4章机器学习_图文.ppt

第4章机器学习_理学_高等教育_教育专区。第4章 机器学习 Machine Leanrning ...在模式识别中, 环境就是待识别的图形或景物。 ?环境就是为学习系统提供获取...

模式识别期末复习总结_图文.doc

(LDA):uses a signal classification criterion LDA:线性判别分析,一种分类方法...模式识别机器学习期末... 3页 2下载券 模式识别 期末复习 笔记 暂无评价...

模式识别与机器学习思考题及参考答案.doc

模式识别机器学习期末考查 思考题 1:简述模式识别...贝叶斯决策法是基于概率统计的基本的判别函数分类法。...尤其相对于非线性网络来说, 学效率的选择更 是一个...

机器学习与模式识别-第6章_近邻法_图文.pdf

机器学习与模式识别-第6_近邻法 - 第六章 近邻法 ? 产生 由Cover

模式识别第1章 绪论_图文.doc

华中科技大学控制科学与工程系 模式识别备课笔记 模式识别概论第1章 绪论 章第2章 随机模式的分类方法 章第3章 正态分布时的统计决策 章第4章 线性判别函数 章...