模式识别 这些干货你都 get 了吗？

声明 ：这些均来自模式识别课件@WHU
贴在这里主要为了方便以后查阅学习之目的。
未经许可，不得用于别处！

学了模式识别，我都学到了啥？下面列的一些概念是这门课程中涉及到的，都是干货！！

【发个小感慨】
随着阅历的增长，我越来越觉得老师的课件真是精华呀。那些上课不认真听讲的日子，真是太对不起老师，对不起自己了…总以为自己课下看看就会了，但是自己课下花的时间要远远多余在课堂上的时间。深感做学问，不可以浮躁，多认真听听别人的见解和经验，真的可以少走好多弯路！

一、概论

1.模式(pattern) 一个抽象的概念。客观世界和主观世界即物质和
意识的所有方面、所有个体、所有单元都可称之为模式。存在于时间，空间中可观察的事物，具有时间或空间分布的信息。对客体(研究对象)特征的描述(定量的或结构的描述)，是取自客观世界的某一样本的测量值的集合(或综合)。

2.模式识别(Pattern Recognition) 是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。

3.样本(Sample): 一个具体的研究(客观)对象。如患者，某人写的
一个汉字，一段语音、一幅图片等。

4.样本集(Sample Set) 若干个样本的集合。

5.类或类别(class) :在所有样本上定义的一个子集，处于同一类的样本在我们所关心的某种性质上是不可区分的，即具有相同的模式。

6.特征(Features): 能描述模式特性的量(测量值)。在统计模式识别方法中，通常用一个矢量表示，称之为特征矢量，记为
x = (x1,x2,.,xn)’

中间插两组图：


7.模式识别系统设计/评价过程
系统评价原则: 为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。

训练集: 是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。

测试集: 在设计识别和分类系统时没有用过的独立样本集。

8.模式识别基本问题

二、Bayes决策

1.条件概率的意义: 当给定条件发生变化后，会导致事件发生的可能性发生变化。

2.Bayes决策的基本思想是: 要求判别归属时，依后验概率最大作出决策，这样的结果可以使分类的错误率最小

3.决策面：按照判别规则将多维特征空间分成m个类别区域， 划分这些区域的边界面；

4.决策面方程： 对于多分类问题， 按照决策规则可以把多维特征空间分成n各类别区域， 划分这些区域的边界面称之为决策面， 在数学上用解析形式表示为决策面方程。

5.判别函数：用以表述判别规则的函数。

6.最小错误率贝叶斯决策

7.最小风险贝叶斯决策

8.聂曼-皮尔逊判决（neyman-pearson）
在一类错误率固定使另一类错误率最小的判别准则

9.最大最小判别准则

10.正态分布决策理论

上面有提到超平面，超椭球等一些概念。那么，什么是超 XX 呢？百度百科中对超平面的介绍有：超平面是 n 维欧氏空间中余维度等于一的线性子空间，也就是必须是(n-1)维度。这是平面中的直线、空间中的平面之推广（n大于3才被称为“超”平面），是纯粹的数学概念，不是现实的物理概念。因为是子空间，所以超平面一定经过原点。（这句话不是很理解）维基百科中对超曲面有这样的介绍：超曲面（英语：hypersurface）是几何中超平面概念的一种推广。假设存在一个n维流形M，则M的任一(n-1)维子流形即是一个超曲面。或者可以说，超曲面的余维数为1。

好，综上，我们就可以将 n 维空间的 超XX 简单理解为可以将 n 维空间一分为二的一个存在（正如一点将一条直线一分为二，一条直线将一个平面一分为二，一个平面将一个三维空间一分为二）。突然想到高中时数学老师 李杰 老师说过的一句对我启发很大的话：点动成线，线动成面，面动成体（好像是讲积分的时候提到的，嘿嘿）

至此，Bayes 决策介绍的已经差不多了。下面理顺一下思路：我们判断一个事物它是属于哪个类别，就是看它属于每个类别的概率（后验概率）哪个大，哪个大就属于哪一类。Bayes 决策最核心的就一个Bayes 公式，贝叶斯公式的经典之处就是将后验概率的问题转化成了先验概率的问题！

对先验和后验的理解：https://blog.csdn.net/fjssharpsword/article/details/72356277

对遥感影像分类的先验和后验是啥呢？下面讲一下我的理解（有可能不太准确，或表述不太恰当，不当之处还望批评指正！）对遥感影像分类的先验就是 各种地物类型的反射波谱特性曲线（通俗讲就是每种地物类型（植被、房屋、水泥、河流…）对各个波段（红、绿、蓝、近红外…）的光的反射率），先验是如何得到的呢？可通过一些仪器测定，可通过已知地物类型的遥感影像图与实际地物图对比得到。后验是啥呢？后验就是已知 各个波段 遥感影像 的灰度（再某种程度上可转化为反射率）来判断其属于哪种地物类型。

ok，Bayes 决策本身就是最小错误率决策，后来人们在某些情况下（如判断莫个细胞是正常的还是癌变的，错判的损失显然不同），用不同的函数 来度量 做出某项决策的风险，然后依据总风险（概率×风险函数 再求和）的大小来选择最合适的决策（做出最合适的分类），从而有了最小风险贝叶斯决策。

而 在一类错误率固定 使另一类错误率最小 的判别 就是聂曼-皮尔逊判决（neyman-pearson）准则了。

那么最大最小判别准则是啥呢？最小错误率或最小风险贝叶斯决策都是与先验概率p(wi)有关的，如果对给定的x，其p(wi)不变，按照贝叶斯决策规则，可以使错误率最小或风险最小。但如果p(wi)是可变的，或事先对先验概率毫无所知，若再按某个固定的p(wi)条件下的决策规则来进行决策就往往得不到最小错误率或最小风险。而最小最大决策就是在考虑p(wi)变化的情况下，如何使最大可能的风险为最小，也就是在最差的条件下争取最好的结果。

ok，之后的正态分布决策理论的存在又有什么意义呢？我们都知道，正态分布在物理上是合理的、广泛的；正态分布在数学上是简单的，只要知道均值（位置参数$\mu$）和方差（尺度参数$\sigma$）就可以确定其形状了。而且正态分布具有很多优良的性质，所以正态分布被用到这里来。那么正态分布用来这里干啥吃的呢？正态分布用来作为类条件概率密度函数！（也就是先验概率 p(x|wi) 随着 x 变化而变化的曲线。）

至此，Bayes 决策就解释完了

ps：其实到这里，这篇博文的目的已经达到了——帮我捋顺贝叶斯决策，以便完成那个最大似然法分类遥感影像的编程，剩下的，如果还想写就在找时间来补坑吧（我的坑可真是越来越多了 😂）

参考/引用 文章

[1] fjssharpsword-CSDN博主：https://blog.csdn.net/fjssharpsword/article/details/72356277