贝叶斯决策理论

主观贝叶斯派归纳理论的重要组成部分
收藏
0有用+1
0
贝叶斯决策理论,是主观贝叶斯派归纳理论的重要组成部分。 贝叶斯决策就是在不完全情报下,对部分未知的状态用主观概率估计,然后用贝叶斯公式对发生概率进行修正,最后再利用期望值和修正概率做出最优决策
中文名
贝叶斯决策理论
外文名
Bayesian decision theory
提出者
主观贝叶斯派
适用领域
统计,概率
应用学科
数学,统计学,模式识别

基本思想

播报
编辑
贝叶斯决策理论方法是统计模型决策中的一个基本方法,其基本思想是:
★已知类条件概率密度参数表达式先验概率
★利用贝叶斯公式转换成后验概率
★根据后验概率大小进行决策分类

公式

播报
编辑
设D1,D2,……,Dn为样本空间S的一个划分,如果以P(Di)表示事件Di发生的概率,且P(Di)>0(i=1,2,…,n)。对于任一事件x,P(x)>0,如图1
图1

理论分析

播报
编辑
(1)如果,我们已知,被分类类别概率分布的形式和已颂赠经标记类别的训练样本集合,那我们,就需要从训练样本集合中,来估计概率分布的参数。在现实世界中,有时会出现这种情况。(如,已知为正态分布了,根据标记良和签好类别的样本来估计参数,常见的是极大似然率和贝叶斯参数估计方法)
(2)如果,我们不知道,任何有关被分类类别概率分布的知识,已知,已经标记类别的训练样本集合和判别式函数的形式,那我们,就需要从训练样本集合中,来估计判别式函数的参数。在现实世界中,有时会出现这种情况。(如,已知判别式函数为线性或二次的,那么,就要根据训练样本乎笑捉来估计判别式洪寻的参数,常见的是线性判别式和神经网络)
(3)如果,我们既不知道,任何有关被分类类别概率分布的知识,也不知道,判别式函数的形式,只有已经标记类别的训练样本集合。那我们,就需要从训练样本集合中,来估计概率分布函数的参数。在现实世界中,经常出现这种情况。(如,首先要估计是什么分布,再估计参数。常见的是非参数估计
(4)只有没有标记类别的训练样本集合。这是经常发生的情形。我们需要对训练样本集合进行聚类,从而,估计它们概率分布的参数。(这是无监督的学习)
(5)如果,我们已知被分类类别的概危主循洪率分布,那么,我们不需要训练样本集合,利用贝叶斯决策理论就可以设计最优分类器。但是,在现实世界中,从没有出现过这种情况。这里是贝叶斯决策理论常用的地方。
问题:
假设我们将根据特征矢量x 提供的证据来分类某个物体,那么我们进行分类的标准是什么?decide wj, if(p(wj|x)>p(wi|x))(i不等于j)应用贝叶斯展开后可以得到p(x|wj)p(wj)>p(x|wi)p(wi)即或然率p(x|wj)/p(x戒颈|wi)>p(wi)/p(wj),决策规则就是似然率测试规则。
结企求元定樱充论:
对于任何给定问题,可以通过似然率测试决策规则得到最小的错误概率。这个错误概率称为贝叶斯错误率,且是所有分类器中可以得到的最好结果。最小化错误概率的决策规则就是最大化后验概率判据。

决策判据

播报
编辑
贝叶斯决策理论方法,是统计模式识别中的一个基本方法。贝叶斯决策判据,既考虑了各类参考总体出现的概率大小,又考虑了因误判造成的损失大小,判别能力强。贝叶斯方法更适用于下列场合:
(1) 样本(子样)的数量(容量)不充分大,因而大子样统计理论不适宜的场合。
(2) 试验具有继承性,反映在统计学上,就是要具有在试验之前,已有先验信息的场合。用这种方法进行分类时要求两点:
第一,要决策分类的参考总体的类别数是一定的。例如两类参考总体(正常状态Dl和异常状态D2),或L类参考总体D1,D2,…,DL(如良好、满意、可以、不满意、不允许、……)。
第二,各类参考总体的概率分布是已知的,即每一类参考总体出现的先验概率P(Di)以及各类概率密度函数P(x/Di)是已知的。显然,0≤P(Di)≤1,(i=l,2,…,L),∑P(Di)=1。
对于两类故障诊断问题,就相当于在识别前已知正常状态D1的概率P(D1)和异常状态D2的概率P(D2),它们是由先验知识确定的状态先验概率。
如果不做进一步的仔细观测,仅依靠先验概率去作决策,那么就应给出下列的决策规则:若P(D1)d>P(D2),则做出状态属于D1类的决策;反之,则做出状态属于D2类的决策。
例如,某设备在365天中,有故障是少见的,无故障是经常的,有故障的概率远小于无故障的概率。因此,若无特别明显的异常状况,就应判断为无故障。
显然,这样做对某一实际的待检状态,根本达不到诊断的目的,这是由于只利用先验概率提供的分类信息太少了。为此,我们还要对系统状态进行状态检测,分析所观测到的信息。