贝叶斯分类器

菜鸟之家

贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。
贝叶斯定理公式：P(A|B)=P(B|A)*P(A)/P(B)
贝叶斯网络是一个带有概率注释的有向无环图，图中的每一个结点均表示一个随机变量,图中两结点间若存在着一条弧，则表示这两结点相对应的随机变量是概率相依的，反之则说明这两个随机变量是条件独立的。网络中任意一个结点X 均有一个相应的条件概率表(Conditional Probability Table，CPT)，用以表示结点X 在其父结点取各可能值时的条件概率。若结点X 无父结点,则X 的CPT 为其先验概率分布。贝叶斯网络的结构及各结点的CPT 定义了网络中各变量的概率分布。
贝叶斯分类器是用于分类的贝叶斯网络。该网络中应包含类结点C，其中C 的取值来自于类集合( c1 , c2 , ... , cm)，还包含一组结点X = ( X1 , X2 , ... , Xn)，表示用于分类的特征。对于贝叶斯网络分类器，若某一待分类的样本D，其分类特征值为x = ( x1 , x2 , ... , x n) ，则样本D 属于类别ci 的概率P( C = ci | X1 = x1 , X2 = x 2 , ... , Xn = x n) ，( i = 1 ,2 , ... , m) 应满足下式：
P( C = ci | X = x) = Max{ P( C = c1 | X = x) , P( C = c2 | X = x ) , ... , P( C = cm | X = x ) }
而由贝叶斯公式：
P( C = ci | X = x) = P( X = x | C = ci) * P( C = ci) / P( X = x)
其中，P( C = ci) 可由领域专家的经验得到,而P( X = x | C = ci) 和P( X = x) 的计算则较困难。

应用贝叶斯网络分类器进行分类主要分成两阶段。第一阶段是贝叶斯网络分类器的学习，即从样本数据中构造分类器，包括结构学习和CPT 学习；第二阶段是贝叶斯网络分类器的推理，即计算类结点的条件概率，对分类数据进行分类。这两个阶段的时间复杂性均取决于特征值间的依赖程度，甚至可以是NP 完全问题，因而在实际应用中，往往需要对贝叶斯网络分类器进行简化。根据对特征值间不同关联程度的假设，可以得出各种贝叶斯分类器，Naive Bayes、TAN、BAN、GBN 就是其中较典型、研究较深入的贝叶斯分类器。
在具有模式的完整统计知识条件下，按照贝叶斯决策理论进行设计的一种最优分类器。分类器是对每一个输入模式赋予一个类别名称的软件或硬件装置，而贝叶斯分类器是各种分类器中分类错误概率最小或者在预先给定代价的情况下平均风险最小的分类器。它的设计方法是一种最基本的统计分类方法。

最小错误概率贝叶斯分类器
把代表模式的特征向量x分到c个类别(ω1，ω2,...,ωc)中某一类的最基本方法
贝叶斯分类器

贝叶斯分类器
是计算在 x的条件下，该模式属于各类的概率，用符号P(ω1|x),P(ω2|x),...,P(ωc|x)表示。比较这些条件概率，最大数值所对应的类别ωi就是该模式所属的类。例如表示某个待查细胞的特征向量 x属于正常细胞类的概率是0.2，属于癌变细胞类的概率是0.8，就把它归类为癌变细胞。上述定义的条件概率也称为后验概率，在特征向量为一维的情况下,一般有图中的变化关系。当 x=x*时，P(ω1|x)=P(ω2|x)对于 x>x*的区域，由于P(ω2|x)>P(ω1|x)因此x属ω2类,对于x<x*的区域,由于P(ω1|x)>P(ω2|x)，x属ω1类,x*就相当于区域的分界点。图中的阴影面积就反映了这种方法的错误分类概率，对于以任何其他的 x值作为区域分界点的分类方法都对应一个更大的阴影面积，因此贝叶斯分类器是一种最小错误概率的分类器
贝叶斯分类器

一般情况下，不能直接得到后验概率而是要通过贝叶斯公式
公式

公式
进行计算。式中的P(x│ωi)为在模式属于ωi类的条件下出现x的概率密度，称为x的类条件概率密度；P(ωi)为在所研究的识别问题中出现ωi类的概率,又称先验概率；P(x)是特征向量x的概率密度。分类器在比较后验概率时,对于确定的输入x，P(x)是常数，因此在实际应用中，通常不是直接用后验概率作为分类器的判决函数gi(x)(见线性判别函数)而采用下面两种形式：
对所有的c个类计算gi(x)(i=1,2,...,c)。与gi(x)中最大值相对应的类别就是x的所属类别。

最小风险贝叶斯分类器:由于客观事物的复杂性，分类器作出各种判决时的风险是不一样的。例如将癌细胞误判为正常细胞的风险就比将正常细胞误判为癌细胞的风险大。因此，在贝叶斯分类器中引入了风险的概念。在实际应用中根据具体情况决定各种风险的大小，通常用一组系数Cij来表示。Cij表示分类器将被识别样本分类为ωi，而该样本的真正类别为ωj时的风险。设计最小风险分类器的基本思想是用后验概率计算将 x分类为ωi的条件风险
贝叶斯分类器

贝叶斯分类器
比较各Ri(x)的大小,与最小值对应的类别是分类的结果。评价这种分类器的标准是平均风险，它的平均风险最小。在实际应用时，后验概率是难以获得的，根据模式类别的多少和Cij的取值方式,可设计出各种分类器，例如模式为两类时，判别函数为
判别函数

判别函数
如果选择C11和C22为零，C12和C21为1，它就是两类最小错误概率分类器。实际上，最小错误概率分类器是最小风险分类器的一种特殊情况。
设计贝叶斯分类器的关键是要知道样本特征 x的各种概率密度函数。条件概率密度函数为多元正态分布是研究得最多的分布。这是由于它的数学表达式易于分析，在实际应用中也是一种常见的分布形式。经常使用参数方法来设计正态分布的判别函数。