贝叶斯的介绍

1. 贝叶斯的介绍

贝叶斯(约1701-1761) Thomas Bayes，英国数学家。约1701年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1761年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。他死后，理查德·普莱斯(Richard Price)于1763年将他的著作《机会问题的解法》(An essay towards solving a problem in the doctrine of chances)寄给了英国皇家学会，对于现代概率论和数理统计产生了重要的影响。贝叶斯的另一著作《机会的学说概论》发表于1758年。贝叶斯所采用的许多术语被沿用至今1。

2. 贝叶斯方法

贝叶斯方法是基于贝叶斯定理而发展起来用于系统地阐述和解决统计问题的方法。

应用:
1、生命科学家用贝叶斯定理研究基因是如何被控制的；
2、基金经理用贝叶斯法则找到投资策略；
3、Google用贝叶斯定理改进搜索功能，帮助用户过滤垃圾邮件；
4、无人驾驶汽车接收车顶传感器收集到的路况和交通数据，运用贝叶斯定理更新从地图上获得 的信息；
5、人工智能、机器翻译中大量用到贝叶斯定理


贝叶斯概率公式:P(B|A) = P(A|B)*P(B) / P(A)。
即：B已经发生的情况下，A发生的概率， 等于A已经发生的情况下，B发生的概率，乘以A单独发生的概率，再整体除以B单独发生的概率。

3. 用贝叶斯解答

因为当一个人被检测出阳性，其为正常人的贝叶斯概率为P1=0.01%*990000/(0.01%*990000+1*100%)=99%.
而其为患病者的贝叶斯概率为P2=100%*1/(0.01%*990000+1*100%)=0.01%。
因此，一个人被检测出位阳性，很可能也是正常人，所以不能用这种医学检验。

4. 贝叶斯与朴素贝叶斯

 英国数学家。1702年出生于伦敦，贝叶斯在数学方面主要研究概率论.对于统计决策函数、统计推断、统计的估算等做出了贡献。他的统计学概率理论称为贝叶斯 Thomas Bayes。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有 N 个白球，M 个黑球，你伸手进去摸一把，摸出黑球的概率是M/(M+N)”。而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题，就是所谓的逆向概率问题。贝叶斯就是为解决这种逆向概率而生。
   P（An|B) =  p(An) p(B|An)/p(B)   公式应用：   已知共有100封邮件，其中正常的邮件有70封，而垃圾邮件有30封。‘兼职’这个词在正常邮件中共出现了10次，在垃圾邮件中共出现了20次。   需要求解：包含‘兼职’这个词的邮件属于垃圾邮件的概率是多少   P(垃圾邮件|兼职)=p(垃圾邮件) P(兼职|垃圾邮件)/p(兼职)   p(垃圾邮件) = 30/(70+30)=0.3   p(兼职) = (10+20)/100=0.3   P(兼职|垃圾邮件) = 20/30   P(垃圾邮件|兼职) =0.3*0.67/0.3=0.67
   朴素贝叶斯是一种简单但极为强大的预测建模算法，之所以称为朴素贝叶斯，是因为他假设的每个特征都是独立的。   如：
                                           简化为：

5. 贝叶斯逻辑的贝叶斯

贝叶斯英国数学家.1702年出生于伦敦，做过神甫.1742年成为英国皇家学会会员.1763年4月7日逝世.贝叶斯在数学方面主要研究概率论.他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献.1763年发表了这方面的论著，对于现代概率论和数理统计都有很重要的作用.贝叶斯的另一著作《机会的学说概论》发表于1758年.贝叶斯所采用的许多术语被沿用至今.

6. 贝叶斯分类

贝叶斯分类算法是：统计学的一种分类方法，它是一类利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯(Naïve Bayes，NB)分类算法可以与决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，而且方法简单、分类准确率高、速度快。
贝叶斯网络是：一种概率网络，它是基于概率推理的图形化网络，而贝叶斯公式则是这个概率网络的基础。

贝叶斯网络是基于概率推理的数学模型,所谓概率推理就是通过一些变量的信息来获取其他的概率信息的过程，基于概率推理的贝叶斯网络(Bayesian network)是为了解决不定性和不完整性问题而提出的。
它对于解决复杂设备不确定性和关联性引起的故障有很的优势，在多个领域中获得广泛应用。
贝叶斯分类算法是统计学的一种分类方法，它是一类利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯(Naïve Bayes，NB)分类算法可以与决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，而且方法简单、分类准确率高、速度快。
由于贝叶斯定理假设一个属性值对给定类的影响独立于其它属性的值，而此假设在实际情况中经常是不成立的，因此其分类准确率可能会下降。为此，就衍生出许多降低独立性假设的贝叶斯分类算法，如TAN(tree augmented Bayes network)算法。

7. 贝叶斯分类

贝叶斯分类算法是统计学的一种分类方法，它是一类利用概率统计知识进行分类的算法，包括 朴素贝叶斯算法和TAN算法（树增强型朴素贝叶斯算法）。

在许多场合，朴素贝叶斯（Naïve Bayes，NB）分类算法可以与决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，而且方法简单、分类准确率高、速度快。

由于贝叶斯定理假设一个属性值对给定类的影响独立于其它属性的值，而此假设在实际情况中经常是不成立的，因此其分类准确率可能会下降。为此，就衍生出许多降低独立性假设的贝叶斯分类算法，如TAN（tree augmented Bayes network）算法。

8. 贝叶斯分类

一   ，贝叶斯定理：
  
 后验概率 :  P（H|X）
  
 先验概率 :  P (H)
  
 
  
                                          
 二 ，朴素贝叶斯分类（已知类标号，假设属性的值条件地独立）
  
 1.用类标号计算出先验概率 P(Ci)
  
 2.对每个不同的属性计算每个属性对应的P(X|Ci)
  
 3.假设属性独立，计算基于类标号的P(X|Ci) (每一个独立相乘)
  
 4.最终求出P（X|Ci）*P(Ci)的最大值
  
 
  
                                          
 三 .贝叶斯网络（已知类标号，联合概率分布，允许变量子集间定义类条件独立性）
  
 分为两部分：无环图 和 条件概率表
  
     1. 无环图
  
    结点表示随机变量，弧表示概率依赖，弧前端是双亲节点，后端是后继，不在弧上的后继称为非后继
  
  例图：
  
 
  
                                          
 2. 条件概率表 
  
 例：
  
 
  
                                                                                  
 四 ，训练贝叶斯信念网络
  
 情况一：如果网络机构已知并且变量是可见的，训练网络直接计算CPT，与朴素贝叶斯涉及的计算概念类似
  
 情况二：变量隐藏条件下，用梯度下降方法训练信念网络