一些常见的概率
联合概率：联合概率指的是包含多个条件且所有条件同时成立的概率，记作p(X=a,Y=b)或p(a,b),有的书上也习惯记作p(ab),但是这种记发个人不太习惯，所以下文采用以逗号分隔的记法。一定要注意的是所有条件同时成立。
边缘概率：边缘概率是和联合概率对应的，p(X=a)或p(Y=b),这类仅于单个随机变量有关的概率称为边缘概率。
联合概率和边缘概率的关
求和符号表示穷举所有Y（或X）所能取得b（或a）后，所有对应值相加得到的和.
条件概率：条件概率表示在条件Y=b成立的情况下，X=a的概率，记作p(a|b),它具有如下性质：“在条件Y=b下X的条件分布”也是一种“X的概率分布”，因此穷举X的可取值之后，所有这里值对应的概率之和为1，即：
联合概率、边缘概率与条件概率之间的关系：
先验概率：根据以往的经验和分析得到的概率，如全概率公式，它往往作为“由因求果”问题中的“因”出现。P(原因)、P(结果|原因)等.
后验概率：依据得到“结果”信息所计算的最优可能是那种事件发生，如贝叶斯公式中的，是“执果寻因”问题中的“因”。后延概率可以根据贝叶斯公式，用先验概率和似然函数计算出来。P(原因|结果)等.
简单例子：抛掷一枚硬币，按经验来说，出现正反面的概率都应该为0.5，这就是先验概率。而实际上一枚硬币可能是不标准的，它的正反面出现的不一定是0.5，这种基于某一枚指定的硬币抛掷结果的到概率称为后验概率。由这枚硬币抛掷的结果来求得正反面概率p(正反|抛掷结果)。
贝叶斯定理：假设B1,B2,…,Bn互斥且构成一个完全事件，已知他们的概率p(Bi),i=1,2,…,n ,现观察到某事件A与B1,B2,…,Bn相伴随机出现，且已知条件概率p(A|Bi),求p(Bi|A).公式如下：
贝叶斯公式解决的是一些原因（B）无法直接观测，测量，而我们希望通过其结果（A）来反推出原因的问题，也就是知道一部分先验概率，来求后验概率的问题。（有点像交换律的感觉）
这里的贝叶斯公式完全可以通过上面的条件概率公式推导出来。