极大似然估计(MLE)
已知某个随机样本满足某种概率分布，但是其中具体参数不清楚，参数估计就是通过若干次实验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率样本，所以干脆就把这个参数作为估计的真实值。（注意：极大似然估计的前提一定是要假设数据总体的分布，如果不知道数据分布，是无法使用极大似然估计的。求解的参数$\theta$为该分布的参数，像抛硬币例子就是二项分布）
定义：设总体分布为$f(x,\theta),x_{1},x_{2},…,x_{n}$为总体采集到的样本。因为$x_{1},x_{2},…,x_{n}$独立同分布(所以他们的联合概率为连乘)，于是，他们的联合密度函数为：（这里也是似然函数）
(这里经常有把$\theta$放到前面的$L(\theta|x)$，因为似然是关于$\theta$的函数)
求最大似然估计值的一般步骤：
1）写出似然函数；
2）对似然函数取对数，得到对数似然函数；
3）若对数似然函数可导，求导，解方程组$L(\theta_{1},\theta_{2},…,\theta_{k})=\sum_{i=1}^{n}{f(x_{i}|\theta_{1},\theta_{2},…,\theta_{k})}$，得到驻点；
4）分析驻点是极大值点。
举例：抛硬币
假设一枚硬币，正面概率为p(正) ，反面为p(反) = 1 - p(正)。现在进行10次抛掷，得到结果为1101110011（1-正，0-反）。计算似然函数如下：
解一元多次方程组，消次，两边去对数：
求导，取得极值点：
得到：$p(正) = \frac{7}{10}$,即$p(正|\theta)$,这是一个正面概率为0.7的硬币。(这参数$\theta$无具体求解值，可抽象理解为这枚硬币的特性）。