最大似然法与似然函数

在统计学中，最大似然估计，也称最大概似估计，是用来估计一个概率模型的参数的一种方法

通俗来讲，最大似然估计是利用已知的样本的结果，在使用某个模型的基础上，反推最有可能导致这样结果的模型参数值。

给定一个概率分布 ${displaystyle D}​$ ，已知其概率密度函数（连续分布）或概率质量函数（离散分布）为 $f_D​$，以及一个分布参数 ${displaystyle heta }​$ ，我们可以从这个分布中抽出一个具有$ {displaystyle n} ​$个值的采样$ {displaystyle X_{1},X_{2},ldots ,X_{n}}​$，利用${displaystyle f_{D}}​$计算出其似然函数：

​ $$lik( heta|x_1,...,Xn)=f_{ heta}(x_1,...x_n)$$

　理解一：

​ $L( heta|x)=f(x| heta)$

上述公式从两个角度描述了某一事件发生的情况。该等式两边都表示这个事件发生的概率。

在给定样本后，我们去想这个样本出现的可能性到底有多大？在统计学上，我们认为样本的出现是服从分布函数的，我们假设这个分布函数位$f$，里面含有参数$ heta$，对于不同的$ heta$，样本的分布也不一样。$f(x| heta)$ 就表示子在给定参数$ heta$的时候，x出现的概率为多少。

$L( heta|x)$则表示，在给定样本的x的时候，存在哪一个参数$ heta$使得x出现的可能性最大。等式的意义表示给定一个参数$ heta$和一个样本$x$的时候整个事件的可能性多大。

理解二：

在这种意义上，似然函数可以理解为条件概率的逆反。在已知某个参数$ heta$时，事件A会发生的概率写作：

​ $$P(A| heta)=frac{P(A, heta)}{P( heta)}$$

然后似然函数是已知$X$对于$ heta$的函数，根据贝叶斯定理，

​ $$P( heta|A)=frac{P(A| heta)P( heta)}{P(A)}$$

最大似然估计：当我们知道总体的概率分布模型的时候，但是不知道概率分布函数的参数的情况下，我们用样本来估计参数。

简单来说，就是通过确定分布函数的参数是多少的情况下，使得我们抽的当下样本的概率最大

对于极大似然估计采取的步骤一般为：

写出似然函数；

如果无法直接求导的话，对似然函数取对数；

求导数，令导数为0，得到似然方程；

解似然方程，得到的参数即为所求；

为什么要使用对数似然函数？

１．如果假设条件是独立同分布，那么似然函数往往是连乘的形式，这样子求偏导数，不容易；通过取对数的形式将连乘变为求和

２．概率值是小数，多个连乘的情况下，容易造成下溢