极大似然估计详解 - CSDN博客
极大似然估计详解
极大似然估计
& & & & 以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计有了新的认识，总结如下：
贝叶斯决策
& & & & 首先来看贝叶斯分类，我们都知道经典的贝叶斯公式：
& & & & 其中：p(w)：为先验概率，表示每种类别分布的概率；：类条件概率，表示在某种类别前提下，某事发生的概率；而为后验概率，表示某事发生了，并且它属于某一类别的概率，有了这个后验概率，我们就可以对样本进行分类。后验概率越大，说明某事物属于这个类别的可能性越大，我们越有理由把它归到这个类别下。
& & & & 我们来看一个直观的例子：已知：在夏季，某公园男性穿凉鞋的概率为1/2，女性穿凉鞋的概率为2/3，并且该公园中男女比例通常为2:1，问题：若你在公园中随机遇到一个穿凉鞋的人，请问他的性别为男性或女性的概率分别为多少？
& & & & 从问题看，就是上面讲的，某事发生了，它属于某一类别的概率是多少？即后验概率。
& & & & 设：
& & & & 由已知可得：
& & & & 男性和女性穿凉鞋相互独立，所以
（若只考虑分类问题，只需要比较后验概率的大小，的取值并不重要）。
& & & & 由贝叶斯公式算出：
& & & & 但是在实际问题中并不都是这样幸运的，我们能获得的数据可能只有有限数目的样本数据，而先验概率和类条件概率(各类的总体分布)都是未知的。根据仅有的样本数据进行分类时，一种可行的办法是我们需要先对先验概率和类条件概率进行估计，然后再套用贝叶斯分类器。
& & & & 先验概率的估计较简单，1、每个样本所属的自然状态都是已知的（有监督学习）；2、依靠经验；3、用训练样本中各类出现的频率估计。
& & & & 类条件概率的估计（非常难），原因包括：概率密度函数包含了一个随机变量的全部信息；样本数据可能不多；特征向量x的维度可能很大等等。总之要直接估计类条件概率的密度函数很难。解决的办法就是，把估计完全未知的概率密度转化为估计参数。这里就将概率密度估计问题转化为参数估计问题，极大似然估计就是一种参数估计方法。当然了，概率密度函数的选取很重要，模型正确，在样本区域无穷时，我们会得到较准确的估计值，如果模型都错了，那估计半天的参数，肯定也没啥意义了。
& & & & 上面说到，参数估计问题只是实际问题求解过程中的一种简化方法（由于直接估计类条件概率密度函数很困难）。所以能够使用极大似然估计方法的样本必须需要满足一些前提假设。
& & & &&重要前提：训练样本的分布能代表样本的真实分布。每个样本集中的样本都是所谓独立同分布的随机变量 (iid条件)，且有充分的训练样本。
极大似然估计
& & & & 极大似然估计的原理，用一张图片来说明，如下图所示：
& & & & 总结起来，最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。
& & & & 原理：极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。
& & & & 由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：
& & & & 似然函数（linkehood function）：联合概率密度函数称为相对于的θ的似然函数。
& & & & 如果是参数空间中能使似然函数最大的θ值，则应该是“最可能”的参数值，那么就是θ的极大似然估计量。它是样本集的函数，记作：
求解极大似然函数
& & & & ML估计：求使得出现该组样本的概率最大的θ值。
&&&&&&&& 实际中为了便于分析，定义了对数似然函数：
& & & & 1. 未知参数只有一个（θ为标量）
& & & & 在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解：
& & & & 2.未知参数有多个（θ为向量）
& & & & 则θ可表示为具有S个分量的未知向量：
&&&&&&&& 记梯度算子：
&&&&&&&& 若似然函数满足连续可导的条件，则最大似然估计量就是如下方程的解。
&&&&&&&& 方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。
极大似然估计的例子
& & & & 例1：设样本服从正态分布，则似然函数为：
& & & & 它的对数：
& & & & 求导，得方程组：
& & & & 联合解得：
& & & & 似然方程有唯一解：，而且它一定是最大值点，这是因为当或时，非负函数。于是U和的极大似然估计为。
& & & & 例2：设样本服从均匀分布[a, b]。则X的概率密度函数：
& & & & 对样本：
& & & & 很显然，L(a,b)作为a和b的二元函数是不连续的，这时不能用导数来求解。而必须从极大似然估计的定义出发，求L(a,b)的最大值，为使L(a,b)达到最大，b-a应该尽可能地小，但b又不能小于，否则，L(a,b)=0。类似地a不能大过，因此，a和b的极大似然估计：
& & & & 求最大似然估计量的一般步骤：
& & & & （1）写出似然函数；
& & & & （2）对似然函数取对数，并整理；
& & & & （3）求导数；
& & & & （4）解似然方程。
& & & & 最大似然估计的特点：
& & & & 1.比其他估计方法更加简单；
& & & & 2.收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；
& & & & 3.如果假设的类条件概率模型正确，则通常能获得较好的结果。但如果假设模型出现偏差，将导致非常差的估计结果。
正态分布ML估计的Matlab实例：
本文已收录于以下专栏：
相关文章推荐
Logistic回归
# logistic回归
实际上线性最小二乘回归和Logistic回归都是广义线性模型的一个特例。当随机变量Y服从高斯分布，那么得到的...
上大学学习数理统计这门课程的时候，没有特别用心。说实话统计学还是挺枯燥的，而且当时也没有太多的学习意识，不知道为什么要学这些貌似八竿子打不着的东西。现在想想，当时真是too simple，someti...
http://blog.csdn.net/pipisorry/article/details/最大似然估计MLE顾名思义，当然是要找到一个参数，使得L最大，为什么要使得它最大呢，因为X...
在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”...
这个算法搞得我晚上十点打电话给弟弟，问Ln(x)，1/x的导数公式。很惭愧，大学时被我用的出神入化、化成灰我都能认出的求导公式，我今天居然忘了；这时也要说说西市佳园的移动网络信号，真不怎么好。这次我重...
第二十六章：基于给定的文档生成倒排索引的编码与实践作者：July、yansha。出处：结构之法算法之道引言
本周实现倒排索引。实现过程中，寻找资料，结果发现找份资料诸多不易：1、网上搜倒排索引实...
使用python的hdfs包操作HDFS文件系统，实例+参数的详细说明，参考官网资料整理的一篇博客...
1，首先打开终端
open ~/.bash_profile
打开配置文件
2. 写入python的外部环境变量（本人的版本是3.4）
export PATH=${PATH}:...
============================================================================================
《机器学习实战...
原作地址：/forums/838/PrintPost.shtmlJonvie , 21:28 下午 远程获取网页内容.经过一定的处理和灵活应用,可...
他的最新文章
讲师：何宇健
讲师：董岩
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)TOP热门关键词
专题页面精选
请问下各位大牛：小弟，在用matlab编程计算知情交易者概率时遇到一个问题，麻烦各位解答一下程序代码如下function[para,fv]=my_mle1(fun,para0,varargin)para0=para0(:);[para,fv]=fminsearch(fun,para0,[],2,vararg ...
请问下各位大牛：
小弟，在用matlab编程计算知情交易者概率时遇到一个问题，麻烦各位解答一下
程序代码如下
function [para,fv]=my_mle1(fun,para0,varargin)
para0=para0(:);
[para,fv]=fminsearch(fun,para0,[],2,varargin{:});
function f=pin(para,num,B,S)
alpha=para(1);
mu=para(2);
eb=para(3);
es=para(4);
delta=para(5);
M=(min(B,S)+max(B,S))/2;
xs=es/(es+mu);
xb=eb/(eb+mu);
yy=(-eb-es + M*(log(xb) +log(xs)) + ...
B*log(mu+eb)+S*log(mu+es) )+ ...
log( alpha*(1-delta)*exp(-mu)*(xs.^(S-M)) .*(xb.^sym(-M)) + ...
alpha* delta*exp(-mu) *(xb.^(B-M)).*(xs.^(-M)) + ...
(1-alpha)*(xs.^(S-M)).*(xb.^(B-M)));
f=log(yy);
f=-sum(log(yy));
输入指令：B=x1PIN(:,3)
S=x1PIN(:,4)
[para,fv]=my_mle1('pin',[0.5;400;.5],B,S)后
??? Error using ==& sym.sym&notimplemented at 2514
Function 'lt' is not implemented for MuPAD symbolic objects.
Error in ==& sym.sym&sym.lt at 803
notimplemented('lt');
Error in ==& fminsearch at 323
if fxr & fv(:,1)
Error in ==& my_mle1 at 3
[para,fv]=fminsearch(fun,para0,[],2,varargin{:});
肿么办啊！
「就学高端版」APP：随身顾问，立即就学！
期刊投稿----核心期刊编辑帮您了解投稿、审稿规则，提高投稿命中率！
考研咨询----国内经管名校研究生，为您解答疑惑、分享经验！
高考择校----高校老师为您介绍学校、专业情况，助您成功选择理想大学！
扫描下方二维码下载并注册APP
本文关键词： 本文论坛网址：
您可能感兴趣的文章
本站推荐的文章
本文标题：
本文链接网址：
1.凡人大经济论坛-经管之家转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责；
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性，不作出任何保证或承若；
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。查看: 3724|回复: 13|关注: 0
Copula极大似然估计出错问题
<h1 style="color:# 麦片财富积分
新手, 积分 6, 距离下一级还需 44 积分
关注者： 3
& & 我最近在做阿基米德Copula的极大似然估计拟合参数的问题，下面是我的代码：
& &cpdf=@(u,v,alpha)(-1+alpha^2*(u+v-u.*v-1)-alpha*(u+v+u.*v-2))./(-1+alpha*(u-1).*(v-1)).^3;& &fun=@(alpha)-sum(log(cpdf(u,v,alpha)));
& &[parahat fval]=fminsearch(fun,0.8);
& &alpha_mle=
& &pdfval=-
我拟合了10种阿基米德Copula，没有密度函数的都没有模拟，可是总是会出现拟合的时候计算出来的Pdfval，即极大似然函数和带有复数 i，像我下面这样的：
&&种类& &非参Alpha& & MLE计算出的Alpha&&MLE值& &第1种检验P值&&第2种检验P值&&第3种检验P值
4& && && && && &1.53& && && && && && &1.26& && && && &&&62.53& && &&&0.000003& && && &&&0.044& && && & 0.000006
5& && && && && &3.4& && && && && && &&&3.65& && && && &&&87.25& && && &0.108& && && && && & 0.22& && && && &&&0.97
12& && && && & 1.02& && && && && && &0.599& && && &&&有复数 i& && && & 省& && && && && && && &省& && && && && && & 省
并且我在换了其他数据之后，在进行拟合优度检验的时候出现：
??? Error using ==& kstest at 132
CDF must define an increasing function of X.
然后我仔细检查了哪里出了错，因为我们检验的时候是拿得到的Copula的分布函数与均匀分布进行KSTEST，而将MLE代入其中得到许多的复数 i，导致出现了上面的错误。
我想请问谢老师这个有办法解决吗？这个是毕业论文啊，希望老师多多帮助！！！！
《MATLAB从零到进阶》版块优秀回答者
<h1 style="color:#1 麦片财富积分
关注者： 250
你用mle函数，限定参数的取值范围试试。
<h1 style="color:# 麦片财富积分
关注者： 3
谢中华 发表于
你用mle函数，限定参数的取值范围试试。
老师，可是我的密度函数是二元的，MLE总是报错说Must be a vector
《MATLAB从零到进阶》版块优秀回答者
<h1 style="color:#1 麦片财富积分
关注者： 250
&& UV = [U,V];
&& pdffun = @(uv,alpha)(-1+alpha^2*(uv(:,1)+uv(:,2)-u(:,1).*uv(:,2)-1)-alpha*(uv(:,1)+uv(:,2)+uv(:,1).*uv(:,2)-2))./(-1+alpha*(uv(:,1)-1).*(uv(:,2)-1)).^3
&& [phat,pci] = mle(UV,'pdf',pdffun,'start',1,'lowerbound',-inf,'upperbound',inf)
<h1 style="color:# 麦片财富积分
关注者： 3
谢中华 发表于
&& pdffun = @(uv,alpha)(-1+alpha^2*(uv(:,1)+uv(:,2)-u(:,1).*uv(:,2)-1)-alpha*(uv(:,1)+uv(: ...
谢谢！！！
<h1 style="color:# 麦片财富积分
楼主，我也在做二元copula的极大似然估计，遇到困难了，你能把全部程序贴出来么？我学习学习，谢了
<h1 style="color:# 麦片财富积分
关注者： 1
楼主，能把你的关键code贴出来吗？我也是，我的问题还是和你的一样，改成谢老师那样的也不行。
<h1 style="color:# 麦片财富积分
关注者： 1
UV=[&&1 1 7 3 4 9 8 7 7 5 7 6 7 6 8 5 6 7 6; 0 0 1 1 1 1 0 1 1 1 0 1 1 1 1 0 0 0 1]'
pdffun = @(uv,q)(uv(:,1).*(1-uv(:,2)).*q+uv(:,2).*log(1-q.^uv(:,1)))
[phat,pci] = mle(UV,'pdf',pdffun,'start',0.5)
??? Error using ==& mle at 208
DATA must be a vector.
<h1 style="color:# 麦片财富积分
UV=[&&1 1 7 3 4 9 8 7 7 5 7 6 7 6 8 5 6 7 6; 0 0 1 1 1 1 0 1 1 1 0 1 1 1 1 0 0 0 1]'
pdffun = @(uv,q ...
你好，请问你解决了这个问题吗，我也在用mle函数，估计三维copula函数的参数值。请问能不能告诉我你是如何解决的，我也学习学习了
<h1 style="color:# 麦片财富积分
UV=[&&1 1 7 3 4 9 8 7 7 5 7 6 7 6 8 5 6 7 6; 0 0 1 1 1 1 0 1 1 1 0 1 1 1 1 0 0 0 1]'
pdffun = @(uv,q ...
你好，请问你解决了这个问题吗，我也在用mle函数，估计三维copula函数的参数值。请问能不能告诉我你是如何解决的，我也学习学习了
站长推荐 /1
MATLAB中文论坛是全球最大的 MATLAB & Simulink 中文社区。用户免费注册会员后，即可下载代码，讨论问题，请教资深用户及结识书籍作者。立即注册加入我们吧！
MATLAB官方社交平台
MATLAB中文论坛微社区请教matlab大神！！如何使用matlab实现最大似然估计_百度知道
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。
请教matlab大神！！如何使用matlab实现最大似然估计
b。其中a,c，第一列为时间序列t我有两列数据,d，第二列是已知的数列x，每一列游50个数值，两列数据总体上满足方程x=a*t+b+c*sin(p*t)+d*cos(p*t)
我有更好的答案
建议你先复习一下概率中极大似然法，然后看matlab在概率论中的应用
都不看书的嘛。。。
这个，，，主要是没有看懂
争议有偿解答
怎么个有偿法?
回复 ◆◇残梦53 ：收费
1条争议回答
为您推荐：
其他类似问题
似然的相关知识
等待您来回答