学习笔记|卡尔曼滤波，粒子滤波，动态贝叶斯网络（1） - 简书
学习笔记|卡尔曼滤波，粒子滤波，动态贝叶斯网络（1）
最近一段时间，终于从纷繁的文献中走出来了，大致能缕清楚卡尔曼滤波，粒子滤波，动态贝叶斯网络之间的关系了。写一篇学习日志，mark一下，用通俗易懂的话帮助自己理解那些莫名其妙的公式。简书不能输入公式，真是蛋疼，，，只好用图片凑活了，确实有点丑。
1.知识预热——条件概率与贝叶斯公式
条件概率的定义: 设A，B为随机试验的二个3事件，且P(A)&0，则称P(B|A)为在事件A发生的条件下事件B发生的条件概率。这条定义很简单，就不做过多解释，需要关注它的乘法定理，
由乘法定理就很容易推出全概率公式，
，全概率公式也叫贝叶斯公式。式中P(A)，P(B)称为先验概率，之所以称为先验概率，是因为它们根据以往经验和分析得到的概率，不考虑与其他事件的联系。P(A|B)则称为B发生后A的后验概率，它通常是‘’因果‘’中的“果”，所以被称为后验概率。注意式中事件B往往被认为是“因”，是给定的，也就是说P(B)往往是一个常数，分母P(B)可以被扔掉，贝叶斯公式又可以被表示为，
上式中的α表示归一化处理，保证概率和是1。由于
所以贝叶斯公式也可以被表示为，
贝叶斯公式
痛苦的经历告诉我，牢牢掌握条件概率和贝叶斯公式十分重要！它是后边一切推论呢基础！
2.一般时序模型
在去理解卡尔曼滤波，粒子滤波这些方法之前，一定要搞清楚我们要解决的问题是什么。根据《人工智能，一种现代方法》，我们可以建立起一个一般时间序列模型（简称时序模型），它规范了我们要解决的所有问题，如下图所示。
一般时序模型
这个模型包含两个序列，一个是状态序列，用X表示，一个是观测序列（又叫测量序列、证据序列、观察序列，不同的书籍有不同的叫法，在这里统一叫观测序列。）用Y表示。状态序列反应了系统的真实状态，一般不能被直接观测，即使被直接观测也会引进噪声；观测序列是通过测量得到的数据，它与状态序列之间有规律性的联系。举个例子，假设有一个人待在屋子里不知道外边有没有下雨，他于是观察进屋子里的人是否带伞，这里有没有下雨就是状态，有没有带伞就是观测。上边这个模型有两个基本假设:一是马尔可夫假设。假设当前状态只与上一个状态有关，而与上一个状态之前的所有状态无关。用公式来表示（式中1:t表示时刻1到时刻t的所有采样时刻），
马尔科夫假设
上面的P被称为状态转移概率。例如上面那个雨伞的例子，我们会认为今天下不下雨只与昨天下不下雨有关，与以前没有关系。二是观测假设（又叫证据假设，观察者假设）。假设当前观测值只依赖于当前状态，与其他时刻的状态无关。用公式来表示，
上面的P被称为观测概率（也有其他叫法）。例如上面那个雨伞的例子，进来的人带不带伞只与今天下不下雨有关系，与之前或未来下不下雨没关系。由此，一个模型（记为λ）可以被状态转移概率矩阵和观测概率矩阵唯一确定。这两个假设可以极大地将问题简化，而且很多实际情况符合这两个假设，即使有些偏差，我们也可以对模型进行拓展。例如雨伞的例子，我们认为今天下不下雨不仅与昨天有关，还与前天甚至更早的时间有关，那么就可以对马尔可夫假设进行拓展，拓展成二阶甚至更高阶的马尔可夫模型，例如二阶
那么这个模型需要完成的任务有哪些呢？主要有以下几个方面:（1）滤波，计算
即根据现在及现在以前的所有测量数据，估计当前的状态。在雨伞那个例子中，根据目前为止过去进屋的人携带雨伞的所有观察数据，计算今天下雨的概率，这就是滤波。（2）预测，计算
。即根据现在及现在以前的所有测量数据，估计未来某个时刻的状态。在雨伞的例子中，根据目前为止过去进屋的人携带雨伞的所有观察数据，计算从今天开始若干天后下雨的概率，这就是预测。（3）平滑，计算
。即根据现在及现在以前的所有测量数据，估计过去某个时刻的状态。在雨伞的例子中，意味着给定目前为止过去进屋的人携带雨伞的所有观察数据，计算过去某一天的下雨概率。（4）最可能解释，计算
即给出现在及现在以前的所有测量数据，找到最能最可能生成这些测量数据的状态序列。例如，如果前三天每天都出现雨伞，但第四天没有出现，最有可能的解释就是前三天下雨了，而第四天没下雨。最可能解释也被称为解码问题，在语音识别、机器翻译等方面比较有用，最典型的方法是隐马尔可夫模型。（5）评估（这是我自己加的，我觉得有必要加上这一点），计算
这里面的λ是指模型，这个公式意味着在该模型下，给定到目前为止的状态序列，计算输出特定观测序列的可能性。这其实是个评估问题，可以评估模型的好坏，概率越高，意味着模型越能反映观测序列与状态序列之间的联系，模型就越好。（6）学习。计算λ，也即状态转移概率和观测概率
学习的目的是根据历史数据得到合理的模型，一般是根据一个目标函数，对模型进行迭代更新，例如使（5）中要计算的值最大便可以作为一个目标。
上边列出了一般时序模型要解决的所有问题，囊括的内容非常丰富，占了人工智能很大一块。尽管滤波只是其中一项，但理解模型的总体会对理解滤波有所帮助。下面把目光聚焦到滤波上来。
3.滤波问题
根据目前为止过去所有的测量数据，估计当前的状态，这便是滤波，但直接计算会有一个很明显的问题。注意到，计算值的条件是过去所有的测量数据，意味着计算每一个时刻的概率都要回顾整个历史测量数据，那么随着时间的推移，更新的代价会越来越大。所以需要找到一种办法，根据时刻t的滤波结果，和时刻t+1时刻的测量数据，就能计算出t+1时刻的滤波结果，这个计算过程叫做递归估计。用公式来表示，存在某个函数f，满足：
为了得到上面那个函数，对要求的概率作以下变换
第一步到第二步根据贝叶斯方程，第二步到第三步根据观测假设。第三步的的前一项是状态转移概率，模型已知，后面一项是一个单步预测，对单步预测做进一步的转换：
式中第一步应该比较好理解，t+1时刻某个状态可能由t时刻任何一个状态转移而来，所以t+1时刻某个状态的概率就等于t时刻所有可能状态的概率乘以相应的转移概率求和，第一步到第二步根据贝叶斯方程，第二步到第三步根据马尔科夫假设。注意到第三步第一项是状态转移概率，模型已知，第二项即t时刻的滤波结果，这样我们就可以利用t时刻的滤波结果递推t+1时刻的滤波结果了。递推公式可以表示为，
这种方法被称为前向递归。这里表示的状态是离散的，如果是连续的求和符号改为积分符号即可。
但这种方法有个最大的问题就是有确切的模型，也就是说状态转移概率和观测概率必须是已知的，但大多数情况它们并不是已知的，当然可以通过学习得到，但学习本身并不是那么容易的，那么如何才能在模型未知的情况下，实现上述递推呢？接下来就要看看卡尔曼滤波怎么巧妙地解决这个问题了！
今天先写到这，敲公式真心耗时间！！！
把写作当成一种修行卡尔曼滤波的原理说明（R]
我的图书馆
卡尔曼滤波的原理说明（R]
卡尔曼滤波的原理说明（R）
在学习卡尔曼滤波器之前，首先看看为什么叫&#8220;卡尔曼&#8221;。跟其他著名的理论（例如傅立叶变换，泰勒级数等等）一样，卡尔曼也是一个人的名字，而跟他们不同的是，他是个现代人！卡尔曼全名Rudolf Emil Kalman，匈牙利数学家，1930年出生于匈牙利首都布达佩斯。年于麻省理工学院分别获得电机工程学士及硕士学位。1957年于哥伦比亚大学获得博士学位。我们现在要学习的卡尔曼滤波器，正是源于他的博士论文和1960年发表的论文《A New Approach to Linear Filtering and Prediction Problems》（线性滤波与预测问题的新方法）。如果对这编论文有兴趣，可以到这里的地址下载： 简单来说，卡尔曼滤波器是一个&#8220;optimal recursive data processing algorithm（最优化自回归数据处理算法）&#8221;。对于解决很大部分的问题，他是最优，效率最高甚至是最有用的。他的广泛应用已经超过30年，包括机器人导航，控制，传感器数据融合甚至在军事方面的雷达系统以及导弹追踪等等。近年来更被应用于计算机图像处理，例如头脸识别，图像分割，图像边缘检测等等。2．卡尔曼滤波器的介绍（Introduction to the Kalman Filter）为了可以更加容易的理解卡尔曼滤波器，这里会应用形象的描述方法来讲解，而不是像大多数参考书那样罗列一大堆的数学公式和数学符号。但是，他的5条公式是其核心内容。结合现代的计算机，其实卡尔曼的程序相当的简单，只要你理解了他的那5条公式。在介绍他的5条公式之前，先让我们来根据下面的例子一步一步的探索。假设我们要研究的对象是一个房间的温度。根据你的经验判断，这个房间的温度是恒定的，也就是下一分钟的温度等于现在这一分钟的温度（假设我们用一分钟来做时间单位）。假设你对你的经验不是100%的相信，可能会有上下偏差几度。我们把这些偏差看成是高斯白噪声（White Gaussian Noise），也就是这些偏差跟前后时间是没有关系的而且符合高斯分配（Gaussian Distribution）。另外，我们在房间里放一个温度计，但是这个温度计也不准确的，测量值会比实际值偏差。我们也把这些偏差看成是高斯白噪声。好了，现在对于某一分钟我们有两个有关于该房间的温度值：你根据经验的预测值（系统的预测值）和温度计的值（测量值）。下面我们要用这两个值结合他们各自的噪声来估算出房间的实际温度值。假如我们要估算k时刻的是实际温度值。首先你要根据k-1时刻的温度值，来预测k时刻的温度。因为你相信温度是恒定的，所以你会得到k时刻的温度预测值是跟k-1时刻一样的，假设是23度，同时该值的高斯噪声的偏差是5度（<font color=#是这样得到的：如果k-1时刻估算出的最优温度值的偏差是3，你对自己预测的不确定度是4度，他们平方相加再开方，就是5）。然后，你从温度计那里得到了k时刻的温度值，假设是25度，同时该值的偏差是4度。由于我们用于估算k时刻的实际温度有两个温度值，分别是23度和25度。究竟实际温度是多少呢？相信自己还是相信温度计呢？究竟相信谁多一点，我们可以用他们的covariance来判断。因为Kg^2=5^2/(5^2+4^2)，所以Kg=0.78，我们可以估算出k时刻的实际温度值是：23+0.78*(25-23)=24.56度。可以看出，因为温度计的covariance比较小（比较相信温度计），所以估算出的最优温度值偏向温度计的值。现在我们已经得到k时刻的最优温度值了，下一步就是要进入k+1时刻，进行新的最优估算。到现在为止，好像还没看到什么自回归的东西出现。对了，在进入k+1时刻之前，我们还要算出k时刻那个最优值（24.56度）的偏差。算法如下：((1-Kg)*5^2)^0.5=2.35。这里的5就是上面的k时刻你预测的那个23度温度值的偏差，得出的2.35就是进入k+1时刻以后k时刻估算出的最优温度值的偏差（对应于上面的3）。就是这样，卡尔曼滤波器就不断的把covariance递归，从而估算出最优的温度值。他运行的很快，而且它只保留了上一时刻的covariance。上面的Kg，就是卡尔曼增益（Kalman Gain）。他可以随不同的时刻而改变他自己的值，是不是很神奇！下面就要言归正传，讨论真正工程系统上的卡尔曼。3． 卡尔曼滤波器算法（The Kalman Filter Algorithm）在这一部分，我们就来描述源于Dr Kalman 的卡尔曼滤波器。下面的描述，会涉及一些基本的概念知识，包括概率（Probability），随即变量（Random Variable），高斯或正态分配（Gaussian Distribution）还有State-space Model等等。但对于卡尔曼滤波器的详细证明，这里不能一一描述。首先，我们先要引入一个离散控制过程的系统。该系统可用一个线性随机微分方程（Linear Stochastic Difference equation）来描述：X(k)=A X(k-1)+B U(k)+W(k) 再加上系统的测量值：Z(k)=H X(k)+V(k) 上两式子中，X(k)是k时刻的系统状态，U(k)是k时刻对系统的控制量。A和B是系统参数，对于多模型系统，他们为矩阵。Z(k)是k时刻的测量值，H是测量系统的参数，对于多测量系统，H为矩阵。W(k)和V(k)分别表示过程和测量的噪声。他们被假设成高斯白噪声(White Gaussian Noise)，他们的covariance 分别是Q，R（这里我们假设他们不随系统状态变化而变化）。对于满足上面的条件(线性随机微分系统，过程和测量都是高斯白噪声)，卡尔曼滤波器是最优的信息处理器。下面我们来用他们结合他们的covariances 来估算系统的最优化输出（类似上一节那个温度的例子）。首先我们要利用系统的过程模型，来预测下一状态的系统。假设现在的系统状态是k，根据系统的模型，可以基于系统的上一状态而预测出现在状态：X(k|k-1)=A X(k-1|k-1)+B U(k) &#8230;&#8230;&#8230;.. (1)式(1)中，X(k|k-1)是利用上一状态预测的结果，X(k-1|k-1)是上一状态最优的结果，U(k)为现在状态的控制量，如果没有控制量，它可以为0。到现在为止，我们的系统结果已经更新了，可是，对应于X(k|k-1)的covariance还没更新。我们用P表示covariance：P(k|k-1)=A P(k-1|k-1) A&#8217;+Q &#8230;&#8230;&#8230; (2)式(2)中，P(k|k-1)是X(k|k-1)对应的covariance，P(k-1|k-1)是X(k-1|k-1)对应的covariance，A&#8217;表示A的转置矩阵，Q是系统过程的covariance。式子1，2就是卡尔曼滤波器5个公式当中的前两个，也就是对系统的预测。现在我们有了现在状态的预测结果，然后我们再收集现在状态的测量值。结合预测值和测量值，我们可以得到现在状态(k)的最优化估算值X(k|k)：X(k|k)= X(k|k-1)+Kg(k) (Z(k)-H X(k|k-1)) &#8230;&#8230;&#8230; (3)其中Kg为卡尔曼增益(Kalman Gain)：Kg(k)= P(k|k-1) H&#8217; / (H P(k|k-1) H&#8217; + R) &#8230;&#8230;&#8230; (4)到现在为止，我们已经得到了k状态下最优的估算值X(k|k)。但是为了要另卡尔曼滤波器不断的运行下去直到系统过程结束，我们还要更新k状态下X(k|k)的covariance：P(k|k)=（I-Kg(k) H）P(k|k-1) &#8230;&#8230;&#8230; (5)其中I 为1的矩阵，对于单模型单测量，I=1。当系统进入k+1状态时，P(k|k)就是式子(2)的P(k-1|k-1)。这样，算法就可以自回归的运算下去。卡尔曼滤波器的原理基本描述了，式子1，2，3，4和5就是他的5 个基本公式。根据这5个公式，可以很容易的实现计算机的程序。下面，我会用程序举一个实际运行的例子。。。4． 简单例子（A Simple Example）这里我们结合第二第三节，举一个非常简单的例子来说明卡尔曼滤波器的工作过程。所举的例子是进一步描述第二节的例子，而且还会配以程序模拟结果。根据第二节的描述，把房间看成一个系统，然后对这个系统建模。当然，我们见的模型不需要非常地精确。我们所知道的这个房间的温度是跟前一时刻的温度相同的，所以A=1。没有控制量，所以U(k)=0。因此得出：X(k|k-1)=X(k-1|k-1) &#8230;&#8230;&#8230;.. (6)式子（2）可以改成：P(k|k-1)=P(k-1|k-1) +Q &#8230;&#8230;&#8230; (7)因为测量的值是温度计的，跟温度直接对应，所以H=1。式子3，4，5可以改成以下：X(k|k)= X(k|k-1)+Kg(k) (Z(k)-X(k|k-1)) &#8230;&#8230;&#8230; (8)Kg(k)= P(k|k-1) / (P(k|k-1) + R) &#8230;&#8230;&#8230; (9)P(k|k)=（1-Kg(k)）P(k|k-1) &#8230;&#8230;&#8230; (10)现在我们模拟一组测量值作为输入。假设房间的真实温度为25度，我模拟了200个测量值，这些测量值的平均值为25度，但是加入了标准偏差为几度的高斯白噪声（在图中为蓝线）。为了令卡尔曼滤波器开始工作，我们需要告诉卡尔曼两个零时刻的初始值，是X(0|0)和P(0|0)。他们的值不用太在意，随便给一个就可以了，因为随着卡尔曼的工作，X会逐渐的收敛。但是对于P，一般不要取0，因为这样可能会令卡尔曼完全相信你给定的X(0|0)是系统最优的，从而使算法不能收敛。我选了X(0|0)=1度，P(0|0)=10。该系统的真实温度为25度，图中用黑线表示。图中红线是卡尔曼滤波器输出的最优化结果（该结果在算法中设置了Q=1e-6，R=1e-1）。
&#215;&#215;&#215;&#215;&#215;&#215;&#215;&#215;&#215;&#215;&#215;&#215;&#215;&#215;&#215;&#215;&#215;&#215;
附matlab下面的kalman滤波程序：clearN=200;w(1)=0;w=randn(1,N)x(1)=0;a=1;for k=2:N;x(k)=a*x(k-1)+w(k-1);endV=randn(1,N);q1=std(V);Rvv=q1.^2;q2=std(x);Rxx=q2.^2; q3=std(w);Rww=q3.^2;c=0.2;Y=c*x+V;p(1)=0;s(1)=0;for t=2:N;p1(t)=a.^2*p(t-1)+Rb(t)=c*p1(t)/(c.^2*p1(t)+Rvv);s(t)=a*s(t-1)+b(t)*(Y(t)-a*c*s(t-1));p(t)=p1(t)-c*b(t)*p1(t);endt=1:N;plot(t,s,'r',t,Y,'g',t,x,'b');
TA的最新馆藏[转]&[转]&[转]&[转]&[转]&[转]&
喜欢该文的人也喜欢对Kalman(卡尔曼)滤波器的理解 - 深海的小鱼儿 - 博客园
1．简介(Brief Introduction) 在学习卡尔曼滤波器之前，首先看看为什么叫“卡尔曼”。跟其他著名的理论（例如傅立叶变换，泰勒级数等等）一样，卡尔曼也是一个人的名字，而跟他们不同的是，他是个现代人！ 卡尔曼全名Rudolf Emil Kalman，匈牙利数学家，1930年出生于匈牙利首都布达佩斯。年于麻省理工学院分别获得电机工程学士及硕士学位。1957年于哥伦比亚大学获得博士学位。我们现在要学习的卡尔曼滤波器，正是源于他的博士论文和1960年发表的论文《A New Approach to Linear Filtering and Prediction Problems》（线性滤波与预测问题的新方法）。如果对这编论文有兴趣，可以到这里的地址下载： http://www.cs.unc.edu/~welch/kalman/media/pdf/Kalman1960.pdf 卡尔曼滤波器到底是干嘛的？我们来看下wiki上的解释： 卡尔曼滤波的一个典型实例是从一组有限的，包含噪声的，对物体位置的观察序列（可能有偏差）预测出物体的位置的坐标及速度。在很多工程应用(如雷达、计算机视觉)中都可以找到它的身影。同时，卡尔曼滤波也是控制理论以及控制系统工程中的一个重要课题。例如,对于雷达来说，人们感兴趣的是其能够跟踪目标。但目标的位置、速度、加速度的测量值往往在任何时候都有噪声。卡尔曼滤波利用目标的动态信息，设法去掉噪声的影响，得到一个关于目标位置的好的估计。这个估计可以是对当前目标位置的估计(滤波)，也可以是对于将来位置的估计(预测)，也可以是对过去位置的估计(插值或平滑)。斯坦利.施密特(Stanley Schmidt)首次实现了卡尔曼滤波器。卡尔曼在NASA埃姆斯研究中心访问时，发现他的方法对于解决阿波罗计划的轨道预测很有用，后来阿波罗飞船的导航电脑便使用了这种滤波器。 关于这种滤波器的论文由Swerling (1958)、Kalman (1960)与 Kalman and Bucy (1961)发表。目前,卡尔曼滤波已经有很多不同的实现.卡尔曼最初提出的形式现在一般称为简单卡尔曼滤波器。除此以外，还有施密特扩展滤波器、信息滤波器以及很多Bierman, Thornton 开发的平方根滤波器的变种。也许最常见的卡尔曼滤波器是锁相环，它在收音机、计算机和几乎任何视频或通讯设备中广泛存在。 简单来说，卡尔曼滤波器是一个“optimal recursive data processing algorithm（最优化自回归数据处理算法）”。对于解决很大部分的问题，他是最优，效率最高甚至是最有用的。他的广泛应用已经超过30年，包括机器人导航，控制，传感器数据融合甚至在军事方面的雷达系统以及导弹追踪等等。近年来更被应用于计算机图像处理，例如头脸识别，图像分割，图像边缘检测等等。 2．卡尔曼滤波器的介绍（Introduction to the Kalman Filter）为了可以更加容易的理解卡尔曼滤波器，首先应用形象的描述方法来讲解，然后我们结合其核心的5条公式进行进一步的说明和探索。结合现代的计算机，其实卡尔曼的程序相当的简单，只要你理解了他的那5条公式。在介绍他的5条公式之前，先让我们来根据下面的例子做个直观的解释。假设我们要研究的对象是一个房间的温度。根据你的经验判断，这个房间的温度是恒定的，也就是下一分钟的温度等于现在这一分钟的温度（假设我们用一分钟来做时间单位）。假设你对你的经验不是100%的相信，可能会有上下偏差几度。我们把这些偏差看成是高斯白噪声（White Gaussian Noise），也就是这些偏差跟前后时间是没有关系的而且符合高斯分配（Gaussian Distribution）。另外，我们在房间里放一个温度计，但是这个温度计也不准确的，测量值会比实际值偏差。我们也把这些偏差看成是高斯白噪声。好了，现在对于某一分钟我们有两个有关于该房间的温度值：你根据经验的预测值（系统的预测值）和温度计的值（测量值）。下面我们要用这两个值结合他们各自的噪声来估算出房间的实际温度值。假如我们要估算k时刻的是实际温度值。首先你要根据k-1时刻的温度值，来预测k时刻的温度。因为你相信温度是恒定的，所以你会得到k时刻的温度预测值是跟k-1时刻一样的，假设是23度，同时该值的高斯噪声的偏差是5度（5是这样得到的：如果k-1时刻估算出的最优温度值的偏差是3，你对自己预测的不确定度是4度，他们平方相加再开方，就是5）。然后，你从温度计那里得到了k时刻的温度值，假设是25度，同时该值的偏差是4度。由于我们用于估算k时刻的实际温度有两个温度值，分别是23度和25度。究竟实际温度是多少呢？相信自己还是相信温度计呢？究竟相信谁多一点，我们可以用他们的covariance来判断。因为Kg^2=5^2/(5^2+4^2)，所以Kg=0.78，我们可以估算出k时刻的实际温度值是：23+0.78*(25-23)=24.56度。可以看出，因为温度计的covariance比较小（比较相信温度计），所以估算出的最优温度值偏向温度计的值。现在我们已经得到k时刻的最优温度值了，下一步就是要进入k+1时刻，进行新的最优估算。到现在为止，好像还没看到什么自回归的东西出现。对了，在进入k+1时刻之前，我们还要算出k时刻那个最优值（24.56度）的偏差。算法如下：((1-Kg)*5^2)^0.5=2.35。这里的5就是上面的k时刻你预测的那个23度温度值的偏差，得出的2.35就是进入k+1时刻以后k时刻估算出的最优温度值的偏差（对应于上面的3）。就是这样，卡尔曼滤波器就不断的把covariance递归，从而估算出最优的温度值。他运行的很快，而且它只保留了上一时刻的covariance。上面的Kg，就是卡尔曼增益（Kalman Gain）。他可以随不同的时刻而改变他自己的值，是不是很神奇！下面就要言归正传，讨论真正工程系统上的卡尔曼。 3． 卡尔曼滤波器算法（The Kalman Filter Algorithm）在这一部分，我们就来描述源于Dr Kalman 的卡尔曼滤波器。下面的描述，会涉及一些基本的概念知识，包括概率（Probability），随即变量（Random Variable），高斯或正态分配（Gaussian Distribution）还有State-space Model等等。但对于卡尔曼滤波器的详细证明，这里不能一一描述。 首先，我们先要引入一个离散控制过程的系统。该系统可用一个线性随机微分方程（Linear Stochastic Difference equation）来描述，我们结合下面PPT截图进行说明：
上两式子中，x(k)是k时刻的系统状态，u(k)是k时刻对系统的控制量。A和B是系统参数，对于多模型系统，他们为矩阵。y(k)是k时刻的测量值，H是测量系统的参数，对于多测量系统，H为矩阵。q(k)和r(k)分别表示过程和测量的噪声。他们被假设成高斯白噪声(White Gaussian Noise)，他们的covariance分别是Q，R（这里我们假设他们不随系统状态变化而变化）。 对于满足上面的条件(线性随机微分系统，过程和测量都是高斯白噪声)，卡尔曼滤波器是最优的信息处理器。先给出KF算法的流程和五个核心更新方程如下： KF算法
五个更新方程为：
编写公式不方便，所以写成了PDF然后做了截图粘在了下面，下面就上面的例子和五个核心的公式对Kalman算法进行下说明：
就这样，算法就可以自回归的运算下去。 看到这聪明的同学可能已经看出来了，问道卡尔曼增益为什么会是第三步中那样求，现在只大致说一下原理，具体推到比较复杂，有兴趣的同学可以参考这文献去推一推。还记得前面我们说的误差协方差矩阵$P_k$么，即求第k次最优温度的误差协方差矩阵，对应于上例中的3和2.35....这些值。看下面PPT，我们最小化P即可得到卡尔曼增益K，对应上例求解K只最小化最优温度值的偏差，即最小化P(K)：
我们由第四步可以看出，k时刻系统的最优温度值=k-1时刻状态估计值（由上一状态的最优温度值加上过程误差）+带卡尔曼增益权值项的偏差。如果观测误差远远大于估计误差，那么K就很小，k时刻的预测值约等于k时刻的状态估计值，如果对i时刻的状态估计值误差远远大于观测误差，此时相应的q较大，K较大，i时刻的状态估计值更倾向于观察的数据。 卡尔曼滤波器的原理基本描述就完成了，希望能帮助大家理解这这5个公式，其算法可以很容易的用计算机的程序实现。下面，我会用程序举一个实际运行的例子。 4． 简单例子（A Simple Example）这里我们结合第二第三节，举一个非常简单的例子来说明卡尔曼滤波器的工作过程。所举的例子是进一步描述第二节的例子，而且还会配以程序模拟结果。根第二节的描述，把房间看成一个系统，然后对这个系统建模。当然，我们见的模型不需要非常地精确。我们所知道的这个房间的温度是跟前一时刻的温度相同的，所以A=1。没有控制量，所以u(k)=0。因此得出：x(k|k-1)=x(k-1|k-1) ……… (6)式子（2）可以改成：P(k|k-1)=P(k-1|k-1) +Q ……… (7)因为测量的值是温度计的，跟温度直接对应，所以H=1。式子3，4，5可以改成以下：X(k|k)= X(k|k-1)+Kg(k) (Z(k)-X(k|k-1)) ……… (8)Kg(k)= P(k|k-1) / (P(k|k-1) + R) ……… (9)P(k|k)=（1-Kg(k)）P(k|k-1) ……… (10)现在我们模拟一组测量值作为输入。假设房间的真实温度为25度，我模拟了200个测量值，这些测量值的平均值为25度，但是加入了标准偏差为几度的高斯白噪声（在图中为蓝线）。为了令卡尔曼滤波器开始工作，我们需要告诉卡尔曼两个零时刻的初始值，是X(0|0)和P(0|0)。他们的值不用太在意，随便给一个就可以了，因为随着卡尔曼的工作，X会逐渐的收敛。但是对于P，一般不要取0，因为这样可能会令卡尔曼完全相信你给定的X(0|0)是系统最优的，从而使算法不能收敛。我选了X(0|0)=1度，P(0|0)=10。 该系统的真实温度为25度，图中用黑线表示。图中红线是卡尔曼滤波器输出的最优化结果（该结果在算法中设置了Q=1e-6，R=1e-1）。
附matlab下面的kalman滤波程序：
clear&&&& N=200;&&&& w(1)=0;&&&&&&&&&&&&&&&&&&&& %w为过程噪声&& w=randn(1,N)&&&& x(1)=25;&&&& a=1;&&&&&&&&&&&&&&&&&&&&&&& %a为方程中A(k)&& for k=2:N;&&&& x(k)=a*x(k-1)+w(k-1);&&&& end&&&&
V=randn(1,N);&&&&&&&&&&&&&& %V为观察噪声&& q1=std(V);&&&& Rvv=q1.^2;&&&& q2=std(x);&&&& Rxx=q2.^2;&&&&& q3=std(w);&&&& Rww=q3.^2;&&&& c=0.2;&&&&&&&&&&&&&&&&&&&&& %c为方程中H(k)&& Y=c*x+V;&&&&&&&&&&&&&&&&&&& %Y为观察值&&
p(1)=0;&&&& s(1)=0;&&&& for t=2:N;&&&& p1(t)=a.^2*p(t-1)+R&&&& %p1为方程中p'&& b(t)=c*p1(t)/(c.^2*p1(t)+Rvv);&&&& s(t)=a*s(t-1)+b(t)*(Y(t)-a*c*s(t-1));&&&& p(t)=p1(t)-c*b(t)*p1(t);&&&& end&&&&
t=1:N;&&&& plot(t,s,'r',t,Y,'g',t,x,'b');&
更为详细的过程可参考有关的资料。 文章参考了： 1 博文/irvkqscjezbrtwq/item/4ad3bb018b8c7e37a3332a07 2 自动化所董秋雷上课课件 3 《学习Opencv》 于仕琪 P384 kalman滤波器部分 4 如果做视频跟踪具体参数选择可参考《数字视频处理》黎洪松 P102-106 5 如果想探索其具体推导过程可参考《现代信号处理》 张贤达 P177-188