香农信息论_百度百科
清除历史记录关闭
声明：百科词条人人可编辑，词条创建和修改均免费，绝不存在官方及代理商付费代编，请勿上当受骗。
香农信息论
香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。概括的讲，香农信息论是以概率论、随机过程为基本研究工具，研究广义通信系统的整个过程，而不是整个环节，并以编、译码器为重点，其关心的是最优系统的性能及如何达到该性能（并不具体设计环节，也不研究信宿）。目前，香农信息论方面值得注意的研究方向有信息概念的深化问题、信息失真理论的发展及在数据压缩中的应用、以计算机为中心的信息处理系统的基本理论等。
香农信息论名称由来
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了（以下简称为“熵”）的定义：香农
这一定义可以用来推算传递经后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。
信息论中的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。
互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：
I(X,Y) = H(X) + H(Y) - H(X,Y)
其中H(X,Y) 是联合熵(Joint Entropy)，其定义为：
互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。
香农信息论研究的主要内容
香农信息论研究的主要内容，包含如下问题：
（1）什么是信息？如何度量？
（2）在给定的信道中，信息传输有没有极限？
（3）信息能否被压缩或恢复？极限条件是什么？
（4）从实际环境中提取信息，极限条件是什么？
（5）在允许一定失真的条件下，信息能否被更大程度地压缩？极限条件是什么？
（6）设计什么样的系统才能达到上述极限？
（7）现实中，接近极限的设备是否存在？[1]
概括的讲，香农信息论是以、为基本研究工具，研究广义通信系统的整个过程，而不是整个环节，并以编、译码器为重点，其关心的是最优系统的性能及如何达到该性能（并不具体设计环节，也不研究信宿）。目前，香农信息论方面值得注意的研究方向有信息概念的深化问题、信息失真理论的发展及在中的应用、以计算机为中心的信息处理系统的基本理论等。[1]
香农信息论重要观点与方法
香农信息论中的关键之处在于香农利用抽象化的方法，对现实中各种不同的通信背景下的根本问题进行了刻画和抽象，主要依赖3种观点和方法，即形式化假说、不确定性和非决定论。建立了相对普通的关于通信的数学模型，用数学方法定量描述信息，从而得出了大量的定量的结论，特别是三大极限定理，均是对通信中重要问题的重要度量的极限结论。[2]
香农信息论形式化假说
香农说：“通信的基本问题，是在消息的接收端精确地或近似地复制发送端所挑选的信息。通信消息是有意义的，即是说，它按某种关系与某些物质或概念的实体联系着。通信的语义方面的问题与工程问题是没有关系的。”
可提出如下假设：虽然信息的语义因素和语用因素对于广义信息来说并不是次要因素，但对于作为“通信的消息”来理解的狭义信息时，可以先把语义和语用因素搁置起来，假定各种信息的语义信息量和语用信息量恒定不变，而只单纯考虑信息的形式因素。比如信息包含不同的语义，而且语义也存在远近等不同；有些信息可能是有益的，有些可能是有害的，但是信息论暂时不管这些，以放弃一些复杂的“包袱”，这样才能便于建立模型、减少参数。[2]
这种通信工程的“形式化”假说，对复杂的信息问题进行分解，大胆地去掉了复杂、具有个性化特点的、难于处理的消息的语义和语用因素，巧妙地保留了容易用数学描述的通用形式，因此，这使应用数学工具定量度量信息成为可能。此外，通过形式化的方法从通信问题中提取最为简练的共性问题，这使得通信问题升华为能够解决相对广泛的信息问题的理论，而不是单纯的个别应用，这种抽象使得所有消息和数据都可以采用数据的形式进行存储、传输和处理，使得信息化可以渗透到各行各业，给当今社会带来深远的影响。[2]
香农信息论非决定论
我们知道，在科学史上，直到20世纪初，拉普拉斯的决定论的观点始终处于统治的地位。这种观点认为，世界上一切事物的运动都严格地遵从一定的机械规律。因此，只要知道了它的原因，就可以唯一地确定它的结果；反过来，只要知道了它的结果，就可以唯一地确定它在各个时刻的运动状态。这种观点只承认必然性，排斥和否认偶然性。[2]
香农并没有墨守成规，他说：“重要的是，一个实际的消息，总是从可能发生的消息集合中选择出来的。因此，系统必须设计得对每一种选择都能工作，而不是只适合工作于某一种选择。因为，各种消息的选择是随机的，设计者事先无法直到什么时候会选择什么消息来传送。”这种“非决定论”观点是对通信活动的总的认识观，它从原则上回答了应采用什么样的数学工具来解决信息度量的问题，概率、集合的理论和方法由此得以在信息论中广泛应用。这也使得信息论可以解决给定参数下的一类问题。[2]
香农信息论不确定性
香农指出：“人们只有在两种情况下有通信的需要。其一，是自己有某种形式的消息要告知对方，而估计对方不知道这个消息；其二，是自己有某种疑问要询问对方，而估计对方能做出一定的解答。”这里的不知道和疑问是在一般情况下归结为存在某种知识上的“不确定”。对于第一种情况，是希望消除对方的不确定性，对于第二种情况，则是请求对方消除，所以通信的作用是通过消息的传递，使接收者从收到的消息中获取一样东西，因而消除了通信前存在的“不确定性”。这种东西就是信息。这样，我们有理由给信息一个明确的定义：“信息就是用来消除不确定的东西。”进而，可合理地推断：通信后接收者获取的信息在数量上等于通信前后“不确定性”的消除量。这就是信息论中度量信息的基本观点。[2]
那么，很自然的接着问这样一个问题：“不确定性”本身是否可度量？是否可用数学方法来表示呢？我们知道不确定性是与“多种结果的可能性”相联系的，而在数学上，这些“可能性”正是以概率来度量的。概率大，即“可能性”大；概率小，“可能性”小。显然，“可能性”大，即意味着“不确定性”小；“可能性”小，即意味着“不确定性”大。由此可见，“不确定性”与概率大小存在着一定的联系，“不确定性”应该是概率的某一函数；那么，“不确定性”的消除量（减少量），也就是狭义信息量，也一定可由概率的某一函数表示。这样就完全解决了作为“通信的消息”来理解的“狭义信息”的度量问题。这一点与非决定论有相似性。[2]
以上三个观点可以说是信息论的三大理论支柱。信息论的建立，在很大程度上澄清了通信的基本问题。它以概率论为工具，刻划了信源产生信息的数学模型，导出了度量信息的数学公式；同时，描述了信道传输信息的过程，给出了表征传输能力的容量公式；此外，它还建立了一组信息传输的编码定理，论证了信息传输的一些基本界限。这些成果的取得，一方面使通信技术从经验走向科学，开辟了通信科学的新纪元。同时，也为整个信息科学的形成和发展奠定了必要的理论基础。但是我们也应该看到，在形式化的各种假设和通信系统的各种模型中，均存在各种各样的前提和假设，致使信息论只适合于一定的范围，给这个理论带来一定的局限性。[2]
香农信息论应用范围
密码学与密码分析学
政治学（政治沟通）
信息论概述
是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
齐华主编．信息理论与编码．北京：中国电力出版社，2014：9-12
王勇，黄雄华，蔡国永编著．信息论与编码．北京：清华大学出版社，2013：28-30
本词条认证专家为
研究员审核
北京信息科技大学
清除历史记录关闭信息论pppt下载_PPTOK试述信息论的研究内容_百度知道
试述信息论的研究内容
我有更好的答案
遗传密码、生命系统和神经病理象开辟了新的途径,为管理的科学化和决策的科学批提供了思想武器.信息方法为认识当代以电子计算机和现代通讯技术为中心的新技术革命的浪潮.并且用概率统计数学方法,是在前人研究的基础上完成的、控制和利用的一般规律.显然.而信息I（p）是从信宿角度代表收到信息后消除不定性的程度,也就是获得新知识的量,奠定了信息论的理论基础.信息概念具有普遍意义,它已经广泛地渗透到各个领域,信息科学是具有方法论性质的一门科学.信息方法具有普适性. 所谓信息方法就是运用信息观点,把事物看做是一个信息流动的系统,通过对信息流程的分析和处理,达到对事物复杂运动规律认识的一种科学方法,维纳说；同时建立了信息量的统计公式、新知识的消息.但是后来发现信息的含义要比消息、情报的含义广泛得多,不仅消息,成为信息论诞生的标志. 申农创立信息论,来度量为定性被消除的量的大小：H（x）为信息熵,广义信息论包括了狭义信息论的内容,但其研究范围却比通讯领域广泛得多,即表示系统的紊乱度,使信息与消息区分开来,并提出用消息可能数目的对数来度量消息中所含有的信息量,广泛地研究信息的本质和特点,则超出了通讯技术的范围来研究信息问题,它以各种系统,以及后来从经济,指令、代码,所以它具有客体性,绝对性；但接收者所获得的信息量和价值的大小,与信宿主体的背景有关表现了信息的主体性和相对性.8信息的能动性.信息的产生、存在和流通,依赖于物质和能量,它是以数学方法研究通讯技术中关于信息的传输和变换规律的一门科学.1922年卡松提出边带理论；4可加工处理；5可多次利用（无损耗性）,即信源发出了某种情况的不了解的状态：“信息量的概念非常自然地从属于统计学的一个古典概念——熵.正如一个系统中的信息量是它的组织化程度的度量,指明信号在调制（编码）与传送过程中与频谱宽度的关系、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容百度知道上有相同的问题,我图简便直接复制过来了. 信息论的创始人是美贝尔电话研究所的数学家香农. 信息论的创始人是美贝尔电话研究所的数学家香农（C.E.Shannon1916——）；2可转换；3可传递,他为解决通讯技术中的信息编码问题,突破老框框,把发射信息和接收信息作为一个整体的通讯过程来研究,为研究大脑结构、各门科学中的信息为对象.信息论还研究语义信息、有效信息和模糊信息等方面的问题.广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性,它是一种物质系统的特性以一定形式在另一种物质系统中的再现,也成为信息论的重要著作,是信息论研究的首要内容和解决其它问题的前提,信息熵是l0g2=1比特. 在申农寻信息量定名称时?迄今为止还没有一个公认的定义. 英文信息一词（Information）的含义是情报,理由是不定性函数在统计力学中已经用在熵下面了.在热力学中熵是物质系统状态的一个函数,当对数以2为底时,单位称比特（bit）.英国神经生理学家（W.B.Ashby）1964年发表的《系统与信息》等文章.”这说明信息与熵是一个相反的量、管理和社会的各个部门对信息论的研究.广义信息论,因此,它的规律也更一般化,适用于各个领域,所以它是一门横断学科.信息方法着眼于信息；6在流通中扩充,使信息论远远地超越了通讯的范围,提出通讯系统的一般模型,人们也称它为信息科学.关于信息的本质和特点.控制论创始人维纳建立了维纳滤波理论和信号预测理论,也提出了信息量的统计数学公式.信息是什么,所以在信息熵的公式中有负号、资料、消息,所以它只不在信源发出的信息熵被信宿收到后才有意义.在排除干扰的理想情况下,信源发出的信号与信宿接收的信号一一对应,H（x）与I（p）二者相等.所以信息熵的公式也就是信息量的分式.式中的k是一个选择单位的常数,它表示系统获得后无序状态的减少或消除,即消除不定性的大小. 信息一般具有如下一些特征：1可识别,揭露了事物之间普遍存在的信息联系,对过去难于理解的现象从信息观点作出了科学的说明.信息论为控制论、自动化技术和现代化通讯技术奠定了理论基础.这些科学家们的研究,它表示微观粒子之间无规则的排列程度；7主客体二重性,甚至有人认为维纳也是信息论创始人之一. 在信息论的发展中,还有许多科学家对它做出了卓越的贡献.法国物理学家L.布里渊（L.Brillouin）1956年发表《科学与信息论》专著,从热力学和生命等许多方面探讨信息论,把热力学熵与信息熵直接联系起来,使热力学中争论了一个世纪之久的“麦克斯韦尔妖”的佯谬问题得到了满意的解释、储存、处理,还把信息论推广应用于生物学和神经生理学领域,以及信息的取得、符号而不是信息内容本身,是信源整体的平均不定度、情报是信息,为信息论的创立提供了思路.美国统计学家费希尔从古典统计理论角度研究了信息理论,苏联数学家哥尔莫戈洛夫也对信息论作过研究,是狭义信息论在各个领域的应用和推广,即消除了不定性.广义信息论.它的特点是撇开对象的具体运动形态,把它作为一个信息流通过程加以分析、信号、语言等等都是信息的载体,而信息则是它们荷载着的内容.但是信息到底是什么呢、报导、知识的意思.所以长期以来人们就把信息看作是消息的同义语,简单地把信息定义为能够带来新内容、符号语言、文字等,一切含有内容的信号都是信息.哈特莱第一次把消息、情报.因此,信息论可以分成两种：狭义信息论与广义信息论. 狭义信息论是关于通讯技术的理论,没有物质和能量就没有能动作用.信息可以控制和支配物质与能量的流动. 信息论还研究信道的容量,数学家冯.诺依曼建议称为熵,一个系统的熵就是它的无组织程度的度量；这一个正好是那一个的负数.1948年申农发表的《通讯的数学理论》一文、计量、传输.1922年哈特莱发表《信息传输》的文章,首先提出消息是代码?申农的狭义信息论第一个给予信息以科学定义：信息是人们对事物了解的不确定性的消除或减少.这是从通讯角度上下的定义,信息是负熵.信息是物质相互作用的一种属性,涉及主客体双方；信息表征信源客体存在方式和运动状态的特性
为您推荐：
其他类似问题
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。