• 正在加载中...
  • 信息熵

    信息是个很抽象的概念。人们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年,香农提出了“信息熵”的概念,才解决了对信息的量化度量问题。信息熵这个词是C.E.香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。

    编辑摘要

    目录

    理论提出/信息熵 编辑

    信息论之父 C. E. Shannon 在 1948 年发表的论文“通信的数学理论( A Mathematical Theory of Communication )”中, Shannon 指出,任何信息都存在冗余,冗余大小与信息中每个符号(数字、字母或单词)的出现概率或者说不确定性有关。

    Shannon 借鉴了热力学的概念,把信息中排除了冗余后的平均信息量称为“信息熵”,并给出了计算信息熵的数学表达式。

    基本内容/信息熵 编辑

    通常,一个信源发送出什么符号是不确定的,衡量它可以根据其出现的概率来度量。概率大,出现机会多,不确定性小;反之就大。

    信息熵信息熵

    不确定性函数f是概率P的单调递降函数;两个独立符号所产生的不确定性应等于各自不确定性之和,即f(P,P)=f(P)+f(P),这称为可加性。同时满足这两个条件的函数f是对数函数,即

    信息熵信息熵

    在信源中,考虑的不是某一单个符号发生的不确定性,而是要考虑这个信源所有可能发生情况的平均不确定性。若信源符号有n种取值:U…U…U,对应概率为:P…Pi…P,且各种符号的出现彼此独立。这时,信源的平均不确定性应当为单个符号不确定性-logP的统计平均值(E),可称为信息熵,即

    ,式中对数一般取2为底,单位为比特。但是,也可以取其它对数底,采用其它相应的单位,它们间可用换底公式换算。

    最简单的单符号信源仅取0和1两个元素,即二元信源,其概率为P和Q=1-P,该信源的熵即为如图1所示。

    由图可见,离散信源的信息熵具有:①非负性,即收到一个信源符号所获得的信息量应为正值,H(U)≥0;②对称性,即对称于P=0.5(③确定性,H(1,0)=0,即P=0或P=1已是确定状态,所得信息量为零;④极值性,当P=0.5时,H(U)最大;而且H(U)是P的上凸函数。

    图1   二元信源的熵图1 二元信源的熵

    对连续信源,仙农给出了形式上类似于离散信源的连续熵,

    虽然连续熵H(U)仍具有可加性,但不具有信息的非负性,已不同于离散信源。H(U)不代表连续信源的信息量。连续信源取值无限,信息量是无限大,而H(U)是一个有限的相对值,又称相对熵。但是,在取两熵的差值为互信息时,它仍具有非负性。这与力学中势能的定义相仿。

    信息含义/信息熵 编辑

    现代定义

    信息是。【逆维纳信息定义】

    信息是确定性的增加。【逆香农信息定义】

    信息是事物现象及其属性标识的集合。【2002年】

    最初定义

    信息理论的鼻祖之一Claude E. Shannon把信息(熵)定义为离散随机事件的出现概率。

    所谓信息熵,是一个数学上颇为抽象的概念,在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. Bennett对Maxwell's Demon的重新解释,对信息的销毁是一个不可逆过程,所以销毁信息是符合热力学第二定律的。而产生信息,则是为系统引入负(热力学)熵的过程。所以信息熵的符号与热力学熵应该是相反的。

    一般而言,当一种信息出现概率更高的时候,表明它被传播得更广泛,或者说,被引用的程度更高。我们可以认为,从信息传播的角度来看,信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准,可以做出关于知识流通问题的更多推论。

    计算公式

    H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n)

    其中,x表示随机变量,与之相对应的是所有可能输出的集合,定义为符号集,随机变量的输出用x表示。P(x)表示输出概率函数。变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大.

    《博弈圣经》

    信息熵:信息的基本作用就是消除人们对事物的不确定性。多数粒子组合之后,在它似像非像的形态上押上有价值的数码,具体地说,这就是一个在博弈对局中现象信息的混乱。

    香农指出,它的准确信息量应该是

    -(p1*log(2,p1) + p2 * log(2,p2) +...+p32 *log(2,p32)),

    信息熵信息熵

    其中,p1,p2 ,...,p32 分别是这 32 个球队夺冠的概率。香农把它称为“信息熵” (Entropy),一般用符号 H 表示,单位是比特。

    有兴趣的读者可以推算一下当 32 个球队夺冠概率相同时,对应的信息熵等于五比特。有数学基础的读者还可以证明上面公式的值不可能大于五。对于任意一个随机变量 X(比如得冠军的球队),它的熵定义如下:

    变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大。

    信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序,信息熵就越低;

    反之,一个系统越是混乱,信息熵就越高。所以,信息熵也可以说是系统有序化程度的一个度量。

    熵的概念源自热物理学。

    假定有两种气体a、b,当两种气体完全混合时,可以达到热物理学中的稳定状态,此时熵最高。如果要实现反向过程,即将a、b完全分离,在封闭的系统中是没有可能的。只有外部干预(信息),也即系统外部加入某种有序化的东西(能量),使得a、b分离。这时,系统进入另一种稳定状态,此时,信息熵最低。热物理学证明,在一个封闭的系统中,熵总是增大,直至最大。若使系统的熵减少(使系统更加有序化),必须有外部能量的干预。

    信息熵的计算是非常复杂的。而具有多重前置条件的信息,更是几乎不能计算的。所以在现实世界中信息的价值大多是不能被计算出来的。但因为信息熵和热力学熵的紧密相关性,所以信息熵是可以在衰减的过程中被测定出来的。因此信息的价值是通过信息的传递体现出来的。在没有引入附加价值(负熵)的情况下,传播得越广、流传时间越长的信息越有价值。

    熵首先是物理学里的名词。

    在传播中是指信息的不确定性,一则高信息度的信息熵是很低的,低信息度的熵则高。具体说来,凡是导致随机事件集合的肯定性,组织性,法则性或有序性等增加或减少的活动过程,都可以用信息熵的改变量这个统一的标尺来度量。

    相关文献

    添加视频 | 添加图册相关影像

    扩展阅读
    1博弈圣经
    2周炯槃:《信息理论基础》,人民邮电出版社,北京, 1983
    3A.Feinstein, Foundations of Information Theory, McGraw-Hill,New York,1958

    互动百科的词条(含所附图片)系由网友上传,如果涉嫌侵权,请与客服联系,我们将按照法律之相关规定及时进行处理。未经许可,禁止商业网站等复制、抓取本站内容;合理使用者,请注明来源于www.baike.com。

    登录后使用互动百科的服务,将会得到个性化的提示和帮助,还有机会和专业认证智愿者沟通。

    互动百科用户登录注册
    此词条还可添加  信息模块

    WIKI热度

    1. 编辑次数:16次 历史版本
    2. 参与编辑人数:11
    3. 最近更新时间:2015-11-12 23:10:30

    贡献光荣榜

    更多

    互动百科

    扫码下载APP