信息量

1928年R.V.L.哈特莱提出的设想
信息量是指信息多少的量度。1928年R.V.L.哈特莱首先提出信息定量化的初步设想，他将消息数的对数定义为信息量。

历史

1928年，R．V．L．哈特莱提出了信息定量化的初步设想，他将符号取值数m的对数定义为信息量，即I=logm。对信息量作深入、系统研究的是信息论创始人C．E．仙农。1948年，仙农指出信源给出的符号是随机的，信源的信息量应是概率的函数，以信源的信息熵[shāng]表示，即
，其中P表示信源不同种类符号的概率，i= 1，2，…，n。