信息熵怎么理解

来源:学生作业帮助网 编辑:六六作业网 时间:2024/12/25 10:14:37
信息熵怎么理解信息熵怎么理解信息熵怎么理解在全球移动互联网大会发布报告上有的,“熵是用以解决信息量化度量问题,是信息量与信息价值的比值,熵值越低,代表用户获取信息价值越大.”手机QQ浏览器就提出了降熵

信息熵怎么理解
信息熵怎么理解

信息熵怎么理解
在全球移动互联网大会发布报告上有的,“熵是用以解决信息量化度量问题,是信息量与信息价值的比值,熵值越低,代表用户获取信息价值越大.”手机QQ浏览器就提出了降熵的概念.

现代定义信息是物质、能量、信息及其属性的标示。【逆维纳信息定义】信息是确定性的增加。【逆香农信息定义】信息是事物现象及其属性标识的集合。【2002年】最初定义信息理论的鼻祖之一Claude E. Shannon把信息(熵)定义为离散随机事件的出现概率。所谓信息熵,是一个数学上颇为抽象的概念,在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. B...

全部展开

现代定义信息是物质、能量、信息及其属性的标示。【逆维纳信息定义】信息是确定性的增加。【逆香农信息定义】信息是事物现象及其属性标识的集合。【2002年】最初定义信息理论的鼻祖之一Claude E. Shannon把信息(熵)定义为离散随机事件的出现概率。所谓信息熵,是一个数学上颇为抽象的概念,在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. Bennett对Maxwell's Demon的重新解释,对信息的销毁是一个不可逆过程,所以销毁信息是符合热力学第二定律的。而产生信息,则是为系统引入负(热力学)熵的过程。所以信息熵的符号与热力学熵应该是相反的。一般而言,当一种信息出现概率更高的时候,表明它被传播得更广泛,或者说,被引用的程度更高。我们可以认为,从信息传播的角度来看,信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准,可以做出关于知识流通问题的更多推论。

收起