信息熵怎么理解
来源:学生作业帮助网 编辑:六六作业网 时间:2024/11/24 04:30:07
信息熵怎么理解
信息熵怎么理解
信息熵怎么理解
在全球移动互联网大会发布报告上有的,“熵是用以解决信息量化度量问题,是信息量与信息价值的比值,熵值越低,代表用户获取信息价值越大.”手机QQ浏览器就提出了降熵的概念.
现代定义信息是物质、能量、信息及其属性的标示。【逆维纳信息定义】信息是确定性的增加。【逆香农信息定义】信息是事物现象及其属性标识的集合。【2002年】最初定义信息理论的鼻祖之一Claude E. Shannon把信息(熵)定义为离散随机事件的出现概率。所谓信息熵,是一个数学上颇为抽象的概念,在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. B...
全部展开
现代定义信息是物质、能量、信息及其属性的标示。【逆维纳信息定义】信息是确定性的增加。【逆香农信息定义】信息是事物现象及其属性标识的集合。【2002年】最初定义信息理论的鼻祖之一Claude E. Shannon把信息(熵)定义为离散随机事件的出现概率。所谓信息熵,是一个数学上颇为抽象的概念,在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. Bennett对Maxwell's Demon的重新解释,对信息的销毁是一个不可逆过程,所以销毁信息是符合热力学第二定律的。而产生信息,则是为系统引入负(热力学)熵的过程。所以信息熵的符号与热力学熵应该是相反的。一般而言,当一种信息出现概率更高的时候,表明它被传播得更广泛,或者说,被引用的程度更高。我们可以认为,从信息传播的角度来看,信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准,可以做出关于知识流通问题的更多推论。
收起