请问为什么在计算信息熵的时候要取对数呢?

来源：学生作业帮助网编辑：六六作业网时间：2024/12/20 06:15:25

请问为什么在计算信息熵的时候要取对数呢?请问为什么在计算信息熵的时候要取对数呢?请问为什么在计算信息熵的时候要取对数呢?看看定义信息熵的想法:设对于某个事件x,发生的概率是p(x),对应的"信息量"是

请问为什么在计算信息熵的时候要取对数呢?
请问为什么在计算信息熵的时候要取对数呢?

请问为什么在计算信息熵的时候要取对数呢?
看看定义信息熵的想法:
设对于某个事件 x,发生的概率是 p(x),对应的"信息量"是 I(x).
性质
1.p(x) = 0 => I(x) = +\inf (正无穷大)
2.p(x) = 1 => I(x) = 0
3.p(x)>p(y) => I(x)=0 信息量总是正的.
5.p(x,y)=p(x)p(y) => I(x,y)=I(x)+I(y)
信息量的叠加性,知道了两个独立事件的概率,相当于知道了两方的信息(的和)
由以上性质就能决定出 I(x) = -c*ln(p(x)),其中 c 是某个正常数,代入就可验证.
最后的信息熵公式 - sum p[i] * ln(p[i]) 可以看作 ln(p) 的期望,也就是整个系统的平均信息的多少.
就为什么要取对数这个问题来说,最关键就是性质 5.了吧,对数能把乘积化为求和.

请问为什么在计算信息熵的时候要取对数呢? 为什么在计算信息熵的时候要用log? 为什么在研究某些数学问题的时候经常用取对数的方法为什么经济学表述中要对所取的数据取对数呢?比如说为什么要取log of 国内产出.取对数的意义究竟是什么呢? 对数究竟有什么用呢? 隐函数求导的疑问为什么这个函数求导用对数法不能直接两边同时取对数?要每一项分别取对数再相加呢? 自然对数的起源不要那种吹“数学之美”的答案.为什么要引入自然对数呢?它比十进对数优越在哪呢? 请问为什么在培养细菌时有时候要用琥珀酸盐作为唯一的碳源呢? 请问在计算回填土方工程量的时候为什么不考虑松散体积系数与夯填体积系数,为什么呢? 在对数性质中,底数的对数等于1...为什么a会等于1呢？【求助】一道全微分方程请问可以解释下这道全微分方程么?讲解那里,“其中x.y .是在区域G内适当选定的点M.(x.,y .为什么那个例子,做题的时候,x.y.要取O呢? 计量经济学模型为什么要取对数为什么要对原始数据取对数在进行CFD计算的时候,请问为什么要有湍流模型?湍流模型的作用是什么? 求函数y＝x＾sinx的导数两边取对数得lny＝sinxlnx这是为什么阿x^sinx取对数为什么是sinxlnx呢为什么对数函数的底数a要大于0呢? 请问为什么determinant只有在A是square matrix的时候才可以计算? 请问电解氯化铝溶液的时候最终产生的氢氧化铝沉淀是在什么地方呢?请问又是为什么呢? 在计算一个分子穿过几层膜的时候,细胞壁为什么不算一个膜结构呢?