当前位置: 首页>开发笔记>正文

联合熵、条件熵、互信息、相对熵、交叉熵的详解

联合熵、条件熵、互信息、相对熵、交叉熵的详解

本篇博客,我们将介绍联合熵、条件熵、互信息、相对熵、交叉熵,如果对熵的概念还有不清楚的朋友,可以看一下这一篇博客,信息熵是什么呢?

https://blog.csdn.net/ding_programmer/article/details/89785319

联合熵

两个离散随机变量 X 和 Y 的联合概率分布函数为p(x,y) ,则联合熵 (Joint Entropy) 为:

 

H(X,Y)=- \sum_{x\in X}\ \sum_{y \in Y}\rm p(x,y)\mathrm{log}p(x,y)

联合熵实际上就是描述一对随机变量平均所需要的信息熵。

 

条件熵

条件熵 (Conditional Entropy)  H(Y|X) 表示在已知随机变量 X的条件下随机变量 Y 的不确定性。

 

H(Y|X)=\sum_{x\in X}\ \sum_{y\in Y}\rm p(x,y)logp(y|x)

条件熵和联合熵之间的关系 :

 

H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)

 

互信息

两个离散随机变量 X和 Y互信息 (Mutual Information) 为:

I(X,Y)=H(X)+H(Y)-H(X,Y)    或者     I(X,Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)

上述公式的推导可以从Vnn 图中看出来

比较有意思的是;

H(X)=H(X)-H(X|X)=I(X,X)

这就是为什么熵叫作自信息了 ,另一方面 说明了 两个完全相互依赖的变量之间的互信息并不是一个常量,而是取决于它们的熵。由此可见 互信息 其实是 度量两个随机变量之间的统计相关性。

 

相对熵

相对熵 (Relative Entropy) 也称 KL 距离,设  p(x),\ q(x) 是离散随机变量 X 的两个概率分布,则 p(x)q(x)  的相对熵是

D(p || q) =\sum_{x \in X}\rm p(x) log{\frac{p(x)}{q(x)}}

 

其中 \rm 0log(0/q)=0,\ plog(p/0)= \infty

 

交叉熵

交叉熵是用来衡量估计模型于真实概率分布之间差异情况的。如果一个随机变量 X\sim p(x),q(x)为用于近似p(x)的概率分布,那么 X 和模型 q(x)之间的交叉熵 (cross entropy) 可以定义为

 

H(X,q)=H(x)+D(p||q) = -\sum_x \rm p(x) logq(x)

可以看出 估计模型 q(x)  和 真实模型  p(x) 之间的差异 。

 

 

 

 

 

 

https://www.zydui.com/af939V28ABA9RAA.html
>

相关文章:

  • 条件熵公式
  • 无条件熵
  • 联合熵公式
  • 条件熵和联合熵公式
  • 相对熵和交叉熵的区别
  • 求条件熵时为什么要用联合熵加权
  • 联合熵怎么计算
  • 条件熵计算公式
  • IQVIA醫藥咨詢隨筆雜談
  • 爬取英雄聯盟英雄皮膚數據
  • 英雄聯盟 連接服務器失敗 請檢查您的網絡 是否啟用修復程序進行修復,英雄聯盟玩不了,提示未知的directx錯誤...
  • 三位千萬富翁告訴你:錢是怎么賺來的
  • 芳香之城傳奇的美麗神話故事
  • Solid Converter PDF注冊碼
  • 修改linux下面的字符集
  • 30個不可思議的好玩又實用的HTML5移動應用
  • 安卓新出病毒幽靈推,回顧android歷史上的那些吸費病毒
  • 游戲編程技術貼:AI設計的若干規則闡述
  • mac啟動自動運行程序_什么啟動了,為什么在我的Mac上運行?
  • 什么是UserEventAgent,它為什么在Mac上運行?
  • 蔚來汽車新財報超預期,短期或難盈利互聯網造車行不通嗎?
  • 車行的進貨問題
  • spring BeanFactory 家族介紹
  • 地址家族/名字解析
  • VS中怎么調出資源方案管理器
  • 告別低效工作,幫你重新找回工作的掌控感
  • 從Mac連接Windows共享打印機(1)
  • c4d流體插件_Cinema 4D 流體模擬插件 TurbulenceFD C4D v1.0 Build 1425 Win64
  • 經典生活總結語錄(搞笑欣賞)
  • 項目打包打的是什么包_早安打工人是什么梗,朋友圈打工人文案語錄表情包!...
  • 前端學習從入門到高級全程記錄之25(webapi)
  • 中職計算機應用普測考試試題及答案,2017職稱計算機考試WPS_Office檢測練習及答案9...
  • 微型計算機的主板又稱為,供電設計比7999元的主板還猛,ROG M11A主板首次亮相
  • webStorm使用斷點
  • 逆風翻盤?順豐大股東聯手本來集團上演O2O+B2C生鮮大戲
  • 三國志戰略版:Daniel_“坦克兵種”象兵分析
  • RISK-V品牌的中國化歷程(下)
  • 網游找call通殺方法之另辟蹊徑