互資訊的含義

互資訊是資訊論裏一種有用的資訊度量，它是指兩個事件集合之間的相關性。信道中總是存在着噪聲和干擾，信源發出消息x，透過信道後信宿只可能收到由於干擾作用引起的某種變形的y。信宿收到y後推測信源發出x的概率，這一過程可由後驗概率來描述。相應地，信源發出x的概率稱爲先驗概率。我們定義x的後驗概率與先驗概率比值的對數爲y對x的互資訊量，也稱交互資訊量，簡稱互資訊。