平均互消息I(X,l  信道的数学模型及其分类

互新闻(Mutual
Information)是胸襟五个事件集合之间的相关性(mutual
dependence)。

第3章信道与信道容积

平均互消息量定义:

l  信道的数学模型及其分类

图片 1

l  离散单个标记信道及其体积

互音讯量I(xi;yj)在共同概率空间P(XY)中的总计平均值。 平均互音信I(X;Y)克制了互消息量I(xi;yj)的随机性,成为二个鲜明的量。

l  离散类别信道及其容积

平均互音信量的物理意义

l  三番两次信道及其容量

 图片 2

 

1) 观望者站在输出端:

一.信道的数学模型

H(X/Y) —信道疑义度/损失熵.。Y关于X的后验不分明度。表示接到变量Y后,对随便变量X如故存在的不明确度。代表了在信道中损失的音信。

1.        信道

H(X) —X的先验不鲜明度/无条件熵。

新闻传输的媒人或通道

I(X;Y)—收到Y前后关于X的不分明度收缩的量。从Y获得的有关X的平均新闻量。

图片 3

 

2.        信道的最首要难题

2)观看者站在输入端:

a)        信道的建立模型:其总计本性的描述

H(Y/X)—噪声熵。表示发出随机变量X后, 对随便变量Y依旧存在的平分不分明度。如若信道中不设有任何噪声, 发送端和接收端必存在鲜明的对应关系, 发出X后必能鲜明相应的Y, 而以后不能够一心分明相应的Y, 那眼看是由信道噪声所引起的。

b)        信道传输音信的力量及其总括

I(Y;X) —发出X前后关于Y的先验不明确度减少的量.

c)        有噪信道中能否完毕可信才传输?怎么落到实处?

 

3.        信道输入输出个数

3)观看者站在通讯系统总体立场上:

单用户、多用户

H(XY)—联合熵.表示输入随机变量X, 经信道传输达到信宿, 输出随机变量Y。即收,发双方通讯后,整个种类仍旧存在的不分明度.

4.        输入端和输出端关系

I(X;Y) —通讯前后整整系统不分明度减一丢丢。在通信前把X和Y看成四个相互独立的随机变量, 整个系统的先验不明确度为X和Y的同步熵H(X)+H(Y); 通讯后把信道两端出现X和Y看成是由信道的传递计算天性联系起来的, 具备一定计算关联关系的七个随机变量, 那时整个系统的后验不分明度由H(XY)描述。

无反馈、有反馈

如上二种分裂的角度表明: 从叁个事变获得另一个事变的平均互音信要求排除不分明度,一旦解决了不鲜明度,就赢得了消息。

5.        噪声体系

 

随机差错、突发差错

平均互音信量的性质

6.        输入输出事件的岁月特性和聚集的性状

① 对称性

a)        离散信道:输入、输出的时日、幅度上都离散

I(X;Y)= I(Y;X)

b)        一连信道:幅度一连,时间离散

由Y提取到的有关X的新闻量与从X中领到到的关于Y的音讯量是大同小异的。 I(X;Y)和 I(Y;X)只是观察者的立场分化。

c)        半一而再:输入和出口四个离散一个接连

② 非负性

d)        波形信道:输入和出口都以三番五次随机信号,时间总是,幅度一连

I(X;Y)≥0

7.        信道参数与时间的涉及

平均互新闻量不是从五个实际消息出发, 而是从随机变量X和Y的一体化角度出发, 并在平均意义上考查难题, 所以平均互消息量不会现出负值。

恒参、随参

或然说从一个平地风波提取关于另叁个事件的新闻, 最坏的状态是0, 不会出于知道了多个事变,反而使另八个风浪的不明确度扩充。

8.        按信道接入格局分

③ 极值性

a)        多元过渡信道

I(X;Y)≤H(X)

b)        广播信道

I(Y;X)≤H(Y)

9.        依照信道的记得本性

从二个平地风波提取关于另三个事件的消息量, 至多是另二个事变的熵那么多, 不会超越另贰个风云本身所含的新闻量。

a)        无纪念信道:信道输出仅与当前的输入有关

当X和Y是逐条对应提到时: I(X;Y)=H(X), 那时H(X/Y)=0。从二个事件能够尽量拿到有关另三个事变的新闻, 从平均意义上的话, 代表信源的音讯量可全方位透过信道。

b)        有回忆信道:信道输出不独有与当下输入有关,还与过去的输入有关

当X和Y相互独立刻: H(X/Y) =H(X),
I(Y;X)=0。 从贰个事变不能够获得另二个事变的其他消息,那等效于信道中断的状态。

10.    信道参数

④ 凸函数性

1)        输入矢量X=(x1,x2,…,xi,…), 

平均互消息量是p(xi)和p(yj
/xi)的函数,即I(X;Y)=f [p(xi),
p(yj /xi)];

xi∈A={a1,a2,…,an}

若固定信道,调治信源, 则平均互音讯量I(X;Y)是p(xi)的函数,即I(X;Y)=f
[p(xi)];

2)        输出矢量Y=(y1,y2,…,yi,…),

若固定信源,调解信道, 则平均互音信量I(X;Y)是p(yj /xi)的函数,即I(X;Y)=f [p (yj
/xi)]。

yj∈B={b1,b2,…,bm}

平均互音信量I(X;Y)是输入信源可能率布满p(xi)的上凸函数(concave function; or
convext cap function)。

3)        信道参数

平均互消息量I(X;Y)是输入转移可能率布满p(yj /xi)的下凸函数(convext function; or
convext cup function)。

a)        输入输出之间的总结信赖关系p(Y/X)

⑤ 数据管理定理

图片 4

串联信道

b)        信道转移可能率

在部分实在通讯系统中, 平日出现串联信道。比如微波中继接力通讯正是一种串联信道.

4)        本章介绍

信宿收到多少后再实行数据管理, 数据管理体系可看做一种信道, 它与前方传输数据的信道构成串联信道。

a)        无搅扰信道

数量管理定理:当音信经过一连串管理后,随着计算机数目的扩展,输入音讯与输出音信之间的平分互消息量趋于变小。即

b)        有掺和无纪念信道

I(X;Z)≤I(X;Y)

c)        有和弄有记念信道

I(X;Z)≤I(Y;Z)

二.信道

个中假诺Y条件下X和Z互相独立。

1. 无打扰信道

两级串联信道输入与出口音讯之间的平分互音信量既不会当先第Ⅰ级信道输入与出口语资源消息息之间的平均互新闻量,也不会当先第Ⅱ级信道输入与输出音信之间的平均互消息量。

信道中不设有自便困扰只怕随意干扰相当的小能够略去不计,信道的出口复信号Y与输入随机信号X之间有鲜明的关联Y=f(X)。已知X后,确知Y,此时,转移可能率为

当对实信号/数据/新闻举办一体系管理时, 每管理贰次, 就有希望损失一部分消息, 相当于说数据管理会把时域信号/数据/消息成为更实用的款式, 不过绝不会创制出新的信息。那就是所谓的新闻不增原理。

图片 5

当已用某种格局获得Y后, 不管怎么着对Y进行拍卖, 所获得的音讯不会超过I(X;Y)。每管理一次, 只会使新闻量裁减, 至多不改变。也正是说在别的新闻流通种类中, 最终获得的音讯量,至多是信源提供的信息。一旦在某一经过中错失了一部分新闻, 以往的种类不管怎么着管理, 如若无法接触到遗失消息的输入端, 就无法再苏醒已遗失的新闻。

2. 有搅扰无记念信道

(1).概念

信道中存在率性困扰,输出符号与输入符号之间无规定的相应关系,不过,信道中任不经常刻的输出符号仅总结信赖于对应时刻的输入符号

图片 6

无记念:每一个输出只与当前输入之间有调换可能率关系,与另外非该时刻的输入、输出都非亲非故

难点简化

无需矢量情势,只需深入分析单个符号的转换可能率p(yj/xi)就可以

(2).种类

1)        二进制离散信道BSC

图片 7

出口比特仅与对应时刻的一个输入比特有关,与原先的输入比特毫不相关

图片 8

2)        离散无回忆信道DMC(Discrete memoryless channel)

对私自N长的输入、输出种类,有

图片 9

在任几时刻信道的输出只与此时的信道输入有关,而与原先的输入非亲非故

还满足

 图片 10

即,转移概率不随时间变化,稳固的或恒参

DMC的转变可能率矩阵

图片 11

3)        离散输入、持续失败出信道

轻松的、离散的输入符号集X∈{a1,a2,…,an},输出未经量化,实轴上的放肆值Y∈{-∞,
∞}

离散时间无回想信道,其特征由离散输入X、持续失败出Y、一组条件可能率密度函数PY(y/X=ai)决定。

特例:

加性高斯白噪声AWGN信道Y=X+G

G:白噪声,(0,σ2)

当X=ai给定后,Y是一个均值为ai,方差为σ2的高斯随机变量

4)        波形信道

信道的输入输出:取值三回九转的一维随机进程{x(t)}和{y(t)},带宽受限fm
、观看时间受限tB

离散化,L=2*fm* tB

时刻离散、取值再三再四的牢固随机体系X=(X1,X2,…,XL)和Y=(Y1,Y2,…,YL)

波形信道→多维再而三信道

多维三番五次信道转移密度函数

   pY(y/x)=pY (y1,y2,…,yL/x1,x2,…,xL)

图片 12

Ø  考虑AWGN信道

y(t)=x(t)+n(t) 数字信号和噪音互相独立

   pX,Y(x,y)=pX,n(x,n)=pX(x)*pn(n)

图片 13

信道的转换概率密度函数=噪声的可能率密度函数

图片 14

Ø 
表明:条件熵Hc(Y/X)是由噪声引起的,等于噪声熵Hc(n),所以它被称呼噪声熵。

Ø  首要商讨加性、高斯白噪信道

3. 有困扰有回想信道

1)        实际信道

2)        管理困难

3)        管理方法

4)        将以及很强的L个符号当矢量符号,各矢量符号间作为无记念

5)        将改变可能率p(Y/X)看成马克ov链的样式,回忆有限

特例:二进制对称信道BSC

图片 15

信道的互新闻量:

 图片 16

二元对称信道的平均互消息为 

图片 17                    

分析:

a)        固定信道时的平分互音讯

当信道固定,即p为一个稳住常数时,可得出I(X;Y)是信源布满的上凸函数

图片 18

对此平昔的信道,输入符号集X的可能率分布分歧不平日间,在接收端平均各种符号所获取的消息量就差别

当输入符号为等可能率布满时,平均互音信量I(X;Y)为最大值,那时,接收各类符号所获取的音讯量最大。

那是研商信道体量的底蕴

b)       固定信源遍及时的平均互消息

当固定信源的概率遍布时,则平均互音信I(X;Y)是信道个性p的下凸函数

图片 19

当二元信源固定后,退换信道性情p可获得不一致的平分互音讯 I

p=0.5时,I(X;Y)=0。即在信道输出端获得的音信最小,那象征信源的音信全体损失在信道中,那是一种最差的信道,其噪音最大

那是音信率失真论的基本功

信道体积

l  信道的信息传输率

n  R=I(X;Y)=H(X)-H(X/Y)  比特/符号

l  消息传输速率

信道在单位时间内平均传输的新闻量定义为音讯传输速率

Rt=I(X;Y)/t  比特/秒

l  信道容积

图片 20

n  I(X;Y)的基准不小值

n  单位:比特/符号(bits/symbol或bits/channel use)

l  C的含义

对此三个原则性的信道,总存在一种信源可能率遍布,使传输每三个符号平均获得的新闻量,即平均互新闻I(X;Y)最大,而相应的票房价值布满p(x)称为一流输入遍及

信道容积C仅与信道的总结天性有关,即与信道传递可能率矩阵有关,而与信源分布无关

平均互消息I(X;Y)在数值总括上海展览中心现为输入布满p(x)的上凸函数,所以存在二个使某一特定信道的消息量抵达相当的大值信道体量C的信源。

信道容积表征信道传送新闻的最大力量。实际中国国投道传送的消息量必须低于信道体积,不然在传递进度中校会油但是生谬误。

l  二种特别的信道

图片 21

无噪无损信道

• XY逐一对应

• C=maxI(X;Y)=log n

无噪有损信道

• 四个输入变成三个输出:

• C=maxI(X;Y)=maxH(Y)

有噪无损信道

• 一个输入对应四个出口

• C=maxI(X;Y)=maxH(X)

 

l  对称DMC信道的C

对称DMC信道定义

输入对称

万一转移概率矩阵P的每一行都是首先行的沟通(包括同样成分),称该矩阵是输入对称

出口对称

若是转移可能率矩阵P的每一列都以首先列的置换(包蕴同样元素),称该矩阵是出口对称

对称的DMC信道:输入、输出都对称

 

相关文章