信息论与编码自学报告
更新时间:2023-04-07 05:39:01 阅读量: 教育文库 文档下载
- 信息论与编码自学报告推荐度:
- 相关推荐
《信息论与编码》课程自学报告
题目:《信息论与编码》自学报告
学号:
姓名:
任课教师:黄素娟
联系方式:187********
二零17年1月10日
第一部分阐述“第四章信息率失真函数”主要内容1、基本概念
1.1失真函数与平均失真度
平均失真度
在离散情况下,信源X ={a1,a2,…ar} ,其概率分布p(x)=[p(a1),p(a2),…,p(ar)] ,信宿Y = {b1,b2,…bs} 。若已知试验信道的传递概率为p(bj/ai)时,则平均失真度为:
11()(,)()(/)(,)
r s
i j i i j XY i j D p ab d a b p a p b a d a b ===
=∑∑∑
凡满足保真度准则---平均失真度D ≤ D0的试验信通称D 失真许可的试验信道。
失真函数
假如某一信源X ,输出样值为xi ,xi ∈{a1,…an},经过有失真的信源编码器,输出Y ,样值为yj ,yj ∈{b1,…bm}。如果xi =yj ,则认为没有失真;如果xi ≠ yj ,那么就产生了失真。失真的大小,用一个量来表示,即失真函数d(xi ,yj),以衡量用yj 代替xi 所引起的失真程度。一般失真函数定义为
最常用的失真函数
前三种失真函数适用于连续信源,后一种适用于离散信源。
1.2信息率失真函数的定义
互信息取决于信源分布和信道转移概率分布。当p(xi)一定时,互信息I 是关于p(yj/xi) 的U 型凸函数,存在极小值。在上述允许信道PD 中,可以寻找一种信道pij ,使给定的信源p(xi)经过此信道传输后,互信息I(X ;Y)达到最小。该最小的互信息就称为信息率失真函数R(D),即
单位:bit/信源符号
对于离散无记忆信源,R(D)函数可写成
p(ai),i =1,2,…,n 是信源符号概率分布;
p(bj/ai),i =1,2,…,n ,j =1,2,…,m 是转移概率分布;
p(bj),j =1,2,…,m 是接收端收到符号概率分布。
信息率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系
1.3信息率失真函数的性质
1、R(D)函数的定义域和值域
R(D)的定义域为
{}min ()min (,)y x D p x d x y = ∑max min ()(,)y x D p x d x y ?
?
= ??
??∑
允许失真度D 的下限可以是零,这是不允许任何失真的情况。
2、R(D)是关于平均失真度D 的下凸函数
设为任意两个平均失真,01a ≤≤,则有: 1212[(1)]()(1)()R aD a D aR D a R D +-≤+-
3、R(D) 是min max (,)D D 区间上的连续和严格单调递减函数。 )0()(R U H =连续
离散
0D ()R D 0D
()
R D max D min D max ()
R D
离散信源的信息率失真函数
2.1离散信源信息率失真函数的参量表达式
(1)
(/)0j i p b a ≥(2)1(/)1,(1,...,)m j i j p b a i n ==-∑(3)11
()(/)(,)n m
i j i i j i j p a p b a d a b D
===∑∑(4)1(;)(/)(5)
m
i j i j I X Y p b a sD μ=Φ=--∑
()()()(,)exp[(,)](4.3.16)
i j i i j i j i j D s p a p b d a b sd a b λ=∑∑
1()()()log (4.3.17)
n
i i i R s sD s p a λ==+∑
2.2二元及等概率离散信源的信息率失真函数
设二元信源
[]{}
{}1,0输出符号集1,0输入符号集0
00失真矩阵为2
1
1,所以21
,其中1)(212121==∈==∈>???
???=≥-≤???
???-=??????y y Y x x X D p p p p x x x p X i ααα
计算率失真函数R (D )
min max 0D D D ≤≤≤111(/)
(,)()(/)log ()(/)
n m j i i j i r
i j i j i i p b a I X Y p a p b a p a p b a ====∑∑∑(
对于这种简单信源,可从D (S )解出S 与D 的显式表达式。
()()()()()()()()()()()()??????
???
?
???-----=---=---=---=?
????
?????
?---=
-
-=
????
???
??
--=
-=-
=
-
=
+=
αααα
ααααα
αα
αα
α
αααααααλαλα
α
α
α
αD D D D D D D D D D S S S p p x y p p p D x y p p p D x y p p p x y p D
D p y p D D
p y p p
D p D
D
D S D D e e e S D 2122
122212
112
1211
1111)/(11)/(11)/(11)/(21)1()(21)(1111ln
11)(
p
p
S p D D D R D D p H R D D H p H D p p p p D D D D D R -=
======?
??
?
??-=???
?
??-+----???? ??--=
1ln
1,0
)(,)()0(,0压缩的信息率。
定失真而可能熵,第二项是因容忍一上式右边第一项是信源)(1ln )1ln()1(ln 1ln ln )(max max max max α
ααααααα
二元等概率离散信源的率失真函数
当上述二元信源呈等概率分布时,上面式子分别退化为
???
?
????
?===--=?
????
??
???
?=-
=--
=-=-=
=
==)(21)(2
1
2121)()1(221
11)1(22112
1
min 1211212max y p y p D D
y p D
D D D
D D D j ααλααλααλα
()()()()()()()()()()()())
(2ln )()/(1111)/()
/(11)/(11)/(11)/(1122121122
122
1
211222
12
121221
11α
ααααααααααααααααααD
H D R x y p D x y p x y p D D x y p D D x y p D
p x y p D D
D D D
D D
D D D -=??????
??
??
???-=-----===---==---=-=---=
3保真度准则下的信源编码定理
定理4.1 (保真度准则下的信源编码定理,香农第三定理)
正在阅读:
信息论与编码自学报告04-07
VSS的配置和使用12-13
观看警示教育片《蜕变》心得体会09-20
高校创业教育调查问卷06-12
体育理论考试题库03-08
2016微信伤感个性签名02-08
竞技体育安全阀作用的社会学分析05-22
- exercise2
- 铅锌矿详查地质设计 - 图文
- 厨余垃圾、餐厨垃圾堆肥系统设计方案
- 陈明珠开题报告
- 化工原理精选例题
- 政府形象宣传册营销案例
- 小学一至三年级语文阅读专项练习题
- 2014.民诉 期末考试 复习题
- 巅峰智业 - 做好顶层设计对建设城市的重要意义
- (三起)冀教版三年级英语上册Unit4 Lesson24练习题及答案
- 2017年实心轮胎现状及发展趋势分析(目录)
- 基于GIS的农用地定级技术研究定稿
- 2017-2022年中国医疗保健市场调查与市场前景预测报告(目录) - 图文
- 作业
- OFDM技术仿真(MATLAB代码) - 图文
- Android工程师笔试题及答案
- 生命密码联合密码
- 空间地上权若干法律问题探究
- 江苏学业水平测试《机械基础》模拟试题
- 选课走班实施方案
- 信息论
- 自学
- 编码
- 报告
- 纽约时光酒店(JFK机场)(Days Inn JFK Airport)
- 交换机MSTP常见问题定位
- 2022-2022年中国二手汽车市场运行态势研究报告(目录)
- 国家认定企业技术中心管理办法
- 陆军军医大学大学城校区监控整合改造
- 版初中物理新课程标准测试试题(含标准答案)
- 专英3考试练习3-4单元.doc
- 保洁员岗前培训资料
- (交通运输)智慧城市系列之智能交通系统(完整版)
- 高考历史二轮复习专题训练:七 中国现代政治文明
- 2022优化方案高考总复习·英语(外研版)第一部分必修4Module 1知
- The Th(IC)2 Initiative Corpus-Based Thesaurus Construction f
- 园林绿化养护管理的合理化建议.(优选)
- 2016年郑州大学联合培养单位802经济管理基础之《管理学》考研必
- 【耳鼻咽喉头颈外科学】考试复习重点题库和整理重点。。。
- 普安县职称论文发表网-数字信息化系统油田勘探开发应用论文选题
- 2022版中国矿山机械行业发展现状分析与市场前景预测报告
- 使用VS2005开发移动设备应用
- 三年级数学教案:整十、整百数乘整十数的口算方法
- 公司安全管理机构设置及安全管理人员配备管理制度