您想知道神秘非凡,多维度,多模态纷繁复杂的时空世界中隐系着关于能量与信息量之间的关系吗?请您来学堂在线学习《信息论》这门课程吧,它将带您走进一个神奇的充满魅力的世界,为您揭开能量与信息量之间的奇妙联系。《信息论》课程以信道容量的精准化估算为目标,以 平均互信息与 信息率失真函数 为主体,以信源编码 和 信道编码 为两翼,以 熵函数 为工具,实现信息传输的有效性与可靠性之间的优化折中。该课程能帮助读者触摸到信息论知识的深层次的核心脉络,从而学会驾驭该门课程的能力。该门课程对于RNN 、Q-Learning 以及深度强化学习,支持向量机学习将很大的支撑作用。认真学习该课程的各个环节,旨在为同类专业的硕士研究生、博士研究生以及博士后从事科研工作奠定坚实的理论支撑。
学堂在线西安邮电大学信息论(2022春)作业题答案
第一章 信息论概述与基本概念
- 通信系统的有效性和可靠性可以同时提高。
- 通信系统的有效性和安全性可以同时提高。
- 信源编码、信道编码和密码目前可以合成一种码进行编译。
- 模/数转换属于信道编码。
- 消息是信息的物理表现形式,这种表现形式是唯一的。
- 编码问题主要分为两类,即信源编码和信道编码,其中,信源编码的目的是提高通信系统的( ) A有效性 B保密…
- 编码问题主要分为两类,即信源编码和信道编码,其中,信道编码的目的是提高通信系统的( ) A有效性 B保密…
- 下列不属于消息的是( ) A文字 B语言 C信号 D图片
- 通信的根本目的在于传递( )中所包含的( ) A消息,信号 B消息,信息 C信息 ,信号 D信息,消息…
- 下面关于信息的说法正确的有( ) A通信系统传输的实质是信息 B香农认为,信息是事物运动状态或存在方…
- 最简单的通信系统模型由( )三部分组成 A信源 B编码器 C译码器 D信道 E信宿…
- 按照不同的编码目的,编码可以分为三类,即( ) A香农编码 B霍夫曼编码 C信源编码 D信道编码 E加密编码…
- 信源编码的理论基础是( ) A无失真信源编码定理 B限失真信源编码定理 C有噪信道编码定理 D香农第二…
- 要使通信系统做到传输信息有效、可靠和保密,必须首先进行( )编码,然后( )编码,再( )编码,最后送入信道。 A…
- 关于信源编码和信道编码,下面的说法正确的是( ) A信源编码是为了减少冗余度,信道编码则是有意增加冗…
第二章 信源与信息熵率、冗余度与冗余压缩编码
- 信息的 ____ 是建立信息论的基础。
- 单符号离散信源一般用随机变量描述,而多符号离散信源一般用____描述。…
- ____是信息度量最常用的方法。
- ____是香农信息论最基本最重要的概念。
- 可用____来表示信源,运用概率论和随机过程的理论来研究信息,这就是香农信息论的基本点。…
- 事物的不确定度是用时间统计发生____来描述的.
- 信源分为____和____。
- ____为信源的平均信息量,也称为信源的信息熵。
- I(X;Y)代表____。
- 一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为:____ 。…
- 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几?”则答案中含有的信息量为____。如…
- 自信息量的单位一般有____、____和____
- 不可能事件的自信息量是____。
- 两个相互独立的随机变量的联合自信息量等于____。
- 数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量__…
- 平均互信息量一定是非负的值。
- 条件熵大于或等于无条件熵。
- 连续信源在不同限制条件下最大熵是不同的。
- 条件熵H(Y/X)可以看作是信道上的干扰和噪声所造成的对信源符号X的平均不确定度…
- 条件熵H(X/Y) 可以看作唯一确定信道噪声所需要的平均信息量。
- 用随机变量或随机矢量来表示信源,运用概率论和随机过程的理论来研究信息,这就是香农信息论的基本点…
- 一个随机事件的自信息量定义为其出现概率对数的负值。
- 必然事件和不可能事件的自信息量都是0 。
- 自信息量是p(xi)的单调递减函数。
- 单符号离散信源的自信息和信源熵都具有非负性。
- 单符号离散信源的自信息和信源熵都是一个确定值。
- 自信息量、条件自信息量和联合自信息量之间有如下关系:I(xiyj)=I(xi)+I(yj/xi)=I(yj)+I(xi/yj)…
- 自信息量、条件自信息量和互信息量之间有如下关系:I(xi;yj)=I(xi)-I(xi/yj)=I(yj)-I(yj/xi)…
- 当随机变量X和Y相互独立时,条件熵H(X/Y)等于信源熵H(X)。
- 当随机变量X和Y相互独立时,I(X;Y)=H(X)。
- 某离散信息源中一个符号出现的概率是0.25,则这个符号的信息量是( )比特。 A1 B2 C3 D4…
- 信源的熵H(X)定义为( )的数学期望 A条件自信息 B自信息 C联合自信息 D互信息…
- 平均互信息I(X;Y)定义为( )的数学期望 A条件自信息 B自信息 C联合自信息 D互信息…
- 下列不属于熵H(X)的物理意义的有( ) A熵表示信源输出后,每个消息(或符号)所提供的平均信息量 B熵表示…
- 四进制脉冲所含信息量是二进制脉冲的( )倍 A2 B3 C4 D5
- 十六进制脉冲所含信息量是二进制脉冲的( )倍 A2 B3 C4 D5
- 设某班学生在一次考试中获优(A)、良(B)、中(C)、及格(D)和不及格(E)的人数相等。当教师通知某甲:“你没有不…
- 设某班学生在一次考试中获优(A)、良(B)、中(C)、及格(D)和不及格(E)的人数相等。当教师通知某甲:“你没有不…
- 同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,则“4和5同时出现”这事件的自信息是( )比特 A…
- 同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,则“两个5同时出现”这事件的自信息是( )比特 …
- 关于信源的冗余度,下面说法不正确的是( ) A冗余度来自两个方面,一是信源符号间的相关性,二是信源符号…
- 一幅500×600像素的图像,所有像素均是独立变化,每个像素的灰度等级为10,若为均匀分布,则平均每幅图像…
- 有一篇千字文章,假定每字可从万字表中任选,按等概率计算,则平均每篇千字文可提供的信息量为( )比特 A3…
- 无条件熵H(X)( )条件熵H(X|Y) A小于 B大于或等于 C大于 D小于或等于
- 平均互信息I(X;Y)( )信源的熵H(X)。 小于 大于或等于 大于 小于或等于…
- 给定信道转移概率矩阵P后,平均互信息I(X;Y)是信源概率分布p(x)的( )函数 A单调递增 B单调递减 C上凸…
- 当信源概率分布p(x)固定时,平均互信息I(X;Y)是信道转移概率p(y/x)的( )函数。 A单调递增 B单调递减 …
- 关于自信息I(xi),下列说法不正确的( )。 A当事件xi发生以前,I(xi)表示事件xi发生的不确定性 B当事件x…
- 当连续信源输出幅度受限时,其概率密度为( )分布时连续信源熵具有最大值 A瑞利 B均匀 C高斯 D泊松 E…
- 对于限平均功率的一维连续信源,当概率密度为( )分布时,信源熵有最大值。 A瑞利 B均匀 C高斯 D泊松 E…
- 设X,Y,Z为离散型随机变量,比较下列熵函数的大小:H(X|Y)( )H(X|YZ) A≥ B≤ C> D< E=…
- 设X,Y为离散型随机变量,比较下列熵函数的大小: H(XY)( )H(X)+H(Y) A≥ B≤ C> D< E=…
- 关于数据处理定理,以下说法不正确的是( )。 A信息处理过程中熵是不会增加的 B通过数据处理后,一…
- 一个随机变量x的概率密度函数P(x)= x /2,0≤x≤2V则信源的相对熵为( )。 A0.5bit B0.72bit C1bit D1…
- 下列离散信源,熵最大的是( )。 AH(1/3,1/3,1/3) BH(1/2,1/2) CH(0.9,0.1) DH(1/2,1/4,1/8,1/8)…
- 下列命题正确的有( ) A离散信源的熵一定是非负的 B互信息一定是非负的 C平均互信息一定是非负的 D…
- 下列命题正确的有( ) A条件熵H(X|Y)大于或等于无条件熵 H(X) B自信息I(xi)是概率P(xi)的单调递减函…
- 下列表达式中正确的有( )。 AH(XY)=H(X)+H(X/Y) BH(XY)=H(X)+H(Y/X) CI(X; Y)=H(X)-H(X/Y) DI(X; Y…
- 关于平均互信息I(X;Y) ,下列说法正确的有( )。 A它代表接收到符号集Y后所能获得的关于X的信息…
- 二进制通信系统用符号0和1传递信息。由于存在失真,传输时会产生误码。用 X0表示一个“0”发出, X1…
- 关于离散平稳信源,下列说法错误的有( )。 A信源所发符号的概率分布与时间起点无关 BH(X1X2…XL)=H(X…
- I(X;Y)=( )。 AH(Y)-H(Y/X) BH(X)-H(X/Y) CH(X)-H(Y/X) DH(X)+H(Y)-H(XY) EH(Y)-H(X/Y)
- 下列属于熵的性质的是( )。 A对称性 B确定性 C非负性 D极值性 E上凸性…
- 若X、Y、Z组成一个马尔可夫链,则下列表达式正确的是( )。 AI(X;Z)≤I(X;Y) BI(X;Z)≥I(X;Y) CI(X;Z)…
- 若Y=f(X)(即一一对应),则下列表达式正确的是( )。 AH(XY)=H(X)+H(Y) BH(XY)=H(X) CH(XY)=0 DI(X;…
第三章 信源的熵率、冗余度与马尔科夫信源编码
- 当信道输入符号等概分布时,对称DMC信道达到其信道容量。
- 当信道输入符号等概分布时,准对称DMC信道达到其信道容量。
- 信道转移概率矩阵P中,每一行之和必等于1。
- 信道转移概率矩阵P中,每一列之和必等于1。
- 信道容量C只与信道有关,与信道输入概率分布无关。
- 信道容量C是平均互信息I(X;Y)关于输入概率分布p(xi)的条件极大值。…
- 最佳输入分布不一定是唯一的,但最佳输出分布是唯一的。
- 在二元对称信道中最小距离译码准则等于最大似然译码准则。
- 离散无噪信道的信道容量等于㏒2n,其中n是信源X的消息个数。
- 高斯加性信道的信道容量只与信道的信噪比有关。
- 信道无失真传递信息的条件是信息率小于信道容量。
- 信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就越小,获得的信息…
- BSC信道的全称是____ 。
- DMC信道的全称是____。
- DMC信道的信道容量定义为____。
- 给定转移概率矩阵P后,平均互信息I(X;Y)是概率矢量Px的____函数。…
- 香农公式是带限AWGN波形信道在____受限条件下____的基本公式。
- 对平均功率受限的连续信道,增大信道容量一般有三种方法,即____ 、 ____ 和 ____ 。…
- 信道剩余度=____。
- 高斯加性噪声信道中,信道带宽3kHz,信噪比为7,则该信道的最大信息传输速率Ct= ____。…
- 关于剩余度,下列说法正确的是( )。 A离散无记忆等概率分布信源的剩余度为零 B信道剩余度定义为信道…
- 信道剩余度与( )有关 A信道容量C B信源通过信道实际传输的平均信息量I(X;Y) C信源的熵H(X) DH(Y/X)…
- 对于离散信道[X, P(y/x) ,Y],信道疑义度或损失熵是指( ),噪声熵或散布度是指( )。 AH(XY) BH…
- 关于信道容量,下列说法错误的是( )。 A信道容量是信道中能够传输的最小信息量 B信道容量定义为平均…
- 设加性高斯白噪声信道中,信道带宽为3KHz,若信噪功率比为20dB,则信道的信道容量约为( )比特/秒;若信噪功…
- 下列陈述正确的是( )。 A当信道输入符号等概率分布时,对称DMC信道达到其信道容量 B当信道输入符号等…
- 设加性高斯白噪声信道中,信道带宽为3KHz,又设(信号功率+噪声功率)/噪声功率=10dB。则该信道传送的最大…
- 对平均功率受限的连续信道,增大信道容量一般可以( )。 A加大信号功率 B减小带宽 C减小噪声功率 D增…
- 下列关于高斯加性信道的信道容量的陈述正确的是( )。 A高斯加性噪声信道的容量不大于相同平均功率…
- 彩色电视显像管的屏幕上有5×105 个像元,设每个像元有64种彩色度,每种彩度又有16种不同的亮度层次,…
- 关于香农公式,下列说法不正确的是( )。 A当带宽W一定时,信噪比SNR与信道容量Ct呈对数关系 B提高信号…
第四章 信道与信道容量与信道的有效利用
- 求解率失真函数的问题,即:在给定失真度的情况下,求信息率的极小值…
- 率失真函数的最小值是0
- 率失真函数没有最大值。
- 当p(xi)、p(yj/xi)和d(xi,yj)给定后,平均失真度是一个随机变量。
- 率失真函数对允许的平均失真度具有上凸性。
- 率失真函数的值与信源的输入概率无关。
- R(D)是非负的实数。
- R(D)是D的连续函数。
- R(D)是在约束条件下,即保真度准则下,求极大值的问题。
- 要是信息率小于 R(D),平均失真一定会超过失真限度D。
- 信息率失真函数的物理意义是:对于给定信源,在平均失真不超过失真限度 D的条件下,信息率容许压缩的最…
- 对于限失真信源,随着失真限度D的增大, R(D)是减少的,且趋向于0。…
- 率失真函数的下限为( )。 AH(U) BI(U; V) C没有下限 D0
第六章 信道编码
- 关于线性分组码,下列说法不正确的是( )。 A任意多个码字的线性组合仍是码字 B码的最小汉明距离等于…
- 下列说法正确的是( )。 A恒重码是线性分组码 B线性分组码的生成矩阵是唯一的 C线性分组码中包含一…
- 关于线性分组码(n,k),下列说法不正确的是( )。 A线性分组码的生成矩阵不是唯一的 B线性分组码的校验…
- 汉明码是1950年由汉明首先构造和提出的,下面关于二元汉明码的说法错误的是( )。 A汉明码是线性分组…
- 关于译码准则,下列说法不正确的是( )。 A最大似然译码准则的译码平均错误概率最小 B最大后验概率准…
- 关于卷积码,下面说法不正确的是( )。 A卷积码的编码器是有记忆的 B卷积码的纠错能力随着约束长度L的…
- 纠错编码中,下列哪种措施不能减小差错概率( )。 A增大信道容量 B增大码长 C减小码率 D减小带宽…
- 最大似然译码等价于最大后验概率译码的条件是( )。 A离散无记忆信道 B无错编码 C无扰信道 D消息先…
- 下列说法中,错误的有( )。 A在任一码中,码的最小距离Dmin与该码的译码错误概率无关 B在任一码中,码的…
- 若线性分组码(n,k),生成矩阵为G,校验矩阵为H,任意码字用Ci表示,则下列表达式正确的是( )。 ACiHT=0 BCi…
- 已知n=7的循环码生成多项式g(x)=x3+x2+1,则信息位长度k=( ),校验多项式h(x)=( )。 A3 B4 Cx4+x2+x+1 Dx…
- 已知n=7的循环码生成多项式g(x)=x3+x+1,则信息位长度k=( ),校验多项式h(x)=( )。 A3 B4 Cx4+x2+x+1 Dx4…
- 下列关于循环码的说法错误的有( )。 A码集中任意码字的循环移位仍是码字 B码集中的所有码字可…
- 某线性分组码的最小距离dmin=5 ,则用于检错时,最多能检出( )位错误;用于纠错时,最多能纠正( )位错误。 A5…
- 差错控制的基本形式有( )。 A前向纠错(FEC) B反馈重发(ARQ) C混合纠错(HEC) D信息反馈(IRQ)…
- 如果线性分组码的最小距离等于dmin,一致校验矩阵为H,则H矩阵的列矢量至少要有( )个才能线性相关,而( )个…
- 设某二元码为C={11100,01001,10010,00111},则此码的最小距离dmin =( ),此码的码率R=( )比特/码符号,假设码字…
- 下列属于(n,k)线性分组码的性质的是( )。 A(n,k)线性分组码由其生成矩阵G或校验矩阵H确定 B任意两…
- 关于有噪信道编码定理,下列说法正确的有( )。 A有噪信道编码定理又称为香农第二定理,是信息论的基本…
- 对于一个(n,k)线性分组码,其最小距离为dmin,若能检测e个随机错误,则要求( );若能纠正t个随机错误,则要求…
- 下列命题正确的是( )。 A在二元对称信道中最小距离译码准则等于最大似然译码准则 B线性分组码(n,k)的2…
- 噪声均化的基本思想是设法将危害较大的、较为集中的噪声干扰分摊开来,使不可恢复的信息损伤最小。…
- 狭义的信道编码即是指:信道的检、纠错编码。
- 对于BSC信道,信道编码应当是一对一的编码,因此,消息m的长度等于码字c的长度。…
- 等重码和奇(偶)校验码都可以检出全部的奇数位错。
- 汉明码是一种线性分组码。
- 循环码是一种线性分组码。
- 卷积码是一种特殊的线性分组码。
- 循环码的全部码字可以由一个码字循环而得。
- 缩短码与原码具有相同的最小距离。
- 用标准阵列译码表进行译码,所译出的发码的估值是唯一的。
- 完备码是标准阵列最规则因而译码最简单的码,但并不一定是纠错能力最强的码。…
- 维特比算法实质上就是卷积码的最大似然译码。
- 二进制(n+1,k)线性码,即扩展码,纠错能力增1。
- 线性分组码(n,k)的2k个码字完全可以由其中一组k个独立的码字组合而成。…
- 汉明码不一定是完备码。
- 信道编码的最终目的是 ____。
- 若纠错码的最小距离为dmin,则可以纠正任意小于等于t=____个差错。
- 若检错码的最小距离为dmin,则可以检测出任意小于等于l=____个差错
- 线性分组码是同时具有____ 的纠错码。
- 循环码即是采用 ____的一类线性分组码。
- 信道编码定理:只要____,总存在一种信道码(及解码器),可以以所要求的任意小的差错概率实现可靠的通信。…
- 信道编码逆定理:____是可靠通信系统传信率R的上边界 ,如果____,就不可能有任何一种编码能使差错概率…
- 如果线性分组码的最小距离等于dmin ,一致校验矩阵为H,则H矩阵的列矢量至少要有____个才能线性相关,…
- BSC信道的最大似然译码可以简化为____。
- 如果码集的所有码字都具有相同的重量,这种码就叫做____。
- 线性分组码的最小距离等于码集中____。