tceic.com
学霸学习网 这下你爽了
相关标签
当前位置:首页 >> 计算机软件及应用 >>

面向对象程序设计语言的相关概念


专题一 多媒体技术基础 第一章 多媒体计算机的定义和关键技术 媒体(Medium)在计算机领域中有两种含义: 1、用以存储信息的实体,如磁带、磁盘、光盘和半导体存储器; 2、信息的载体,如数字、文字、声音、图形 和图像。 多媒体技术中的媒体是指后者。 多媒体计算机技术定义 计算机综合处理多种媒体信息(文本、图形、图象、音频和视频),使多种信息建立逻辑连接,集成为一个 系统并具有交互性。 简单地说: 计算机综合处理声、文、图信息;具有集成性和交互性; 总之多媒体计算机具有信息载体多样性、集成性和交互性。 多媒体计算机的关键技术(把一台普通计算机变为多媒体计算机要解决的的关键技术 ) (1)视频音频信号获取技术; (2)多媒体数据压缩编码和解码技术; (3)视频音频数据的实时处理技术和特技; (4)视频音频数据的输出技术。 多媒体计算机的分类 家电制造厂商研制的:电视计算机——灵巧电视 SmartTV 计算机制造厂商研制的:计算机电视——发展方向是 TV-killer 在多媒体计算机发展史上卓有成效的公司和系统 1、Philips/Sony 公司的 CD-I 系统 2、Commodore 公司的 Amiga 系统 3、Apple 公司的 HyperCard 4、Intel 和 IBM 公司的 DVI 系统 HDTV(High Definition Television 高清晰度电视)特点: (1)采用国际标准的压缩 编码算法 MPEG-2。 (能与多媒体计算机兼容、通信) (2)采用打包数据结构 。(图像、声音、及多媒体服务附加数据以包的方式发送,包可随即次序传送、大 小动态分配) (3)采用双层传输技术 。(重要数据放到高优先级的载波上传输,其他数据放到具有标准优先级的载波上 传输) 常规电视数字化: 汤姆逊(Thomson)消费电子公司通过休斯银河(Hughes Galaxy)601 卫星,开创世界首次全数字直接到 户的卫星广播业务(DSS-Digital Satellites System 及 DBS-Direct Broadcast Service)。 消费者很 容易获得 120 到 150 个频道最受欢迎的电视节目。用户端只需要购置一个易于安装的 18 英寸或常规碟形 天线,一个和录像机体积差不多的接收机/解码器以及一个易于控制和操作的遥控器。 交互式电视技术(ITV): 最常用的是节目间的交互, 即 VOD 系统。典型的 VOD 系统主要由下述四部分组成: (1)视频服务器; (2)编码器/路由器; (3)用户请求计算机和记帐计算机;(4)机顶盒 多媒体计算机技术在常规电视和高清晰度电视,影视节目制作中的应用分成两个层次: 影视画面的制作;影视的后期制作(如非线性编辑器)。 用多媒体技术制作 V-CD 及影视音响卡拉 OK 机

多媒体数据压缩和解压缩技术是多媒体计算机系统中的关键技术,首次将此技术应用到 VCD 播放机中的是 美国 C-Cube 公司。 VCD 问世于 1993 年,是多家公司联合制定的数字电视视盘技术标准。安徽合肥万燕公 司在世界上首先利用 MPEG 国际标准和 CD 光盘技术, 研制了全功能影视音响卡拉 OK 机 CDK-320。 VCD 播放机,由 CD-ROM 驱动器、MPEG 解压卡及控制操作电路组成。 DVD 与 VCD 的不同只是视频和音频的编码标准不同,两者的原理是一样的。DVD 的视频和音频编码标准是 M PEG-2 或者 AC-3 而不是 MPEG-1。 V-CD 播放系统主要有下述两种产品:MPEG 播放卡、V-CD 播放机 多媒体家庭网关 MHG(多媒体家庭网关)数据流向图 一般认为,多媒体技术研究的兴起从( 1984 年,美国 Apple 公司推出 Macintosh 系列机)开始

2 MHG 结构图

多媒体创作工具的分类: 基于时间的创作工具; 基于图符(Icon)或流线(Line)创作工具; 基于卡片(Card)和页面(Page)的创作工具; 以传统程序语言为基础的创作工具。 多媒体创作工具的应用: 制作各种电子出版物、教材、参考书、地图、医药卫生、商业手册及游戏娱乐节目。 多媒体应用系统、演示系统或信息查询系统、导游系统;培训和教育系统;娱乐、视频动画及广告等等。 多媒体数据库的研究途径: (1)在现有商用数据库管理系统的基础上增加接口,以满足多媒体应用的需要;(实用,效率低) (2)建立基于一种或几种应用的专用多媒体信息管理系统;(易实现,缺乏通用性,可扩展性差) (3)从数据模型入手,研究全新的通用多媒体数据库管理系统 (研究和发展的主流,难度较大) 多媒体数据库要解决的关键技术问题:

(1)多媒体数据模型:采用面向对象的方法描述和建立多媒体数据模型是较好的方法。(2)数据的压缩和解 压缩 (3)多媒体数据的存贮管理和存取方法(4)多媒体信息的再现及良好的用户界面(5)分布式技术 多媒体数据存储的问题:巨大的数据量、存储技术、多媒体对象存储、多媒体文档检索。 多媒体数据库基于内容的检索:目标标识, 特征提取, 数据库查询接口, 检索引擎, 索引/过滤器 多媒体通信分类: (1)对称的全双工的多媒体通讯。 如分布式多媒体信息系统、 视频会议系统及计算机支持的协同工作系统; (2)非对称全双工的多媒体通讯系统。如交互式电视系统(ITV)、点播电视系统(VOD) 多媒体通信的关键技术: (1)多媒体数据压缩。(2)高速数据通讯问题。尤其是视频会议系统要解决视频 会议系统的国际标准问题。 视频会议系统可分为两类: (1)点对点视频会议系统:如可视电话、台式机—台式机视频会议(桌面视频会议系统)、会议室—会议 室视频会议 (2)多点视频会议系统: 如三个或三个以上不同地点的参加者一起参加讨论。 多点会议系统的关键技术是: 多点控制器(MCU),它能自动的交换数据。 视频会议系统的结构:视频会议终端、多点控制器、信道(网络)、控制管理软件。 MCU——多点控制单元/多点控制器 MCU 是视频会议系统的关键设备,它的主要功能是对视频、语音及数据信号进行切换。例如它会将传送到 MCU 某会场的场景图像信号切换到所有会场,对于语音信号,若同时有几个发言,可以对他们进行混合处 理,选出最高的音频信号切换到其它会场。 MCU 的主要组成部分:网络接口单元、呼叫控制单元、多路复用和解复用单元、音频处理器、视频处理器、 数据处理器、控制处理器、密钥处理分发器、呼叫控制处理器。 多媒体计算机的发展趋势 (1)进一步完善计算机支持的协同工作环境 CSCW(Computer Supported Collaborative Work) (2)智能多媒体技术 (3)把多媒体信息实时处理和压缩编码算法作到 CPU 芯片中。(集成原则:压缩算法采用国际标准设计; 多媒体功能的单独解决变成集中解决;体系结构设计和算法相结合。) 总之,多媒体计算机将朝着高分辨率、提高显示质量、高速化 、简单化、智能化方向发展。 第二章 多媒体信息处理技术 采样、量化、数字化、数字图像 多媒体计算机处理图像和视频,首先必须把连续的图像函数 f(x,y)进行空间和幅值的离散化处理: 采样:空间连续坐标(x,y)的离散化 量化:f(x,y)颜色的离散化 数字化:两种离散化结合在一起,叫做数字化。离散化的结果称为数字图像。 f(x,y) 00f(x,y0511) x,y 的离散化称为采样 f(x,y)的离散化称为量化 f(x 采样 511,y) 0f(x511,y511) 对连续图像彩色函数 f(x,y),沿 x 方向以等间隔△x 采样,采样点数为 N,沿 y 方向以等间隔△y 采样, 采样点数为 N,于是得到一个 N×N 的离散样本阵列 [f(m,n)]N×N 。

为了达到由离散样本阵列以最小失真重建原图的目的,采样密度必须满足香农采样定理。(采样密度:△ x 与△y) 采样定理:采样间隔与 f(x,y)频带之间,频带愈窄,相应的采样频率可以降低,采样频率是图像变化频率 二倍时,就能保证由离散图像数据无失真地重建原图。 颜色的基本概念 彩色可用亮度、 色调和饱和度来描述, 人眼看到任一彩色光都是这三个特性的综合效果。 亮度:光作用于人眼时所引起的明亮程度的感觉,它与被观察物体的发光强度有关。(光的强和弱) 色调:当人眼看一种或多种波长的光时所产生的彩色感觉,它反映颜色的种类,是决定颜色的基本特性。 饱和度:指颜色的纯度,即掺入白光的程度 (指颜色的深浅程度,对于同一色调彩色光,饱和度越深颜色 越鲜明或者说越纯)。 红色+白光 红色+绿色 粉红色 黄色 饱和度下降 色调发生变化 色度:色调和饱和度通称为色度。 亮度表示某彩色光的明亮程度,而色度则表示颜色的类别与深浅程度。 三基色原理 三基色原理:自然界常见的各种颜色光,都可由红(R)、绿(G)、蓝(B)三种颜色光按不同比例相配而成, 同样绝 大多数颜色也可以分解成红、绿、蓝三种色光。 三基色的选择不是唯一的,三种颜色必须是相互独立的,即任何一种颜色都不能由其他两种颜色合成。 相加混色:把三种基色光按不同比例相加称之为相加混色。 常用亮度公式:(Y 表示白光的亮度) NTSC 电视制式:Y = 0.3R+0.59G+0.11B ; PAL 电视制式:Y = 0.222R+0.707G+0.071B 注:如果把单色光亮度定为 100,则主观感觉是绿光仅次白光,是三基色中最亮的,红光次之,亮度约占 绿光的一半,蓝光最弱,亮度约占红光的 1/3。注意 0.3+0.59+0.11=1.0 三原色的系数之所以不同是因为 人的眼睛对不同波长的颜色有着不同的敏感度。 RGB 彩色空间 当三基色按不同强度相加时,可得到任何一种颜色。在 RGB 彩色空间,某一种颜色和这三种颜色之间的关 系可用下面的式子来描述:F(颜色)=r[R]+g[G]+b[B](r+g+b=1) 其中 r、g、b 为三色系数。r[R]、 g[G]、 b[B] 为 F 色光的三色分量。当三基色等量相加时,得到白色。 不管多媒体系统采用何种色彩空间,最后监视器输出一定要转换成 RGB 色彩空间。 RGB 和黑白电视信号不兼容。 YUV 彩色空间 摄像机把摄得的彩色图像信号, 经分色棱镜分成 R0G0B0 三个分量的信号, 分别经放大和 γ 校正得到 RGB, 再经过矩阵变换电路得到亮度信号 Y、色差信号 R-Y 和 B-Y。 Y = 0.3R+0.59G+0.11B U= m(B-Y) =0.493(B-Y) V= n(R-Y) =0.877(R-Y) 优点: 1) 亮度信号 Y 解决了彩色电视和黑白电视的兼容问题。 2) 可以利用人眼的特性来降低数字彩色图像所需要的 存储容量。 YUV 彩色空间,数字化后通常的比例为: Y:U:V=8:4:4

YIQ 彩色空间 亮度:Y 色差:I、Q I 轴:表示人眼最敏感的色轴 (123 度的橙色及其相反方向的 303 度的青色,人眼对其具有最大的彩色分辨率) Q 轴:表示人眼最不敏感的色轴 优点: 人眼分辨红、黄之间颜色变化的能力最强,而分 辨蓝与紫之间颜色变化的能力最弱。在传送分辨 力弱的信号时,可以用较窄的频带,而传送分辨 力较强的信号时,可以用较宽的频带。 电视广播制式 世界上主要使用的电视广播制式有 PAL、NTSC、SECAM 三种,中国大部分地区使用 PAL 制式,日本、韩国 及东南亚地区与美国等欧美国家使用 NTSC 制式,俄罗斯则使用 SECAM 制式。PAL 制式(.正交平衡调幅逐 行倒相制):采用 YUV 彩色空间;25 帧/秒。NTSC 制式(正交平衡调幅制):采用 YIQ 彩色空间。30 帧/ 秒。SECAM 制(行轮换调频制)25 帧/秒。 HSI 彩色空间 H (hue)色调; S (saturation)饱和度 ; I (Intensity)光的强度 优点:亮度分量与图像的色彩信息无关;能够减少彩色图像处理的复杂性,它更接近人对彩色的认识和解 释。广泛用于计算机视觉、图像检索和视频检索。 HSI 彩色空间与 RGB 彩色空间之间的转换: ★全电视信号 电视摄像机把一幅图像信号转变成的输出信号就是全电视信号。 光栅扫描 二维信号————→一维信号 (扫描方式:隔行扫描逐行扫描;隔行扫描:奇数场+偶数场=1 帧;每一行有正程和逆程。) 黑白全电视信号=图像信号(视频信号)+复合消隐信号(行消隐、场消隐)+复合同步信号(行同步、场同 步) 彩色全电视信号=色度信号+亮度信号+复合同步信号+复合消隐信号 在现代彩色电视系统中,通常采用 YUV 彩色空间或 YIQ 彩色空间,Y 为亮度信号,它可以与黑白全电视信 号兼容,U 和 V 用载波频率 ω sc 调制加到亮度

Y 上,最后形成彩色全电视信号,如下式所示:

CVBS=Y+F F=Vcosω sct+Usinω sct (压缩后的色度信号) 多媒体计算机常用的三种图像及其获取方式 多媒体计算机最常用的图像有下述三种:图形、静态图像、动态图像(视频)。获得这三种图像可用下述 方法: (1) 计算机产生彩色图形,静态图像和动态图像; (2) 用彩色扫描仪,扫描输入彩色图形和静态图像; (3) 用视频信号数字化仪, 将彩色全电视信号数字化后, 输入到多媒体计算机中, 可获得静态和动态图像。 ★视频采集卡(视频信号获取器)工作原理概述如下: 视频信号源、摄像机、录像机或激光视盘的信号经过 A/D 变换,送到多制式数字解码器进行解码得到 Y、 U、V 数据,然后由视频窗口控制器对其进行剪裁,改变比例后存入帧存储器。 帧存储器的内容在窗口控制器的控制下,与 VGA 同步信号或视频编码器的同步信号同步,再送到 D/A 变换 器模拟彩色空间变换矩阵,同时送到数字式视频编辑器进行视频编码,最后输出到 VGA 监视器及电视机或 录像机。 视频信号获取器的六部分: (1)A/D 变换和数字解码(2)窗口控制器 (3)帧存储器系统 (4)视频信号与 VGA 信号叠加 (5)D/A 变换器模拟彩色空间变换矩阵 常用的静态图像格式 ? GIF——图形变换格式,扩展名:.gif GIF 格式最多只能储存 256 色。在压缩过程中,图像的像素资料不会被丢失,丢失的是图像的色彩。 主要优点在于压缩率高、单一文件容量小,并且可以产生动态的效果(可以在一个文件中存放多幅彩色图 形/图像),支持图像透明度。 ? TIFF(Tagged Image File Format)——标记图像文件格式,扩展名:.TIF 支持多种压缩方法,特殊的图像控制函数以及许多其它特性。它是一种非失真的压缩格式(最高也只能做 到 2~3 倍的压缩比)能保持原有图像的颜色及层次,但占用空间大。如果使用 LAW 无损压缩方法来压缩文 件,能够产生大约 2:1 的压缩比。 故 TIFF 常被应用于较专业的用途,广泛应用于印刷业,如书籍出版、海报等,极少应用于互联网上。 ? TGA(Targe Image Format)——目标图像格式 结构简单,由文件头和文件体组成。文件头描述图像的属性;文件体描述各点像素值。支持 32 位图像, 其中包括 8 位 Alpha 通道用于显示实况电视。 ? BMP——位图,扩展名:.bmp 是 windows 系统交换图像数据的标准图像文件存储格式。 在 windows 环境下运行的所有图像软件都支持这种格式。 bmp 是一种与设备无关的图像文件格式。它采用位映射存储格式,除了图像深度可选 lbit、4bit、8bit 及 24bit 外,不采用其他任何压缩,因此占用空间大。BMP 文件存储数据时,图像的扫描方式是按从左到右、 从下到上的顺序。 在编制图像文件格式转换程序时,主要解决的几个问题 (1)识别文件头和产生文件头的程序;(2)文件体的解码和编程程序;(3)文件体的数据转换程序。 多媒体计算机中常用的动态图像的文件格式 (6)数字式多制式视频信号编码部分 模拟视频的数字化主要包括:色彩空间的转换、光栅扫描的转换、分辨率的统一。

? MPG、MPEG MPG 是 ISO/IEC1993 年 8 月 1 日正式颁布的国际标准。 MPEG-1 标准包括三个部分:MPEG 视频(核心)、MPEG 音频、MPEG 系统 MPEG 数据流分六个层次 序列层、图像组层、图像层、片层、宏块层、块层 (1)序列层:规定了 MPEG 解码器的运行状态,包含图像的水平尺寸、垂直尺寸、长宽比、帧速率和位速 率等信息。 (2)图像组层:一个 MPEG 图像序列分成若干个组,每组即为一个随机存取点,实现了图像随机存取,一 个图像组可以单独解码。 图像组第一帧为 I 图像,第一个图像组有 7 帧图像,跟着的图像组有 9 帧图像,每个图像组必须包含一个或 多个 I 图像。 (3)图像层:一幅图像对应一帧,四种图像形式: I 帧内图 P 预测图 B 双向预测图 D 直流分量图 I 图:信息量最多,是预测和运动补偿的基础;P 图是经前面的 I 或 P 运动补偿后得到的,有一定的数据压 缩 ;B 图是由前后的 I,P 图补偿后得到的,它的数据压缩率最大。 (4)片层:为容错考虑,将一幅图划分若干片,每片中都存有解码所需的信息,某一片出错时,可以继 续查找下一片的起始信息继续进行解码,而不会因图像的某一部分出错导致整幅图的损坏。 (5)宏块层:层是一个 16*16 的样本块,它是运动补偿和更换量化级的单位,宏块由该样本块的 4 个亮 度块和 2 个色度块构成,在其首部存放着量化级和运动补偿的信息。 (6)块层:一个块是 8*8 的矩阵,它是编码的基本单元。

PCX MMP MMP 图像文件格式是 Ani-Video 公司以及清华大学计算机系在他们设计制造的视频信号采集板中 采用的图像文件格式。为了使视频数据能和电视视频信号兼容,它的图像数据采用 YUV 的形式, 并以 Y: U:V=8:2:2 的方式存储。 PCX 图像文件格式是 Zsoft 公司研制开发的,主要与商业性 PC—Paint brush 图 像软件一起使用。 AVI——Audio Video Interleave,即音频视频交叉存取格式 在 AVI 文件中,运动图像和伴音数据以交织的方式存储,并独立于硬件设备。构成一个 AVI 文件的主要参 数包括影像、伴音和压缩参数等。影像和伴音分别存储,因此可以把一段视频中的影像与另一段视频中的 伴音组合在一起。 AVI 的视窗大小可按 4∶3 的比例或随意调整,视窗越大,数据量越大。AVI 的帧率也可以调整,而且与数 据量成正比。不同的帧率会产生不同的画面连续效果。 ? AVS AVS 是 Intel 和 IBM 公司共同研制的数字视频交互 DVI 系统动态图像文件格式,AVS 必须在 DVI 硬件系统 的支持下才能读写,这样系统的造价较高。 数字化音频的获取,数字化音频模数转换过程

采样:声波是连续信号, 或称连续时间函数 x(t)。 用计算机处理这些信号时应先离散化,即按一定的 时间间隔 (T) 取值,得到 x(nT) ( n 为整数 ),T 称采样周期,1/T 称采样频率 ( 每秒钟采样次数 ), x(nT) 称采样值 ( 或离散信号 ) 奈奎斯特 ( Nyqust ) 采样定理:只要采样频率大于或者等于信号中所 包含的最高频率的两倍;即当信号是最高频率时,每个周期至少采样两个点,则理论上就可以完全恢复原 来的信号。 量化:通过采样得到的表示声音强弱的函数 x(nT) 是连续的,为把 x(nT) 存入计算机,就必须将采样值 离散化,即量化成一个有限个幅度值的集合 x(nT)。 编码:音频模拟信号经过采样与量化之后,为把数字化音频存入计算机,需对其编码,即用二进制数表示 每个采样的量化值,完成整个模数转换过程。采样频率、采样精度和声道数对声音的音质和占用的存储空 间起着决定性作用,如表所示:

常用的声音文件格式 ? WAV 文件——microsoft 公司的波形音频文件,扩展名:.vaf 一种最直接的表达声音波形的数字音频文件,主要用于自然声音的保存与重放。存储容量大。电子幻灯片 PowerPoint 软件、各种算法语言及多媒体平台软件可直接使用,适合多媒体系统、音乐光盘制作等。 ? VOC 文件——Creative 公司的波形音频文件,扩展名:.voc 声霸卡使用的音频文件格式。由文件头块和音频数据块组成。文件头包含一个标识、版本号和一个指向数 据块起始的指针;数据块分成各种类型的子块。利用声霸卡提供的软件可实现 VOC 和 WAV 转换。 ? MIDI 文件——乐器数字接口音频文件,扩展名:.mid 一种计算机数字音乐接口生成的数字描述音频文件, 文件中包含音符、 定时和多达 16 个通道的乐器定义。 文件不记载声音本身波形数据,用数字形式记录声音特征,描述演奏过程中的指令,数据量小。适合应用 在对资源占用要求苛刻的场合,比如多媒体光盘、游戏制作、背景音乐等。主要用于计算机声音的重放和 处理。 扩展名为 RMI 的文件是 Microsoft 公司的 MIDI 文件格式,可包括图片、标记和文本 ? MP3 文件——压缩音频文件,扩展名:.mp3 采用 MPEG 标准音频数据压缩编码中层 Ⅲ技术压缩之后的数字音频文件。 压缩比高、 数据量小、 音质好, 压缩比例有 10 : 1、17 : 1,甚至 70 : 1;数据率可以是 64kbps,也可以是 320kbps。 ? WMA 文件——流式音频文件,扩展名:.wma

Microsoft 研制的一种压缩离散文件或流式文件,相对于 MP3 具有较高压缩率和良好音质。当小于 128kb ps 时最为出色且编码后音频文件很小;当大于 128kbps 时音质损失过大。 ? PCM 文件——数字音频文件 模拟的音频信号经过模数转换(A/D 转换)直接形成的二进制数字序列,该文件没有附加的文件头和文件 结束标志。音源信息完整,但冗余度过大;音源信息保存完整,音质好;信息量大,体积大,冗余度过大。 因为能够达到最高保真水平的就是, 所以被广泛用于素材保存及音乐欣赏。 比如 Audio CD (72min/650MB)。 音频信号可分为两类:语音信号和非语音信号。 乐音三要素 音调:取决于声波的基频。基频越低声音越低沉,反之声音尖锐。音强:响度,取决于声音波形的幅度(振 幅大小)。音色:有混入基音(基波)的泛音(谐波)所决定。 音频信号处理的特点 1)音频信号是时间领带的连续媒体。因此音频处理的时序性要求很高。 2)应有两个声道,即理想的合成声音应是立体声。 3)对语音信号的处理不仅是信号处理问题,还要抽取语意等其他信息,因此可能会涉及语言学、社会学、 声学等。 从人与计算机交互的角度来看音频信号相应的处理 1)人与计算机通信(计算机接收音频信号):音频获取 2)计算机与人通信(计算机输出音频):音频合成(包括语音合成盒音乐合成)与声音定位(包括立体 声模拟;音视频同步) 3)人通过计算机与别人通信(通过网络与处于异地的人通信):语音采集、音频编/解码、音频传输等。 ★语音信号的冗余度和数据压缩技术的三个重要指标 语音信号存在着多种冗余度,其最主要部分可以分别从时域和频域来考虑。人们在实施数据压缩时,要在 音频质量、数据量、计算复杂度三方面进行综合考虑,即数据压缩技术的三个重要指标。 ★音频编码的分类 1)基于音频数据的统计特性进行编码。 其典型技术是波形编码,目标是使重建语音波形保持原形状。特点:适应性强,音频质量好,但压缩比不 大,数据率较高。 例:PCM(脉冲编码调制,无压缩)、DPCM(预测脉冲编码调制)、APCM(自适应脉冲 编码调制)、ADPCM(自适应预测编码) 用途:公用网、ISDN、配音。质量为 4.0—4.5。 2)基于音频的声学参数,进行模型参数编码(音源编译码)。 目标是是重建音频保持原有音频的特性。建立声音信号的产生模型,将声音信号用模型参数表示。常用的 音频参数有共振峰、线性预测系数、滤波器组等。特点:数据率低,但还原信号的质量差、自然度低。 例:LPC(线性预测编码) 用途:保密话声,质量为 2.5—3.5。数据率为 2.4Kb/s 3)混合编译码 结合上两种算法,企图寻找一种激励信号,这种信号激励产生的波形尽可能接近原话音波形。 例:MPLPC (多脉冲线性预测编码) CELPC(码激励线性预测编码)用途:移动通信。数据率 4.8Kb/s。 VSELP(矢量和激励 LPC)用途:语音 邮件。数据率 8Kb/s RPE-LTP(规则脉冲激励编码)用途:ISDN。数据率 13.2Kb/s 4)基于人的听觉特性 进行的感知编码 从人的听觉系统出发,利用掩蔽效应,涉及心理声学模型,实现更高效率的数字音频压缩。 例:MPEG、A C-3 用途:音响,质量 5.0

★音源编译码音乐合成技术 产生 MIDI 乐音的方法很多,现在用得较多的方法有两种:一种是频率调制(frequency modulation,FM) 合成法,另一种是乐音样本合成法,也称为波形表(Wavetable)合成法。这两种方法目前主要用来生成音 乐。 频率调制(FM)合成法:把几种乐音的波形用数字来表达,并且用数字计算机而不是用模拟电子器件把它们 组合起来,通过数模转换器(digital to analog convertor,DAC)来生成乐音。但是使用 FM 合成法来产 生各种逼真的乐音是相当困难的,有些乐音几乎不能产生。 波形表合成法:把真实乐器发出的声音以数字的形式记录下来,存在 ROM 里,播放时改变播放速度,从而 改变音调周期,生成各种音阶的音符。乐音样本的采集相对比较直观。较好的声卡均使用波表合成法。PC M 波表合成器。 MIDI 数字乐器接口 MIDI 是数字音乐接口(Musical Instrument Digital Interface)的缩写。MIDI 是用来將电子乐器相互连 接,或将 MIDI 设备与电脑连接成系统的一种通讯协议。通过它,各种 MIDI 设备都可以准确传送 MIDI 信 息。MIDI 协议提供了一种标准的和有效的方法,用来把演奏信息转换成电子数据。MIDI 信息是以“MIDI messages”传输的,它可以被认为是告诉音乐合成器(music synthesizer)如何演奏一小段音乐的一种指 令,而合成器把接收到的 MIDI 数据转换成声音。 同 WAV 文件相比,MIDI 文件有以下特点: 1.用乐谱指令代替声音数据 2.有效记录和重现各种乐器声音 3.占用存储空间极小 4.适合乐曲创作和远距离传输 声卡的组成与工作原理

处理音频信号的 PC 插卡是声卡 (Audio Card) , 又称音频卡, 声卡处理的音频媒体有数字化声音 (Wave) 、 合成音乐(MIDI)、CD 音频。采样频率中,22.05kHZ 是当前音频卡所支持的。声卡的功能包括: (1)音频录放(录制:把声音转换为文件;播放:把文件还原为声音) (2)编辑与合成(对声音文件进行各种特殊处理,如倒播、加回音、静噪音、往返放音、交换声道等) (3)MIDI 接口和音乐合成(依赖于合成芯片) (4)文语转换与语音识别 (5)CD-ROM 接口与游戏棒接口 ★声卡主要组成部分:数字声音处理器、混合信号处理器、功率放大器、音乐合成器及 MIDI 控制器、计 算机总线接口和控制器。 声卡的发展趋势 (1)改善声音质量 (2)统一音频卡标准 (3)简化安装的即插即用音频卡 (4)三维环绕立体声 (5)全双工声音处理 (6)与通信技术的结合 (7)单一芯片 多媒体数据压缩技术的性能指标:压缩比(=输入数据和输出数据比);压缩和解压的速度;恢复效果要 尽可能恢复原始数据。 多媒体数据压缩的可能性 (1) 空间冗余:例: 图象中的“A”是一个规则物体。光的亮度、饱和度及颜色都一样,因此,数据 A 有 很大的冗余。 (2) 时间冗余 (3) 信息熵冗余 信息量: 指从 N 个相等的可能事件中选出一个事件所需要的信息度量和含量。 信息熵:指一团数据所带的信息量,平均信息量就是信息熵(entropy)。 (4) 结构冗余:图象有非常强的纹理结构。如草席图结构上存在冗余。 (5) 知识冗余:图像的理解与某些基础知识有关。 例:人脸的图像有同样的结构:嘴的上方有鼻子,鼻子上方有眼睛,鼻子在中线上?? (6) 视觉冗余:视觉冗余是非均匀、非线性的。 (7) 其他冗余:空白的非定长性 预测编码 预测编码主要是减少数据在空间和时间上的相关性。它根据某一模型利用以往的样本值对新样本值进行预 测,然后将样本的实际值与其预测值相减得到一个误差值,进而对这一误差值进行编码。预测编码方法中 典型的有 DPCM 和 ADPCM 方法。 差分脉冲调制(DPCM)预测 :是降低每个像素所需平均比特数最实用的方法。对于绝大多数图像来说, 在局部空间和时间上是高度相关的,因而可以在已得到像素的基础上通过对当前像素的预测来减少图像的 数据量。预测器设计是预测编码系统的核心,预测器的复杂程度与线性预测中使用以前的样本数有关,样 本数越多,预测器越复杂。在预测编码系统中,图像质量下降的主要原因是①预测误差的量化,②由图像

传输过程中的误码在接收端预测器中引起的误码传播。不带量化器的 DPCM 线性预测编码,属于无失真编 码系统;带有量化器的 DPCM 线性预测编码,属于有失真编码系统。 自适应差分脉冲调制(ADPCM)预测:自适应技术的概念是预测器的预测系数和量化器的量化参数,能够 根据图像的局部区域分布特点自动调整。即定期地重新计算协方差矩阵和相应的加权因子,充分利用其统 计特性重新调整预测参数,使预测器随着输入数据的变化而变化,从而得到较为理想的输出。自适应预测 又可分为线性自适应预测和非线性自适应预测两种。实践证明,ADPCM 编、解码系统与 DPCM 编、解码系统 相比,不仅能改善恢复图像的评测质量和视觉效果,同时还能进一步压缩数据。ADPCM 系统包括自适应预 测,即预测系数的自适应调整和自适应量化,即量化器参数的自适应调整两部分内容。 变换编码 变换编码不是直接对时域图像信号编码,而是首先在数据压缩前对原始输入数据作某种正交变换,把图像 信号映射变换到另外一个正交相量空间,产生一批变换系数,然后再对这些变换系数进行编码处理。利用 图像块像素值之间的相关性,把图像变换到一组新的基上,使得能量集中到少数几个变换系数上,通过存 储这些系数达到压缩的目的。本方法采用对整幅的原始图像分成许多个矩形区域子图像独立进行变换。常 用变换有:卡亨南—洛维变换(KLT)、离散余弦变换(DCT)、沃尔什—哈达玛变换(WHT)、离散傅里 叶变换(DFT)。其中,K-L 变换是以图像的统计特性为基础的一种正交变换,它是消除数据相关性最有效 的正交变换,但由于计算复杂度高,实际应用中很少使用。 统计编码 1、统计编码原理 ——信息量和信息熵 (1)信息:是用不确定性的量度定义的。 (2)信息量:从 N 个相等可能事件中选出一个事件所需要的信息度量或含量。 Shannon 信息论把一个事件(字符 s1)所携带的信息量定义为:I(s1) = log2 (1/p) = -log2 p (bit) 其中 p 为事件发生(字符出现)的概率;I(s1)即随机事件或变量 X 取值为 s1 时所携带的信息量。 (3)熵:如果将信源所有可能事件信息量进行平均就得到信息的熵(熵就是平均信息量)。即: H(x) =p1I1+p2I2+?+piIi=p1log2(1/p1)+?.+ pilog2(1/pi)

2、哈夫曼编码 Huffman 编码就是利用变字长最佳编码实现信源符号按概率大小顺序排列。让最频繁出现的符号具有最短 的编码。Huffman 编码的过程 = 生成一棵二叉树(H 树) Huffman 具体编码步骤 (1)将符号按概率从大到小顺序排列 (2)出现概率最小的两个符号概率相加合成一个概率。 (3)将合成概率看成一个新组合符号概率,重复上述做法,直到最后只剩下两个符号概率为止。 (4)反过来逐步向前编码,每一步有两个分支各赋予一个二进制码,可以对概率大的赋编码为“0”,概率 小的赋编码为“1”。(反之,也可以大的赋“1”,小的赋“0”) 特点:它属于不对称、无损、变码长的熵编码。码长虽然都是可变的,却不需要另外附加同步代码(即在 译码时分割符号的特 殊代码)。Huffman 编码在信源编码概率分布不均匀时效率高,所以效率比较均匀时,不用 Huffman 编码。

3、算术编码 算术编码方法是将被编码的一则消息或符号串(序列)表示成 0 和 1 之间的一个间隔(Interval),即对 一串符号直接编码成[0,1]区间上的一个浮点小数。符号序列越长,编码表示它的间隔越小,表示这一间 隔所需的位数就越多。信源中的符号序列仍然要根据某种模式生成概率的大小来减少间隔。

算术编码解码过程: (1)设编码初始化子区间为[0,1),Qe 从 0 算起,则 Pe=1-Qe。随着被编码数据流符号的输入,子区间 逐渐缩小。 (2)新子区间的起始位置=前子区间的起始位置+当前符号的区间左端×前子区间长度; (3)新子区间的长度=前子区间的长度×当前符号的概率(等价于范围长度); (4)最后得到的子区间的长度决定了表示该区域内的某一个数所需的位数。 在算术编码中需要注意的几个问题: (1)由于实际计算机精度不可能无限长,运算中溢出是明显的问题, 但多数机器都有 16 位、32 位或者 64 位的精度,因此可使用比例缩放法解决。(2)算术编码器对消息只产 生一个码字,这个码字是在[0, 1]中的一个实数,因此译码器在接受到表示这个实数的所有位之前不能进 行译码。(3)算术编码也是一种对错误很敏感的编码方法,如果有一位发生错误就会导致整个消息译错。 算术编码可以是静态的或者自适应的。在静态算术编码中,信源符号的概率是固定的。在自适应算术编码 中,信源符号的概率根据编码时符号出现的频繁程度动态地进行修改,在编码期间估算信源符号概率的过 程叫做建模。 需要开开发态算术编码的原因是因为事先知道精确的信源概率是很难的, 而且是不切实际的。 当压缩消息时,我们不能期待一个算术编码器获得最大的效率,所能做的最有效的方法是在编码过程中估 算概率。因此动态建模就成为确定编码器压缩效率的关键。 4、RLE/RLC 行程编码或游程长度编码 RLE 视数字信息为无语义的字符序列(字节流),对相邻重复的字符,用一个数字表示连续相同字符的数目 (称为行程长度),可达到压缩信息的目的。如未压缩的数据:ABCCCCCCCCDEFFGGG;RLE 编码:AB8CDEFF3 G RLE 所能获得的压缩比有多大, 这主要是取决于图像本身的特点。 如果图像中具有相同颜色的图像块越大, 图像块数目越少,获得的压缩比就越高。译码时按照与编码时采用的相同规则进行,还原后得到的数据与 压缩前的数据完全相同,是无损压缩技术。

RLE 压缩编码尤其适用于计算机生成的图像,对减少图像文件的存储空间非常有效。RLE 对颜色丰富的自 然图像就显得力不从心。但在自然图像的压缩中(如 JPEG)还真少不了 RLE,只不过是不能单纯使用 RLE 一种编码方法,需要和其他的压缩编码技术联合应用。 静态图像压缩编码的国家标准——JPEG(Joint Photographic Experts Group 联合图象专家组标准) JPEG 给出了一个使用于连续色调图像的压缩方法。JPEG 主要采用了以 DCT 为基础的有损压缩算法。而 JP EG 2000 则采用的是性能更优秀的小波变换。JPEG 使用量化和无损压缩编码相结合来去掉视角的冗余信息 和数据本身的冗余信息。JPEG 属于结合变换编码(DCT)与熵编码(RLE/Huffman)的混合编码。JPEG 算法与 彩色空间无关,因此它可以压缩来自不同彩色空间的数据,如 RGB, YCbCr 和 CMYK。 JPEG 要求图像应达到目的的基本要求: 达到或接近当前压缩比与图像保真度的技术水平,能覆盖一个较宽的图像质量等级范围,能达到“很好” 到“极好”的评估,与原始图像相比,人的视觉难以分辨;JPEG 在使用 DCT 进行有损压缩时,压缩比可调 整在压缩 10~30 倍后,图像效果仍然不错。 能适用于任何种类的连续色调的图像,且长宽比都不受限制,同时也不受限于景物内容、图像的复杂程度 和统计特性等。 计算的复杂性是可控制的,其软件可在各种 CPU 上完成,算法也可用硬件实现。 JPEG 算法具有四种操作方式或编码模式: 顺序编码(基准模式)——:基于 DCT,每一个图像分量按从左到右,从上到下扫描,一次扫描完成编码; 累进编码(递进模式)——基于 DCT,累进编码传输时间长,接收端收到的图像是图像是多次扫描由粗糙 到清晰的累进过程; 无失真编码(无损模式)——基于 DPCM,保证解码后,完全精确地恢复源图像采样 值,其压缩比低于有失真压缩编码方法; 分层编码(层次模式)——:图像在多个空间分辨率(2n 倍)进 行编码。在信道传送速率慢,接收端显示器分辨率也不高的情况下,只需做低分辨率图像解码。 基于 DCT 编码的关键步骤为: 第一步:分割子块(8*8 分块); 第二步:对子块进行正向离散余弦变换 FDCT (forward DCT),把空间域表示的图变换成频率域表示的图; 正变换(FDCT)公式: 逆变换(IDCT)公式: √2 ,当 u,v= 0 其中,C(u),C(v)= 为直流系数 DC,其它的 F(u,v)为交流 0 ,其余 系数 AC。 计算两维的 DCT 变换时,可以使用下面的计算式把两维的 DCT 变换变成行向的一维 DCT 计算和列向的一维 DCT 计算的组合变换: 水平方向 8*1DCT 变换 例: 给消息“state_tree” 第三步:使用加权函数对 DCT 系数进行量化,量化是图像质量下降的最主要原因。对于有损压缩算法,JP EG 算法使用线性(均匀)量化器进行量化, 量化步距是按照系数所在的位置和每种颜色分量的色调值来确定。 使用了两种量化表:亮度量化表和色差量化表,如下图。量化结果的计算 可以用下式计算量化值: 其中,Sq(u,v)为量化后的结果、F(u,v) 为 DCT 系数、Q(u,v)为量化表中的数值。 亮度量化表

色度量化表 第四步:编码,使用差分脉冲编码调制 DPCM 对直流系数 DC(direct current)进行编码,使用行程长度编 码 RLE 对交流系数 AC (alternating current)进行编码 量化后系数要重新编排,目的是为了增加连续的“0”系数的个数,就是“0”的游程长度,方法是按照 Z 字形的式样编排:

量化 DC 直流系数有个特点,一是系数的数值比较大,二是相邻 8×8 制(DPCM)技术,对相邻图像块之间的 DC 系数的差值(Delta)进行编码: 量化 AC 系数的特点是 1×63 矢量中包含有许多“0”系数,并且许多“0”是连续的,因此使用游程长度 编码(RLE)对它们进行编码。每个 AC 系数行程编码的码字用两个字节表示,第 1 个字节的高 4 位来表示连 续“0”的个数,低 4 位来表示编码下一个非“0”系数所需要的位数,第二个字节是非 0 量化 AC 系数的 数值。 第五步:熵编码(Huffman/算术)。 使用熵编码可以对 DPCM 编码后的直流 DC 系数和 RLE 编码后的交流 AC 系数作进一步的压缩。 JPEG 建议的两种熵编码方法是:Huffman 编码和自适应二进制算术编码。 熵编码可分成两步进行,先把 DC 码和行程码转换为中间符号序列,然后给这些符号赋以变长码字。 在 JPEG 有损压缩算法中,使用霍夫曼编码器来减少熵。使用霍夫曼编码器的理由是可以使用很简单的查 表(lookup table)方法进行编码。压缩数据符号时,霍夫曼编码器对出现频度比较高的符号分配比较短的 代码,而对出现频度较低的符号分配比较长的代码。这种可变长度的霍夫曼码表可以事先进行定义。 第六步:组成位数据流 JPEG 编码的最后一个步骤是把各种标记代码和编码后的图像数据组成一帧一帧的数据, 这样做的目的是为 了便于传输、存储和译码器进行译码.这样组织的数据通常称为 JPEG 位数据流(JPEGbitstream)。 多媒体通信标准 为了在线路交换网络(如公众交换电话网络)和信息包交换网络(如 internet)这两种类型的网络上开发 多媒体通信功能,国际电信联盟制定了许多标准。在这些标准中,H 系列标准组成了多媒体通信的核心标 准:H.320 是综合业务数字网(ISDN)电视会议标准;H.323 是局域网上的多媒体通信标准;H.324 是公众交 换电话网络上的多媒体通信标准。因特网上的电视会议目前大部分趋向采用 H.323 标准。 多媒体通信标准,电视图像的编码标准属于 H.26 系列,包括 H.261 和 H.263 标准。国际化标准组织制定 的电视图像编码标准是 MPEG 系列。 H.261 和 H.263 标准 MPEG(运动图像专家组——Moving Picture Experts Group)编码的国际标准

运动图像专家组(MPEG)是专门制定多媒体领域内的国际标准的一个组织,该组织开发的标准称为 MPEG 标准。MPEG 标准是面向运动图像压缩的一个系列标准,包含 MPEG-1、MPEG-2、MPEG-4、MPEG-7、MPEG-21 等。 MPEG-1:数字电视标准适用于传输速率为 1.5Mbps 的数字电视标准,91 年提出草案,93 年 8 月公布。 MPEG-2:适高清晰数字电视标准。 用于传输速率为 10Mbps 的数字电视标准,93 年提出草案,94 年 11 月公布。 MPEG-3:适用于传输速率为 40Mbps 的数字电视标准,已被 MPEG-2 取代。 MPEG-4:多媒体应用标准。1999 年 12 月公布的多媒体应用标准。 MPEG-7:多媒体内容描述接口标准,98 年提出,2001 年完成并公布。 MPEG-21:多媒体框架结构标准。正式名称是 Multimedia Framework(多媒体框架),是为大范围的网络上实 现透明的传输和对多媒体资源的充分利用而制定的标准。 MPEG-1 标准:即“用于数字存储媒体运动图像及其伴音速率为 1.5Mbps 的压缩编码”。 MPEG-1 的任务主要是,将视频信号及其伴音以可接收的重建质量压缩到约 1.5Mbps 的码率,并复合成一个 单一的 MPEG 位流,同时保证视频和音频的同步。 MPEG-1 标准分 4 个部分: H.261 标准是视频图像压缩的国际标准。 也被称为 “P×64Kb/s 视声服务用视像编码方式”(P = 1 to 30)。 P=1 或 2 时,仅 H.263 标准在低码率下能够提供比 H.261 更好的图像效果,两者的区别有: 1、H.263 支 持 5 种分辨率,即除了支持 H.261 中所支持的 QCIF 和 CIF 外,还支持 SQCIF、4CIF 和 16CIF,SQCIF 相当 于 QCIF2、H.263 的运动补偿使用半像素精度,而 H.261 则用全像素精度和环路滤波; 3、H.263 采用无限 制的运动向量以及基于语法的算术编码; 4、采用事先预测和与 MPEG 中的 P-B 帧一样的帧预测方法; 支 持 QCIF(176×144)分辨率格式、每秒帧数较低的可视电话;P〉6 时,可支持 CIF(352×288)的电视会 议。 一半的分辨率,而 4CIF 和 16CIF 分别为 CIF 的 4 倍和 16 倍。 ①MPEG 系统:定义音频、视频及有关数据的同步; ②MPEG 视频:定义视频数据的编码和重建图像所需的解码过程,亮度信号分辨率为 360×240,色度信号 分辨率为 180×120; ③MPEG 音频:定义音频数据的编码和解码;MPEG 音频压缩算法是第一个高保真音频 数据压缩国际标准,它同时可完全独立应用。MPEG 音频标准具有如下特点: (1)音频信号采样率可以是 32kHz,44.1kHz 或 48kHz;(2)压缩后的比特流可以按 4 种模式之一支持单 声道或双声道;(3)压缩后的比特流具有预定义的比特率之一; (4)MPEG 音频标准提供 3 个独立的压缩层次;(5)编码后的比特流支持循环冗余校验 CRC;(6)MPEG 音频标准支持在比特流中载带附加信息 ④一致性测试。 MPEG 算法中采用的基本技术: (1)基于块的运动补偿技术,目的是减少时间上冗余性; (2)基于 DCT 变换的 ADCT 技术,以减少空间上冗余性。 (3)基于块的运动补偿技术—— MPEG 视频数据流的结构 ★MPEG 将运动图像类型分为 3 种:I 图像;P 图像;B 图像。 (1)I 图像——I 图像也称帧内图,类似与 JPEG 中的帧内编码。 利用图像自身的相关性压缩,提供压缩数据流中的随机存取的点,采用基于 ADCT 的编码技术,压缩后, 每个像素为 1~2 比特。 (2)P 图像——预测图。

用最近的前一个 I 图像(或 P 图像)预测编码得到(前向预测),也可以作为下一次预测的参照图像。预测图 像的编码是以图像宏块(macroblock)为基本编码单元 , 一个宏块一般定义为 16×16 像素的的图像块。 采用了运动补偿的预测编码 (3)B 图像——插补图,也称双向预测图、双向图。 B 图橡在预测时,既可使用前一个图像作参照,也可使用下一个图像作参照或同时使用前后两个图像作为 参照图像(双向预测)。 典型的排列如下图所示。这三种图像将采用三种不同的算法进行压缩。 基于块的运动补偿技术:运动补偿技术主要用于消除 P 图像和 B 图像在时间上的冗余性,提高压缩效率。 在 MPEG 方案中,运动补偿技术在宏块一级工作。 (1)在参照帧中寻找符合一定条件限制、当前被预测块的最佳匹配块; (2)当找到匹配块后,在恢复被预测块时,采用两种处理方法:直接用匹配块代替;用匹配块加上预测 误差(预测误差采用 ADCT 编码)。 每个包含运动信息的 16×16 宏块,相对于前面相邻块的运动信息作差分偏码,得到运动差值;然后对运 动差值,使用变长码编码方法,进一步压缩数据。 注意:MPEG 标准只说明了怎样表示运动信息,并没有说明运动矢量如何计算。 MPEG-2 标准——信息技术—电视图像和伴音信息的通用编码。 直接与数字电视广播有关的高质量图像和声音编码标准。MPEG-2 可以说是 MPEG-1 的扩充,因为它们的基 本编码算法都相同。但 MPEG-2 增加了许多 MPEG-1 所没有的功能,例如增加了隔行扫描电视的编码,提供 了位速率的可变性能(scalability)功能。MPEG-2 要达到的最基本目标是:位速率为 4~9 Mbit/s,最高 达 15 Mbit/s。 MPEG-2 标准的主要内容如下: (1)MPEG—2 视频利用网络提供的更高的带宽(1.5Mbps 以上), 来支持具有更高分辨率图像的压缩和更 高的图像质量; (2)为了适应不同应用的要求,保证数据的可交换性,定义了不同的功能档次,每个档次又分为几个等 级 (3)编码器的设计有较大的自由度 (4)MPEG-2 定义了 11 种规范,以保证与 MPEG-1 向下兼容及广播、通信、计算机、家用视听设备的需求; (5)MPEG-2 音频向后与 MPEG—1 音频兼容。 MPEG-2 的编码方法和 MPEG-l 的区别主要是在隔行扫描制式下,DCT 变换是在场内还是在帧内进行由用户自行选择,亦可自适 应选择。一般情况下,对细节多、运动部分少的图像在帧内进行 DCT;而细节少、运动分量多的图像在场 内进行 DCT。 MPEG-2 采用可调型和非可调型两种编码结构,且采用两层等级编码方式。 MPEG2 视频体系要求必须保证与 MPEG1 向下兼容,并同时力求满足数字存储媒体、会议电视/可视电话、数 字电视、高清晰度电视(HDTV)、广播、通信、网络等应用领域对多媒体视频、音频通用编码方法日益增 长的新需求。如分辨率有低、中、次高、高不同档次,压缩方法从简单到复杂有不同级别等。 高清晰度数字电视采用 MPEG-2 压缩算法的优点是与多媒体计算机兼容。 国际标准 MPEG-2 采用了分层的编码体系,提供了 4 种技术,分别是:空间可扩展性、时间可扩充性、信 噪比可扩充性、数据分块技术。 MPEG-4 标准:

与 MPEG-1、MPEG-2 相比 MPEG-4 最突出的特点是基于内容的压缩编码方法。它突破了 MPEG-1、MPEG-2 基 于块、像素的图像处理方法,而是按图像的内容如图像的场景、画面上的物体(物体 1、物体 2)等分块, 即将感兴趣的物体从场景中截取出来,称为对象或实体。因此,MPEG4 Video 算法的核心是支持内容基(co ntent-based)的编码和解码功能,也就是对场景中使用分割算法抽取的单独的物理对象进行编码和解码。 基于内容的编码方法: 视频对象平面(Video Object Plane,VOP)某时刻某一帧画面的 VO. 视频对象(Video Objects,VO):场景中的某个物体,有时间上连续的帧画面序列构成。 连续的 VOP 组成 VO。 VOP 编码及针对某一时刻该帧画面上的 VO 的形状、 运动、 纹理共三类信息进行编码, 分配不同码字。 为了具有基于内容方式表示的音视频数据,MPEG-4 引入了 AVO(Audio/Video Object) 的概念。AVO 的构成依赖于具体应用和系统实际所处的环境,它可以是一个没有背景的说话的人,也可以 是这个人的语音或一段背景音乐等,它具有高效编码、高效存储与传播以及可交互操作的特性。 与前面所介绍的标准不同,MPEG-4 标准不仅是针对一定比特率下的视频、音频编码,而且更加注重多媒体 系统的交互性和灵活性。MPEG-4 支持如下的基于内容的交互性功能: (1)基于内容的多媒体数据访问:MPEG-4 通过使用各种工具,提供基于音像内容的数据访问,例如,索 引、超链接、查询、浏览、上载、下载和删除等。 (2) 基于内容的处理和比特流编辑:提供“MPEG-4 语法描述语言(MSDL)”和编码模式,以支持基于内 容的处理和比特流编辑,且不需要转换代码。MSDL 的高度灵活性为今后的使用提供了足够的扩展,如数字 特技。 (3)混合自然和人工数据编码:MPEG-4 支持一种有效的方法,用于人工画面或对象与自然画面或对象的 组合(如文本和图形的覆盖),并且具有对自然和人工音频和视频数据进行编码和处理的能力,MPEG-4 还 支持解码器可控制的方法,该方法可将人工数据和原始音频和视频组合在一起且便于交互。 (4)改进的时间随机访问:提供一种有效的方法,可以在有限的时间内,且以较高的分辨率,随机访问 视听序列的部分内容(如帧或对象)。这里包括甚低比特率的常规随机访问。 MPEG-7 标准:多媒体信息描述接口标准 其目的是生成一种用来描述多媒体内容的标准,这个标准将对信息含义的解释提供一定的自由度,可以被 传送给设备和电脑程序,或者被设备或电脑程序查取。准确说来, MPEG-7 并不是一种压缩编码方法,而 是一个多媒体内容描述接口。继 MPEG-4 之后,要解决的矛盾就是对日渐庞大的图像、声音信息的管理 和迅速搜索。MPEG7 就是针对这个矛盾的解决方案。MPEG-7 力求能够快速且有效地搜索出用户所需的不 同类型的多媒体影像资料,比如在影像资料中搜索有长江三峡镜头的片段。 总体来说,MPEG 有三方面的优势: 首先,它是做为一个国际化的标准来研究制定的,所以,具有很好的兼容性。 其次,MPEG 能够比其他算法提供更好的压缩比,最高可达 200:1。更重要的是,MPEG 在提供高压缩比的同 时,对数据的损失很小。 MPEG-1 使得 VCD 取代了传统的录像带;而 MPEG-2 将使数字电视最终完全取代现有的模拟电视;随着 MP EG-4 和 MPEG-7 新标准的不断推出,数据压缩和传输技术必将趋向更加规范化。 第三章 多媒体计算机硬件及软件系统结构 光盘交互式多媒体计算机系统——CD-I 属于家电制造厂商研制的电视计算机(灵巧电视 SmartTV)型多媒体计算机系统。Philips/Sony 公司于 1 986 年 4 月公布了基本的 CD-I 系统,同时还公布了 CD-ROM 的文件格式,这就是以后的 ISO 标准。该系统 把高质量的声音、文字、计算机程序、图形、动画以及静止图象等都以数字的形式存放在容量为 650MB 的

5 英寸只读光盘上。用户可通过与该系统相连的家用电视机、计算机显示器和 CD-I 系统进行通信、使用鼠 标器、操纵杆和遥控器等定位装置选择人们感兴趣的视听材料进行播放,可完成培训或教育任务。提供四 种不同音质的运行方式。定义了 3 种不同的图象分辩率。几种视频工作方式。CD 光盘光道是螺旋形的。 数字视频交互式多媒体计算机系统——DVI DVI 即数字视频交互( Digital Videl Interactive )是 Intel 公司推出的支持对多媒体信息进行处理 及表现的一个集成环境。DVI 是目前比较成熟的多媒体计算机系统,它在以下几个方面取得了实质性的突 破:一种全数字化的方法;视频压缩;声音压缩;合成图形 Ⅱ型 DVI 系统比Ⅰ型 DVI 系统有以下几点改进:性能指标高;使用了专用的门阵电路;将多块处理板变 成一块处理板,占用一个 PC 插槽。 Ⅱ型 DVI 系统结构原理图如下: DVI 系统解决计算机综合处理声、文、图信息的方案是: (1)采用 PLV(Product Level Video) 视频压缩编码算法 (2)设计了二个专用芯片:82750PB (PA) 像素处理器;82750DB (DA) 显示处理器 (3)设计制造三块门阵电路:82750LH 主机接口门阵;82750LV VRAM/SCSI/Capture 接口门阵;82750LA 音频子系统接口门阵 (4)提出了视频音频引擎的概念 --AVE Audio video Engine [视频子系统=82750 PB 像素处理器(视频信号处理)+82750 DB 显示处理器(视频信号的显示)+VRAM(压缩编 码和解码); 视频子系统的关键技术是视频处理和显示引擎,它们是由 82750 PB 像素处理器,8275 DB 显示处理器以及 VRAM 组成。 Ⅱ型 DVI 系统的核心是视频算法和显示引擎,它们是由 82750 PB 像素处理器,8275 DB 显示 处理器和静止图像压缩编码和解码压缩算法。 音频子系统=DSP 音频信号处理器+数字到模拟转换硬件+模拟滤波器等; 视频音频总线] (5)同时设计开发了音频视频子系统 AVSS(Audio Video Sub-System (DOS))and 音频视频核 AVK(Au dio Video Kernel(Windows) ) 桌面视频压缩系统(Desktop Video Compress)DVC 桌面视频压缩系统(Desktop Video Compress)DVC 是由清华大学和中国银河公司共同设计制造的,采用 II T 公司生产的将 VC 和 VP 集成在一个芯片的 VPC,设计实现了一种综合业务多媒体通信终端 IMCT,称它为 V C-1000A,同时开发了系统应用软件。

第四章 多媒体技术的发展趋势 将多媒体和通讯功能集成到 CPU 芯片中 在这里集成的含义是指: 在原有计算机体系结构结构中, 如何增加下述新的功能: (1) 多媒体数据的获取; (2)多媒体数据的压缩和解压缩;(3)多媒体数据的实时处理和特技;(4)多媒体数据的输出和多媒 体通信。

集成的设计原则是: (1)采用国际标准的设计原则; (2)多媒体和通信功能的单独解决变成集中解决 ; (3)体系结构设计和和算法相结合(4)把多媒体和通信技术作到 CPU 芯片中(一类是多媒体和通信功能 为主,融合 CPU 芯片原有的计算功能;另一类是以通用 CPU 计算功能为主,融合多媒体和通信功能。) 多媒体处理器——Mpact 和 Trimedia Mpact 芯片内部结构由以下部件组成:五个接口控制器(存储器接口、PCI 总线接口、视频接口、显示接 口、外设接口);一个多通道 SRAM(4 个写通道、4 个读通道); CPU(由四个 ALU、一个运动估计单元 (匹配和搜索算法)和指令解码控制器组成)。 TM-1000 是 Philips 公司于 1996 年底推出的新一代媒体处理芯片(Media Processor)。它是一款针对实 时处理音频、视频、图象和通讯数据流的通用微处理器,内部集成了一个极高性能的 CPU,一些周边的 I/ O 单元和协处理单元。综合运用内嵌 DSP(Digital Signal Processing)的方案和通用 CPU 的高度可编程 特性,使它以极高的性价比实现了高性能的多媒体功能。 以通用 CPU 计算功能为主,融合多媒体和通信功能的两种方案 一种方案是采用标量处理器(Scalar Engine)和向量处理器(Vector Engine)或称阵列处理器(Array Processor)或者是 CPU 和 DSP(数字信号处理器)相结合的方法,设计全新结构的 CPU。它们的典型产品 是 Motorola 公司的 Phenix 芯片。 另一种方案是在原有 CPU 基础上扩充多媒体和通讯的功能,它们的代表产品:Sun 公司的 Ultra SPARC-Ⅰ /Ⅱ、 Cyrix Multimedia 586、HP 公司的 MAX-2、Intel 公司的 MMX 技术。 Motorola 公司 Phenix 芯片 Phenix 芯片把可扩展的 Power PC 的扩充核作为标量处理器和阵列处理器融合在一起集成在一个芯片中, 第一代的产品称为向量通信处理器——VEComP701。VEComP 701 由两种类型的微处理器组成:一类是单片 32 位 RISC 标量处理;另一类是 32 个 16 位单指令多数据流(SIMD)并行操作的向量处理器。 Intel 公司的 MMX 技术 Intel MMX 的核心技术特点: (1)增加了新的数据类型:把较小的数据元素的数据类型合并到一个寄存器中; (2)扩充了饱和型运算方式:定点运算时上溢下溢不中断,保持最大最小值; (3)扩充了 57 条新指令:扩充的 MMX 指令系统采用 SIMD 形式完成寄存器中所有数据元素的并行操作; (4)与 IA 结构的全兼容性:8 个 64 位 MMX 寄存储组可映像到 IA 结构的浮点寄存器中。 MMX 开发工具和编程技巧建议采用下述工具和方法: (1)采用在高级语言中嵌入 MMX 指令的方法。 (2)采用 Intel 公司提供的 MMX 标准函数库。 (3)采 用数据流描述方法。 计算机支持的协同工作——CSCW “计算机支持的协同工作”(Computer Support Cooperative Work)可以 定义为:地域分散的一个群体借助计算机及其网络技术,共同协调与协作来完 成一项任务。它包括群体工作方式研究和支持群体工作的相关技术研究、应用 系统的开发等部分。 CSCW 系统有两个本质特征: 共同任务和共享环境。 一般应具有下述三种活动(三要素):通信:协同工作者间进行信息交换; 合作:群体协同共同完成某项任务;协调:对协同工作进行协调。 CSCW 系统的分类表示成一个三维空间,一维表示时间坐标,说明是同步 还是异步交互协作;一维是空间坐标,说明协作对象空间位置是分散的还是集

中的;一维是群体规模坐标,它表示协作者的多少,两人还是多人。 CSCW 实现中最重要的是群体协作模型,它是群体成员进行协作共同完成 任务的模式。常用的有:对话模型、会议模型、过程模型、活动模型、分层抽象模型。 第五章 多媒体应用的策划与设计/软件工程 软件由计算机程序、数据及文档组成,同时与硬件、数据库人、过程等共同构成计算机系统。软件工程包 括三个要素:方法、工具和过程。软件工程的三要素:方法、工具、过程。造成软件危机主要原因:软件 本身特点、缺乏良好的开发方法和手段、开发效率低。 软件生命周期:软件生命周期是指由软件定义、软件开发和软件维护等阶段组成的全过程,反映软件生存 期内各种工作得组织以及各个阶段如何衔接。软件生存周期的六个工作阶段:软件项目计划、需求分析与 定义、软件设计、编码、软件测试以及软件的运行与维护。 常见的软件开发方法和开发模型: 常见的软件开发模型:瀑布模型、演化模型、螺旋模型(将瀑布模型与演化模型结合起来)、喷泉模型(描 述面向对象的开发过程)。 结构化方法(适用于瀑布模型):强调开发方法的结构合理性及所开发软件 的结构合理性。要求严格定义或预先明确说明用户需求。 面向对象方法(适用于喷泉模型):引入了类 的概念和继承机制,提高了软件开发效率及软件的可复用性和可维护性。 原型法(适用于演化模型、螺旋模型):获得一组基本需求后快速的加以实现。随着用户或开发人员对系 统的理解加深不断对需求进行补充和细化。是一种确定需求的策略。要求完整的生存周期。 多媒体应用系统开发的主要步骤: 1:确定开发对象;2:明确开发方法;3:准备多媒体数据;4:集成一个多媒体应用系统。 从软件工程的角度,可以分为四个阶段:需求分析;设计与制作;测试;提交。 主要的多媒体应用类型 1:开发系统;2:Title;3:演示系统;4:教育培训;5:娱乐;6:专门应用系统。 多媒体应用设计的基本原则 1:选题报告计划书中需包括:用户分析报告、设施分析报告、成本效益分析报告、系统内容分析报告等, 其目的是确定使用对象和要求,确定应用系统设计结构、建立设计标准。 2:多媒体脚本设计需要做到:A:规划出各项内容显示的顺序与步骤;B:描述期间的分支路径和衔接流 程;C:兼顾系统的完整性和连贯性;D:既要考虑整体结构,又要善于运用,声画影物多重组合达到最佳 效果;E:注意交互性与目标性;F:根据不同应用系统运用相关的流域知识与指导理论。 3:创意设计应做到: A:要在媒体“呈现”和 “交互”上做文章;B:应包括各种媒体信息在时间和空 间上的 同步表现;C:应考虑具体的创作环境;D:应用软件开发的方法和技术进行开发;E:讲究灵感和 紧扣主题。 多媒体人机界面设计原则 1:认知原则(一致性原则、兼容性、适应性、指导性、结构性、经济性),还要考虑:有具体到抽象、 由可视化的内容显示不可见的内容、由模拟引导创新、合理运用再认与再忆、减少用户短期记忆的负担、 考虑用户的个别差异。 2:界面设计原则 设计原则(用户原则、信息最小量原则、帮助和提示原则、媒体最佳组合原则)。 人机界面的类型:问答型人机界面、菜单型人机界面、图标型人机界面、表格型人机界面、语言型人机界 面 3:界面结构与实现:

界面对话设计:使用对话风格的选择,并加上用户存取和控制机制,对话是以任务顺序为基础,遵循原则 如下:反馈,状态,脱离,默认值,使用略语或代码来减少用户击键数,求助,复原。 数据输入界面设计:尽可能减轻用户记忆,采用列表选择;使界面具有预见性和一致性;防止用户出错; 提供反馈;按用户速度输入和自动格式化;允许编辑 控制界面设计:主要考虑控制会话设计;菜单界面设计;功能键设计;图标设计;窗口设计;直接操作界 面和命令语言界面设计。 4:界面设计与评价 评价通常用以下四项基本要求衡量:是否有利于用户目标的完成;界面学习和使用是否容易;界面使用效 率如何;设计中存在的潜在问题有哪些 一般还有:实用性、有效性、易学习性、用户满意度 评价方法:实验法、监测法、调查法 屏幕设计原则 (1)布局:平衡原则、预期原则、经济原则、顺序原则、规则化。 (2)文字与语言:用语简洁;格式;信息内容 (3)颜色:限制同时显示的颜色数;画面中活动对象颜色应鲜明,而非活动对象应暗淡;尽量避免不兼容 的颜色放在一起;用颜色表示信息或对象属性,要使用户懂得这种表示。 第七章 多媒体课件 CAI 的设计和实现 CAI 的特点:1:丰富的表现力;2:创造情景激发兴趣;3:良好的交互性;4:资源共享。 CAI 课件编制原则:教学性原则、科学性原则、技术性原则、艺术性原则、控制性原则、简化性原则、经 济性原则 CAI 的基本模式:1:讲解演示 2:操作与联系 3:个别指导 4:模拟 5:教学游戏 CAI 课件的开发过程 1:课件的需求分析——包括课件选调与类型的确定两个方面。 A:课件的选题 选题的原则:必要性、可行性、价值性、主体单一性、课题表现性。 选题过程包括:实际调查、文档检索、专家咨询。 B:课件的类型 根据课件的功能分:教学型课件、测试型课件、管理型课件; 根据教学信息的呈现方式分类:页面型课件、生成型课件、智能型课件; 根据教学方式分类:个别指导型课件、操作与联系型课件、模拟型课件、对话型课件、问题求解型课件、 游戏性课件; 根据系统的体系结构分类:单机版课件、网络课件。 、 2:课件的设计 A:教学设计 B:课件的表现技巧设计 C:课件的开发计划 3:课件的制作 A:课件的脚本编写 B:编成方框图 C:模板编程 D:编码调试 E:课件素材的选取 F:课件的编辑合成 G:课件的测试和评价 第八章 多媒体电子出版物的设计和实现 多媒体电子出版物的特点:数据处理量大、制作过程涉及面广、需要专门的设备和应用软件 多媒体电子出版物的应用类型

教育应用(少儿故事类、自然科学类、 音乐类、语文类、文学类、 历史类)、电子图书(字典类、百科 全书类、经典类、参考书积类)、旅游与地图(地图类、旅游类)、家庭应用类(医药类、娱乐类)、商 业(员工训练类、商品介绍类、查询服务与浏览) 多媒体电子出版物的设计要素 1、基本构件:多媒体电子出版物的组成要素(对象);控制对象的“时空合成”;层次结构组成的页面 连接。 2、开发人员构成:策划编导、文字编辑、美术编辑、音乐编辑、多媒体编辑 多媒体电子出版物的创作流程: 选题论证、总体策划、脚本设计、资源的组织和编辑、系统集成、系统测试与优化、形成产品。 其中:测试过程和方法(界面测试、媒体测试、路径测试、用户测试) 第九章 多媒体广告设计 信息框架设计:首先把信息组织成可管理的块(按类型、按比例量、按空间、按字母顺序、按时间);列 出信息层级关系;确定任务和目标 文档设计:及项目轮廓或理解为生产的路线图 用户界面设计:友善性、风格统一 、形式美感、 体现企业经营理念以及文化内涵 导航和交互设计。 专题二 计算机系统知识 1.1 计算机基础知识 计算机中的数制与编码 二进制、十进制和十六进制等常用数制及其相互转换: 原码、补码、反码、移码、BCD 数; ASCII 码 A:1000001 汉字编码 机内码-8080H=国标码 国标码-2020H=区位码 布尔代数(逻辑代数)和逻辑函数化简 或运算 A+B :0+0=0, 0+1=1, 1+0=1,1+1=1. 与运算 A?B:0?0=0, 0?1=0, 1?0=0, 1?1=1. 非运算 A —— 二叉树的遍历 中序遍历:若二叉树非空,则依次执行如下操作 (1)遍历左子树;(2)访问根结点;(3)遍历右子树。 先序遍历:若二叉树非空,则依次执行如下操作 (1)访问根结点;(2)遍历左子树;(3)遍历右子树。 后序遍历:若二叉树非空,则依次执行如下操作 (1)遍历左子树;(2)遍历右子树;(3)访问根结点。 数据校验

码距:是指一个编码系统中任意两个合法编码之间至少有多少个二进制位不同。码距为 1 的编码是不能发 现错误的。若一种校验码合法码字集的码矩为 2d+1,则它能够发现 2d 位错,并能纠正 d 位错 ▲奇偶校验码:不能发现偶数位错误 该编码通过增加一位校验位来使编码中 1 的个数为奇数(奇校验)或者为偶数(偶校验)从而使码距变为 2,来检测数据代码中奇数出错的编码。因为其利用的是编码中 1 的个数的奇偶性作为依据,所以不能发 现偶数位错误。 ▲海明校验码: 也是利用奇偶性来检错和纠错,通过在数据之间插入 k 个校验位,扩大数据编码的码距到 k,从而有能力 检测出 n 位错,并能纠正 1 位或 n 位错。它不仅具有检测错误的能力,同时还具有给出错误所在准确位置 的能力。 例:已知被校验的数据为 6 位二进制数,D=101101,求其海明码表示方法。 ①校验位的位数:2 k -1≥n+k (n 为被校验数据的位数 k 校验位的位数) 4 被校验数据为 6 位时,若 k=4 则 2-1〉6+4。 ②海明码

海明码中的每一位分别被 P1P2P3P4? Pk 中的一至若干位所校验,第 i 位由校验位位号之和等于 i 的那些 校验位所校验。 如: D1 海明码的位号为 3,它被 P1P2(位号分别为 1,2)所校验

D2 海明码的位号为 5,它被 P1P3(位号分别为 1,4)所校验 ③确定校验位的值:采用偶校验 P1:D1、D2、D4、D5 含偶数个 1,故 P1 应取值为 0 P2:D1、D3、D4、D6 含偶数个 1,故 P2 应取值为 0 P 3:D2、D3、D4 含偶数个 1,故 P3 应取值为 0 P3:D5、D6 含奇数个 1,故 P3 应取值为 1 海明编码为:10 11100100 ④查错、纠错 分组校验,每个小组只有一位校验位,第一组是 P1、第二组是 P2、??。4 组共 4 位检错信息,便构成一个 校验值(指误字),本例指误字由 S4S3S2S1 组成。 当 S4S3S2S1=0000 时,表明收到信息正确。 当 S4S3S2S1=0101 时,表明处于第 5 位的 D2 出错。

▲循环冗余校验码(CRC)校验码:采用模 2 运算,可检测所有等于、小于校验位长度的突发错。CRC 码是 由两部分组成,前部分是信息码,就是需要校验的信息,后部分是校验码,如果 CRC 码共长 n 个 bit,信 息码长 k 个 bit,就称为(n,k)码。 它编码时首先要移位:将原信息码(k 位)左移 r 位(r=生成多项式的位数-1,k+r=n) ,然后进行模 2 除得 出余数。校验码就是原信息码拼接上余数。 例:某循环冗余码 (CRC) 的生成多项式为 G(x)=x^5+x^4+x+1,则它对任意长度的信息位产生__A__位长 的冗余位,并可检测出所有突发长度__B__位的突发错误。 若信息位为 10101100,采用此生成多项式产生 冗余位,加在信息位后形成的码字是 __C__。在读出或接收端读到的码字中若不满足某种规律则可判断其 必然有错,例如:__D__和__E__就是出错的码字。 供选择的答案 A、B:①小于等于 4② 4 ③小于等于 5 ④ 5 ⑤大于等于 5 ⑥大于 5 C~E:① 1010110111111 ② 1010111010001 ③ 1010110001101 ④ 1010111101010 ⑤ 1010111011001 ⑥ 1010110001100 [A]处:要求“产生多少位冗余位”这取决于“生成多项式”的最高次幂。所以这空要选择④。 [B]处:问“可检测出多少位的突发错误?”,这也取决于“生成多项式”的最高次幂,一般是“小于或 等于它”。补充知识:一般来说,R 位生成多项式可检测出所有双错、奇数位错和突发位错小于等于 R 的 突发错误。使用 CRC 检验码能用很少的检验码检测出大多数的错误,检错能力是非常强的,这使得它得到 了广泛的应用。所以这空要选择③。 [C]处: ①移位:若先将信息位 10101100 左移 5 位补零,得到 1010110000000。 ②模 2 除求余数:101011000000 0/110011 余数为 01100 ③码字=信息位拼接余数:1010110001100 所以这空要选择⑥。 方法二:生成多 项式为 110011,接收数据前面的 8 位拿出来做信息位,验证后面的校验码是否正确。 最后验出② 10101

11010001 , ③ 1010110001101 不符合生成多项式为 x^5+x^4+x+1 规律的码字来。 [D][E]处: 方法一: 用生成多项式去除接收到的数据,其余数为 0 则传送正确,余数不为 0 则传送码错误。 标准答案: A. ④ B. ③ C. ⑥ D. ② E③ 1.2 计算机基本组成 CPU 指令系统 指令包含以下信息:操作码、操作数地址、下条指令地址。 寻址方式: 立即数寻址:操作数就包含在指令代码中 直接寻址:指令中给出的地址码为操作数的有效地址 间接寻址:指令中给出的地址码为存放操作数地址单元的地址 寄存器寻址:寄存器中存操作数 寄存器间接寻址:寄存器中存操作数的主存地址 变址寻址:指令中的地址码给出的是一个位移量,或称形式地址,另一个寄存器(变址寄存器)中保存变 址量(Rx) 操作数的有效地址 EA=(Rx)+D 相对寻址:特殊的变址寻址,指定程序计数器 PC 作为变址寄存器。操作数的有效地址 EA=(PC)+D 堆栈寻址:堆栈指针 SP 自动给出访问单元的地址 CISC/RISC RISC(reduced instruction set computer)即精简指令集计算机,它的主要特点是 CPU 的指令集大大简 化,从而减少指令的执行周期数,提高运算速度。与 CISC(复杂指令集系统)相比,RISC 具有硬件结构 简单、执行速度快的特点。 存储器层次结构 Cache 位于主存储器与 CPU 通用寄存器组之间,全部由硬件来调度,用于提高 CPU 的数据 I/O 效率,对程 序员和系统程序员都是透明的。使用 Cache 改善系统性能的依据是程序的局部性原理。 虚拟存储系统的作用是给程序员一个更大的虚拟的存储空间,其容 量可远远超过主存储器的容量,对应用程序员是透明的。它要在主存和 辅存之间进行数据信息调度,这种调度由操作系统和硬件完成。面向虚 拟存储器的编程地址称为虚拟地址,或称为逻辑地址。而真正访问内存 的地址称为物理地址。 Cache 的映像 当 CPU 发出访存请求后,存储器地址先被送到 Cache 控制器以确定数据是否已在 Cache 中,若命中则直接 对 Cache 进行访问, 否则进行主存访问, 并把主存中的一块信息放到 Cache 中。 按照替换原则与替换算法, 决定把主存信息放到 Cache 的哪一块里,这个过程称为 Cache 的地址映像。Cache 中常见的映像方式有三 种。 直接映射:一对一,(不需要替换算法) 主存地址位数=区号+区内分块号+块内地址; Cache 地址位数=块号+块内地址。 全相联映射:多对多 为提高查找速度,通常采用按内容访问的联系存 储器。 主存地址位数=块号+块内地址; Cache 地址位数=块号+块内地址。

组相联映射:主存和 Cache 按同样大小划分成块和组。主存和 Cache 的组之间采用直接映象方式。在两个 对应的组内部采用全相联映象方式。 主存地址位数=区号+组号+组内块号+块内地址; Cache 地址位数=组号+组内块号+块内地址。

例 1:容量为 64 块的 Cache 采用组相联方式映像,字块大小为 128 字节,每 4 块为一组,若主容量为 409 6 块,且以字编址,那么主存地址为多少位,主存区号为多少位? 分区数=主存容量/Cache 容量=4096/64=64; 区内分组数=64/4=16; 组内分块数=4 块/组; 块内 地址=128 字节; 所以根据公式: 主存地址位数=6+4+2+7=19 位; 主存区号=6 位; 例 2:一个具有 4KB 直接相联 cache 的 32 位微处理器,主存的容量为 16MB,假定该 cache 的块为 4 个 32 位的字。 (1)指出主存地址中区号、块号和块内地址的位数; (2)求主存地址为 ABCDEF(16 进制)的单元在 cache 中的什么位置? 区号:16M/4KB=2^12=12 位; 块号 :4KB/(4*32bit)=2^8=8 位; 块内地址 :4*32bit =16Byte=4 个字(因为一个字为 32bit)=2^2 字=2 位; ABCDEF=1010 1011 1100 1101 1110 1111 该存储单元在 CACHE 的位址为: 区号=1010 1011 1100 块号=1101 1110 块内地址=1111 在 cache 中的位置:块号 1101 1110 块内地址 1111 辅助存储器方面的计算: 磁盘格式化容量=总盘面数*每面的磁道数*每道的扇区数*每个扇区存储的字节数 非格式化容量=总盘面数*每面的磁道数*内圈磁道周长*位密度 磁盘存取时间=寻道时间+等待时间。 (寻道时间为磁头移动到目标磁道所需的时间。等待时间为待读写的扇区旋转到磁头下方所用的时间。一 般用磁道旋转一周所用的时间的一半作为平均等待时间。) 数据传输速率 R=B/T,B 为一个磁道上记录的字节数,T 为每转一周的时间 例:假设一个有 3 个盘片的硬盘,共有 4 个记录面,转速为 7200 转/分,盘面有效记录区域的外直径 为 30cm,内直径为 lOcm,记录位密度为 250 位/mm,磁道密度为 8 道/mm,每磁道分 16 个扇区,每扇区

512 字节, 则该硬盘的非格式化容量和格式化容量约分别为 22.5MB 和 25MB, 数据传输率约为 1178KB/s? 若一个文件超出一个磁道容量,剩下的部分_存于其它盘面的同一编号的磁道上_。 1.3 计算机系统结构 Flynn 分类:根据不同指令流—数据流组织方式把计算机系统分成 4 类。

指令流:机器指令的执行序列; 数据流:由指令流调用的数据序列,包括输入数据和中间结果; 多倍性:在系统性能的瓶颈部件上同时处于同样执行阶段的指令和数据的最大可能个数; I. 单指令流单数据流 SISD——如单处理机 II. 单指令流多数据流 SIMD——如阵列处理机、相联处理机、流水线处理机。 各处理单元以同步方式,同一时间内执行相同的指令。 III. 多指令流单数据流 MISD——如宏流水及搬动阵列机。 IV. 多指令流多数据流 MIMD——如多处理机。各处理单元以异步方式,同一时间内执行不同的指令。 并行处理技术 并行性 (parallelism) 就是指在同一时刻或同一时间间隔内完成两种或两种以上性质相同或不同的工作。 提高计算机系统并行性的措施主要有 3 类。 ?时间重叠:让多个处理过程在时间上错开,轮流重叠的使用同一套硬件设备的各个部件,以加快硬件周 转,提高处理速度。 ?资源重复:在并行性概念中导入空间因素,基于“以数量取胜”的原则,通过重复 设置硬件资源来提高系统可靠性或性能。 ?资源共享:多个用户按一定时间顺序轮流的使用同一套资源, 以提高其利用率,从而相应的提高整个系统的性能。 流水线技术其实是通过并行硬件来提高系统性能的常用方法。流水线技术的基本原理实际上是一种任务分 解的技术。把一件任务分解成若干顺序执行的子任务,不同的子任务由不同的执行机构负责执行,而这些

机构可以同时并行的工作。在任一时刻,任一任务只占用其中一个执行机构,这样就可以实现多个任务的 重叠执行,以提高工作效率。 并行处理机(也称为阵列处理机)使用按地址访问的 RAM,以 SIMD 方式工作,主要用于要求大量高速进行 向量或矩阵运算的应用领域。并行处理机的并行性来源于资源重复,它依靠操作级的并行处理来提高系统 性能。 多处理机通过利用多台处理机进行多任务处理来提高速度,每台处理机执行不同的指令,同一时间系统会 同时处理多条指令,各处理机间的工作是异步的。多处理机在统一的操作系统控制下,通过共享主存或高 速通信网络进行通信,协同求解一个大而复杂的问题。多处理机是新一代计算机结构的基本特征。多处理 机属于 MIMD 系统。

计算机可靠性 计算机系统的可靠性是指从它开始运行(t=0)到某个时刻 t 这段时间内能正常运行的概率,用 R(t)表 示。失效率则是指单位时间内失效的元件数与元件总数的比例,以 λ 表示。当为 λ 常数时,可靠性与失 效率的关系为:R(t)= 能正常工作的时间的平均值称为平均无故障时间:MTBF=1/λ 常见的计算机系统可靠性数学模型有 3 种。 串联系统:该系统由 N 个子系统组成,当且仅当所有的子系统都能正常工作时,系统才能正常工作。 可靠性:R=R1R2?Rn 失效率:λ =λ 1+λ 2+?+λ n 并联系统:该系统由 N 个子系统组成,只要有一个子系统正常工作,系统就能正常运行。 可靠性:R=1-(1- R1)(1-R2)?(1- Rn) 两次故障之间系统 失效率: N 模冗余系统:该系统由 N 个(N=2n+1)相同的子系统和一个表决器组成,表决器把 N 个子系统中占多数 相同结果的输出作为系统的输出。 可靠性:(其中表示从 N 个元素中取 j 个元素的组合数) 专题三 计算机软件知识 2.1 程序设计语言基础 程序设计语言的分类 按照成分性质程序设计语言,有顺序语言、并发语言、并行语言和分布语言之分。

按对机器依赖程度程序设计语言可划分为低级语言和高级语言。低级语言包括字位码、机器语言和汇编语 言。汇编语言是机器语言的一种变形,它使用助记符提高程序的可读性。 按对程序设计的方式分为 SQL(描述性语言,用于数据库查询) COBOL(面向事务处理,引入了独立于机器的数据描述。适合信息检索、商业数据处理领域) 程序设计语言的基本成分:①数据成分;②运算成分;③控制成分;④传输成分。 在程序设计语言中的过程 在程序设计语言中,过程是一种抽象手段,它把一组输入通过映射形成一组输出。一个过程由 4 个要素组 成:过程名、一组称为形式参数的名字所形成的参数表、过程体和过程的全局环境。在过程调用时,用户 必须提供实际变量和表达式 (实参) 来替代这些形式参数。 过程有两类: 子程序和函数。 两者的区别在于: 子程序在完成其功能时会改变参数值和过程外层的环境,因此可以通过形式参数的值和全局量的值返回给 调用者相应的值。而过程本身并不带返回值,它是对命令的抽象; 而函数是对表达式的抽象,函数调用在返回时还带有一个返回值。 面向对象程序设计语言的相关概念 继承性是面向对象程序设计语言不同于其他语言的主要特点,是否建立了丰富的类库是衡量一个面向对象 程序设计语言成熟与否的重要标志之一。过类的说明来提供外部接口,通过类的具体实现作为类的内部表 示。类具有封装性、继承性和多态性。消息是对象间通信的手段、一个对象通过向另一对象发送消息来请 求其服务。消息通常包括接收对象名、调用的接收方的操作名和适当的参数(如有必要)。消息只告诉接 收对象需要完成什么操作,但并不能指示接收者怎样完成操作。消息完全由接收者解释,接收者独立决定 采用什么方法来完成所需的操作。 2.2 编译原理 语言处理程序 使用汇编语言和高级语言编写的程序需要语言处理程序处理后方能在

计算机上执行,语言处理程序分为: 汇编程序:(为汇编语言服务)把汇编语言编制出的程序,转换成对应 的机器代码指令。 编译程序:(为高级语言服务)是将高级语言书写的源程序翻译成与之 等价的低级语言的目标程序。编译过程分几个阶段:源程序→词法分析→ 语法分析→中间代码生成(不必要)→中间代码优化(不必要)→目标代 码生成→目标程序。产生的目标代码的执行速度比解释程序的执行速度要 快。 解释程序:(为高级语言服务)直接执行源程序或源程序的内部形式, 读一句源程序,解释一句,执行一句,不产生目标代码,如 BASIC 解释程 序。 文法的定义分类 文法 G 定义为四元组 G=(VN,VT,P,S ),其中,VN 非终结符号(或语法实体,或变量)集;VT:终结符号 集;VN 和 VT 不含公共的元素,即 VN∩ VT =φ ;P 规则的集合,规则,也称重写规则、产生式或生成式; VN,VT 和 P 是非空有穷集。S∈VN 称作识别符号或开始符号,它至少要在一条产生式中作为左部出现。V 表示 VN∪VT,称为文法 G 的字母表或字汇表。 乔姆斯基把文法分成四种类型,即 0 型、1 型、2 型和 3 型。这几类文法的差别在于对产生式施加不同的 限制。 0 型文法:也称短语结构文法。0 型文法的能力相当于图灵机(Turing)。对产生式左右没有任何限制。 1 型文法:也称上下文有关文法。要求产生式:1≤左部长度≤右部长度 2 型文法:也称上下文无关文法。要求产生式:左部是单个非终结符。 3 型文法:也称正规文法或右线性文法。要求产生式:左部是单个非终结符。右部是单个终结符或单个终 结符跟着单个非终结符。形如 A→a A→aB 语法树 每个句型对应一棵语法树。每棵语法树的叶子结点从左到右排列构成一个句型。 短语:语法树的子树的叶子结点从左到右排列构成一个短语,本题的短语有 S、 (T)、b、Sd(T)、Sd(T) db 、(Sd(T)db)。 直接(简单)短语:每棵语法树的简单子树(只有父子两层结点)的叶子结点从 左到右排列构成一个简单(直接)短语。本题的直接短语的为 S 、(T)、b。 句柄: 既每棵语法树的最左简单子树 (只有父子两层结点) 的叶子结点从左到右排列构成句柄。 本题为 S。 素短语:至少包含一个终结符的短语,但它不能包含其它素短语,本题的的素短语是(T)、b。 最左推导:在每个推导过程中,总是首先考虑对当前最左边的非终结符号进行推导 最右推导:在每个推导过程中,总是首先考虑对当前最右边的非终结符号进行推导 例:文法 G[S]:S →a|b|(T) ;T→TdS|S ;Vt={a,b,d,(,)};.Vn={S,T};S 是开始符。 句型(Sd(T)db)是 S 的一个推导,其中___是句柄;____是最左素短语; ____是该句型的直接短语,_____是短语

外存 正规表达式 正规表达式(也称正则表达式)就是用特定的运算符及运算对象按某种规则构造的表达式。 每个正规表达式代表一个字符串的集合,我们把其称为正规集。 语言(Language)是字符串组成的集合,我们也可以把正规表达式表示的正规集称为该正规表达式表示的语 言。 算符的优先级为先“ * ”(闭包),再“ . ”(连接)最后“ | ”(或) ,都是左结合的,它们满足 结合律。 有穷自动机(Finite Automata,or finite-state machines) 有穷自动机(也称有限自动机)作为一种数学模型,它能准确地识别正规集,即识别正规式所表示的集合。 有穷自动机分为两类:确定的有穷自动机(DFA)、不确定的有穷自动机(NFA)。 题型:正规表达式→DFA、NFA→DFA(82 页例 7),DFA 最小化。 语法分析分为两类 自顶向下的分析方法:从开始符号出发,判断能否推导出输入符号串,它要求文法不含有左递归。如 LL (k)文法 自底向上的分析方法: 自左向右扫描输入符号串, 通过移进-规约分析其语法是否正确。 如简单优先文法、 算符优先分析法(根据素短语进行规约)、LR(k)文法 代码优化的基本块划分方法 基本块:是指程序中一顺序执行的语句序列,其中只有一个入口语句和一个出口语句。 划分方法主要是找入口语句(三种情况):①程序的第一个语句;②条件转移语句或无条件转移语句的转 移目标语句;③紧跟在条件转移语句后面的语句。(89 页例 13) 2.3 操作系统 操作系统的功能模块: 处理器(机)管理:其主要任务,是对处理机进行分配,并对其进行有效的控制和管理。在多道程序环境 下,处理机的分配以线程为基本单位,因此对处理机的管理可归结为对线程的管理。 存储管理:其主要任务,是为程序的运行提供良好的环境,方便用户使用存储器,提高存储器的利用率, 以及能从逻辑上来扩充内存。所以存储管理应具有以下功能:内存分配、内存保护、地址映射和内存扩充 等。

设备管理:其主要任务,是完成用户提出的 I/O 请求,为用户分配 I/O 设备;提高 CPU 和 I/O 设备的利用 率;提高 I/O 速度;以及方便用户使用 I/O 设备。为实现上述任务,设备管理应具有缓冲管理、设备分配 和设备处理,以及虚拟设备等功能。采用通道、控制器和设备三级控制方法管理这些设备; 文件管理:其主要任务,是对用户文件和系统文件进行管理,以方便用户使用,并保证文件的安全性。为 此,文件管理应具有文件存储空间的管理,目录管理,文件的读、写管理以及文件的共享与保护等功能。 用户接口:为了方便用户使用操作系统,操作系统向用户提供命令接口和系统调用接口,在较晚出现操作 系统中又向用户提供了图形接口。 处理机管理 进程概念 进程是可并发执行的程序在一个数据集合上的运行过程。可以说,进程是运行中的程序,是程序的一次运 行活动。进程是进行系统资源分配、调度和管理的最小单位。(区分:线程(Thread)是处理器分配的最 小单位。)进程由程序、数据和进程控制块 PCB 组成。PCB 是进程存在的唯一标志,PCB 描述了进程的基 本情况。 相对于程序,进程是一个动态的概念,而程序是静态的概念。 进程在运行中不断地改变其运行状态。通常,具有 3 种最基本的状态: 运行:正占用处理器 就绪:只要获得处理器即可运行。 阻塞:正等待某个事件(如 I/O 完成)的发生。

进程的同步与通信 进程同步的主要任务是使并发执行的诸进程之间有效地共享资源(间接相互制约)和相互合作(直接相互 制约),从而使程序的执行具有可再现性。 进程互斥:一个进程正在访问临界资源,另一个要访问该资源的进程必须等待。 进程同步:合作完成同一个任务的多个进程,在执行速度或某些时序点上必须相互协调的合作关系。 临界资源:一次仅允许一个进程使用的资源。包括软硬件资源,个进程间应采取互斥方式共享。 临界区(临界段):进程(程序)中访问临界资源(硬件资源、软件资源)的代码段。互斥地进入临界区, 即可实现进程互斥。 对临界区应管理准则:空闲让进、忙则等待、有限等待、让权等待。 解决同步互斥问题的方法: ①信号量(灯)机制:信号量(Semaphores)是仅能被两个原语操作 P(S)-V (S)修改的整型变量。考点: P(S)-V(S)操作。 ②管程:管程是一种并发性的构造,它包括用于分配一个共享资源或一组共享资源的数据和过程。为了完 成分配资源的功能,进程必须调用特定的管程入口。 进程调度

进程调度即处理器调度,它的主要功能是确定在什么时间将处理器分给哪个进程。进程调度的方法基本分 为两类: 剥夺调度和非剥夺调度。 进程调度的算法是服务于系统目标的策略, 对于不同的系统与系统目标, 常采用不同的调度算法。如: 先来先服务 FCFS、短作业(进程)优先 SJ(P)F、高优先级优先调度(适合于批处理系统)、时间片轮转法 (适合于分时系统)、多级反馈队列调度(适合于分时系统)。 死锁问题 产生死锁的 4 个必要条件是:互斥条件、请求并保持条件、不可剥夺条件、环路等待条件。 预防死锁:其思想是不让任一产生死锁的必要条件发生。 避免死锁:在进程申请资源时先判断断资源分配是否安全。银行家算法。(108 页例题 4) 检测死锁:化简资源请求分配图。 解除死锁:剥夺资源或撤销进程。 存储器管理 内存管理方式包括连续存储管理和离散存储管理, 连续分配是指为一个用户程序分配连续的内存空间。连续存储管理方式主要通过分区存储管理来实现,包 括单一连续分配、固定分区分配和动态分区分配、可重定位分区分配。缺点:有碎片。 离散存储管理方式主要有:分页存储管理、分段存储管理和段页式存储管理。 单一连续存储管理: 在这种管理方式中, 内存被分为两个区域: 系统区和用户区。 应用程序装入到用户区, 可使用用户区全部空间。其特点是,最简单,适用于单用户、单任务的操作系统。易于管理。但程序全部 装入,使得很少使用的程序部分也占用—定数量的内存,浪费。 固定分区分配:把内存划分为若干个固定大小的连续分区。分区大小可以相等也可以不等。根据程序的大 小,分配当前空闲的、适当大小的分区。优点在于易于实现开销小。缺点主要有两个:内碎片造成浪费; 分区总数固定,限制了并发执行的程序数目。 动态分区分配:动态创建分区:在装入程序时按其初始要求分配,或在其执行过程中通过系统调用进行分 配或改变分区大小。优点是没有内碎片。但它却引入了另一种碎片——外碎片。动态分区的分区分配就是 寻找某个空闲分区,其大小需大于或等于程序的要求。 可重定位分区:拼接小分区,移动已分配好的分区使之连续。 分段存储组织:一个作业是由若干个具有逻辑意义的段组成。在分段系统中,允许程序(作业)占据主存 中若干分离的分区, 每个分区存储一个程序分段。 分段系统中的虚地址是一个有序对 (段号、 段内位移) 。 系统为每个作业建立一个段表,其内容包括段号与主存起始地址的对应关系、段长和状态。 页式存储组织:与段式存储组织相似。主存被划分成若干个定长的页,页式系统中的虚地址是一个有序对 (页号、 页内位移) 。 系统为每个进程建立一个页表, 其内容包括进程的逻辑页号与物理页号的对应关系、 状态等。 段页式存储组织:综合了上述两种存储组织的特点。主存被划分成定长的页,段页式系统中虚地址形式是 (段号、段内页号、页内位移)。系统为每个进程建立一个段表,再为每个段表建立一个页表。 虚存管理的置换策略有几种算法 ?最优(OPT)算法:选择淘汰不再使用或最远的将来才使用的页。 ?随机(RAND)算法:随机的选择淘汰的页。 ?先进先出(FIFO)算法:选择淘汰主存驻留时间最长的页。 ?最近最少使用(LRU)算法:选择淘汰离当前时刻最近的一段时间使用得最少的页。

虚存管理策略的基础是局部性原理——进程往往不均匀地高度局部化地访问主存。这种局部性表现为时间 局部性和空间局部性两种。 根据局部性原理的特性,提出了工作集理论。工作集是指进程频繁访问页面的集合。工作集理论要求,为 了使进程能有效的运行,它的页面工作集应驻留在主存中,以防止“颠簸”(又称抖动,即指由于进程频 繁的从辅存请求页面而造成的过度的页面调度)现象。


推荐相关:

非常通俗解释面向对象程序设计的基本概念

我们想要改变他们属性 就需要通过对对象进行不 同操作 即方法 去改变 面向对象程序设计语言的三大特征: 1.封装性: 也就是说每个汽车的属性对外界是隐蔽的 ...


一般认为,面向对象程序设计语言主要包括的几个概念是()。

一般认为,面向对象程序设计语言主要包括的几个概念是()。 A.数据、语句、函数 B.对象、类、函数 C.数据、表达式、函数 D.对象、类、继承_答案解析_2016年_...


C++面向对象程序设计的重要概念(1)

C++面向对象程序设计的重要概念(1) 类与对象 对象(Object)是类(Class)一个实例(Instance)。如果将对象比作房子,那么 类就是房子设计图纸。所以面向对象程序设...


面向对象程序设计中的概念主要包括

面向对象程序设计的概念主要包括:对象、类、数据抽象、继承、动态 绑定、数据封装、多态性、消息传递。通过这些概念面向对象思想得到 了具体的体现。 1)对象 ...


《面向对象程序设计》课程教学大纲

本课程主要介绍面向对象程序设计的方法和 C++语言的基本概念。 通过本课程的学习,学生能逐步掌握 C++ 的基本语法知识和面向对象的程 序设计的基本概念和编程技能,...


面向对象程序设计的概念

第2章 面向对象程序设计的概念 2.1 C++与C的基本语法区别 2.2 类和对象 2...常量的定义 C语言中的常量定义: #define NULL 0 //NULL为字符串常量0 #...


C++面向对象程序设计的重要概念

以前写的程序可以被将来写的程序调用不足为奇,但是将来 写的程序可以被以前写的程序调用那可了不起。 综上就是面向对象程序设计——C++语言描述的主要概念。 ...


《面向对象程序设计》

随着 C++逐渐成为 ANSI 标准,这种面向对象程序设计语言已经成为了程序员最 广泛使用的工具。本课程主要目的是使学生掌握有关 C++ 语言的基本概念、基本语法和编 程...


面向对象程序设计历史发展

这三个语言各有特色, 均有创新, 都对后来的程序设计语言产生了重大影响。 但客观地说,Simula 67 的面向对象概念的影响是巨大而深远的。它本身虽然未 能广泛流行...


《面向对象程序设计》教学大纲

面向对象的基本概念和典型的语言 面向对象程序设计概述 教学时数: 3 学时 教学内容: 2.1 什么是面向对象程序设计 2.1.1 新的程序设计范型 2.1.2 面向对象...

网站首页 | 网站地图
All rights reserved Powered by 学霸学习网 www.tceic.com
copyright ©right 2010-2021。
文档资料库内容来自网络,如有侵犯请联系客服。zhit325@126.com