上课公用信息邮箱上面有讲课第八章多媒体技术节多媒体技术概述多媒体及其相关名词定义多媒体的定义文本图像音频视频等混合信息。多媒体技术定义把文本图像音频视频信息综合在起，使用计算机对其进行加工处理的技术。数字信号处理技术音频和视频技术多媒体计算机系统技术多媒体通讯技术多媒体技术的特点多样性信息表示的多样性信息载体或介质的多样性多媒体应用技术的多样性数字化因为计算机只能处理数字化的信息。所以那些声音和图像必须转化为数字化的形式才能使用与处理。集成性多媒体信息的集成。多媒体文本。多媒体介质或设备的集成交互性实时性多媒体技术的应用见书上二多媒体计算机多媒体计算机定义能处理多媒体信息的计算机。多媒体计算机系统能对多媒体信息进行获取编辑存取处理加工和输出的种交互性的计算机。多媒体计算机涉及的关键技术数据压缩技术网络与通讯技术多媒体数据库技术大规模集成电路技术人机交互设备技术和多媒体软件技术三多媒体数据压缩和编码技术概述无损压缩利用原始信息的冗余，用简洁的方法来表示这些去除冗余的信息。有损压缩利用人视觉，听觉的不敏感，舍弃些非主要的细节，使其还原时仍有满意的质量。文本文件的压缩主要是无损的冗余压缩技术。图形文件的压缩可以是无损的冗余压缩，也可以有损的算法压缩。负责静态和数字图象压缩编码标准。用于灰度和彩色图象两个算法有损压缩无损压缩见书上视频文件压缩四种常用的视频文件格式注非常流行的的格式文件，因为使用的版权问题，所以不做讨论。减小视频文件的其它途径。减少每秒钟播放的帧数。减小播放尺寸。计算只对帧差别变化的内容编码。注帧间图像压缩技术动态图象压缩标准码率为帧内采用大体相同的压缩算法。帧间采用预测法和插补法压缩。每秒帧隔行每秒帧隔行扩展模式可达到高清电视信号其压缩算法和基本相同。分为视频音频视频音频同步三个部分。注现在推出了国际电联的和采用基于块的进行残差信号的压缩编码像素的每个快映射到频域产生个频率成分。四多媒体系统的数据和文件格式图形图象和视频表示位图格式把幅图象看成是由很多象素点构成的。每个象素点用个数字来表示它的颜色。其实指的调色板的编号单色图象每个象素只要位二进制数，也就是个。所以图象的象素总数和总数是样的。图象若换算成字节数色的图象每个象素要八位二进制数，矢量图矢量图象是系列可以重构图象的指令来表示的。最典型的画线。不同的算法指令描述了不同的图形。矢量图象般比位图图象占用存储空间小，其大小依赖于图象的复杂程度。矢量图形容易修改。比如改变圆半径。灰度图和彩色图单色图象只用个表示象素。要么亮有色，要么暗无色。其实在亮与暗之间可以分很多层次亮度。用个八位二进制数可以分成层亮度。那样的单色图象叫灰度图。例黑白照片彩色图用三个单色灰度图合成。如果每个单色都是位，那样每个象素要位，又称真彩色图象。万色所以位图图象主要由分辨率和象素深度决定。注通过抖动技术合并相近颜色可以减少图象的颜色数量，可以减小文件。数字视频基于数字技术的图象显示标准，将模拟视频信号转换为数字化视频信号，以文件形式存放在计算机中。直接用数字摄像机生成。常见的图形图象和视频文件格式,见位图文件静态图象文件是微软公司为环境设置的标准图象格式。在机上最流行。以后的位图文件格式与显示设备无关。非压缩格式的是通用格式，最流行。文件分为两个部分文件头和图象数据文件静态图象文件最早用于画笔软件。是种压缩过的图象文件。无损压缩文件静动态图象文件是由公司年推出的。是种小巧的文件，主要用于网络和用户浏览。采用压缩的，多帧图象结构。里面有个控制块，可以控制播放时间。文件静态图象文件联合影象专家组开发。最广泛使用的图象文件格式。有损压缩。可控制压缩率。文件便携式网络图片支持色调色板技术以产生小体积文件最高支持位真彩色图像以及位灰度图像。支持存储附加文本信息，以保留图像名称作者版权创作时间注释等信息。使用无损压缩渐近显示和流式读写，适合在网络传输中快速显示预览效果后再展示全貌。使用循环冗余编码防止文件出错。最新的标准允许在个文件内存储多幅图像。文件标签图像文件格式，简写为是种主要用来存储包括照片和艺术图在内的图像的文件格式。它最初由公司与微软公司起为打印开发。与和起成为流行的高位彩色图像格式。如公司的这样的桌面印刷和页面排版应用，扫描传真文字处理光学字符识别和其它些应用等都支持这种格式。从获得了印刷应用程序的公司现在控制着规范。文件静态图象文件是微软为提供的另种图形文件格式。是种矢量图形格式。文件后缀。文件资源交换文件格式，文件是环境下大部分多媒体文件遵循的种文件结构,文件所包含的数据类型由该文件的扩展名来标识。能以文件存储的数据包括音频视频交错格式数据波形格式数据位图格式数据格式数据调色板格式多媒体电影动画光标其它文件是种基础文件,对多媒体提供支持。文件动态影象文件是微软开发的种文件格式。用于实现数字视频和音频的同步化。⑩文件动态影象文件开发的种动态图象的压缩标准。常见的有和两种。可以适应不同带宽的网络，但必须有相应的解码插件才能顺利地将下载作品进行播放。适合于装了公司以上的机器，回放效果优秀。不安装回放卡动态影象文件和都用到了的格式。⑪动态影象文件运动图片专家组开发。包含视频，音频和系统同步三部分。早期的采用这个格式。采用,可扩展高清电视信号。采用这个格式。⑫文件动态图象文件苹果公司开发的动态影象文件。经常用于的摄象。可以转换的。⑬文件音乐文件音乐文件格式有两种。声波和乐器是乐器演奏文件。⑭文件多态文本格式文件提供格式信息的文本。中写字板和都支持的。最初用于文本编辑，因为提供连接对多媒体对象支持。节音频技术数字音频的基本概念声音的定义声波是周期性的振荡信号。频率表示声音的尖度振幅表示音量的大小实际看到的时域波形是各种频率声波的合成，比较杂乱的样子。声音的分类见书上按频率划分。原始声源划分。按存储形式划分。音频人耳能听到的到的声波。其中人耳对的音频最为敏感。模拟音频在时间和幅度上都是连续变化的声音信号，自然界的各种声音，大都是这样的模拟音频信号。数字音频用定的时间间隔对模拟音频进行采样，并对采集到的幅度值进行数字量化编码。这样得到的时间和幅度上断续的数字量化后音频信号。波形音频把以上通过定的采样频率采样，数字量化后的声音信号，以数据文件格式存储。音频是种用于在音乐合成器乐器和计算机之间交换音乐信息的标准协议。它其实是套指令，指示设备或带接口的乐器，怎样来还原演奏音乐的声音。文件格式为二音频数据的采样和处理录音以直接自然的振动信号的声波作为音源，用麦克风这样的拾音器，从个振动的音源获取波形信息，将其转化为电信号形式，然后对这个电信号进行记录的过程。模拟录音数字录音采样以定的时间间隔对声音信号的幅度进行测量，得到离散化的幅值。见书上图采样的频率越高，还原的波形越逼真。常用的采样频率有等。采样频率越高，样本值越多，文件就越大。量化把采样采集到的声音样本值，用数字化的量化值处理。计算机用模数转换器实现音频的数字化。转换器的位数，决定了量化的精读。位数越高。最后形成的文件越大。编码对声音信号采样量化的结果以定的格式进行表示记录的过程。通常会加入些用于控制的代码。音频的编码有三种类型书上波形编码参数编码混合编码数字音频信号质量的技术指标采样频率样本的量化等级通道个数编码方式数字音频的存储空间未经压缩的数字音频文件存储容量采样频率转换精度声道数时间文件只是个音乐符号系统。代表着用来重构声音的指令。本身不发声音。需要声卡来根据指令实现发声。文件般非常小，文件以等作后缀。三语音识别技术四音频处理的硬件和软件声卡的定义实现声波数字音频相互转换的部件。计算机中记录和播放声音的硬件设备。声卡的工作原理见图注漏了几根关键的箭头线声卡的类型适配卡式主板集成式外置式声卡的结构大部分声卡都集成在主板上了，适配卡式的声卡结构也比较简单，主要就是片声音处理芯片。主要看到的是声卡的外部接口。见书上麦克风输入扬声器输出线路输入线路输出游戏接口声卡的性能指标和的转换位数。位和位。采样频率标准音质功能只是种指令，要形成电脑音乐必须通过合成。合成早期使用，简单，表现般。波形表合成把各种真实乐器声音采样制成个波表文件。用存放波形数据，效果逼真。信噪比信号和噪声的振幅之比。支持的声道数数字信号处理，使用数字信号处理技术实现回声，和弦等音效。声卡的选购。见书上声音处理软件见书上音乐种音频压缩的数字声音技术其核心技术是利用人耳朵的不敏感性，以牺牲些细节达到数据压缩的目的。节数字视频技术视频的基本概念视频的制式视频的数字化视频信号的数字化和音频信号类似，也是采样捕获，数字量化转换，编码保存。视频编辑使用各种软件对数字化视频信号进行处理。二视频采集卡种适配卡，用于将模拟摄象信号转换成数字视频信号的装置。视频采集卡的工作原理与分类。书上视频采集卡的性能指标。书上注现在,非常便宜普及。般可以直接生存数字化的视频信号。三视频数据的采集和处理视频采集视频编辑视频输出四流媒体种可以使音频视频和其他多媒体能在网络上实时的，无需下载等待的方式进行播放的技术。流媒体的组成流媒体开发工具流媒体组件流播放器流媒体常见的文件格式书上五视频处理软件视频编辑软件视频文件格式转换软件六多媒体的质量和带宽问题声音时域信号采样频率频率越高，保真度越好，容量大幅度的转换位数位数越多，变化越精细。视频分辨率像素或线数。列行定义色彩的位数。每秒钟播放的帧数。帧秒，逐隔行节虚拟现实概述定义用计算机技术生成个逼真的现实世界。提供用户视觉听觉触觉的真实感受。是多媒体技术的最高境界。主要技术特征见书上多感知性浸没感交互性构想性二虚拟现实设备三虚拟现实技术的分类四典型的虚拟现实处理软件节实例