分类与识别 如何从段给定的音乐信号中识别出参加演奏的乐器是个非常有趣的问题。这样的任务对于人类来 说也许是非常轻松的，但对于机器来说却十分困难。识别或区分种乐器主要依靠它特有的音色，从物理 学上看音色则是由物体的振动状态所决定的，不同物体的振动状态决定了它的泛音及波形的不同，个固 定音高的音由于其中所含各阶谐频成分的比例不同，其音色也不同。对于种具体的乐器来说，这种频谱 的变化又是十分复杂的，同种乐器由于演奏技法的不同其音色也会发生显着的变化。 因此，如何方便而准确地描述音色是个难题。有关乐器识别或音色识别方面的研究工作比较少，它 们可以分为以下两种情况 演奏情况下的乐器识别大多数关于乐器自动识别的工作都是在演奏的假设下完成的，这使得工作变得相对容易了些。 等人研究了如何对吉他键盘乐器和鼓这三种乐器进行自动识别，他们首先采用小波变换 对音频信号进行预处理以提取特征，然后通过个神经网络对测试数据进行分类。他们的方法也可以用来 对些语音数据进行自动分类，如些元音和字词。在文献中，作者采用种称为的神经网 络来区分五类乐器所演奏的单音符信号，这五类乐器分别为钢琴吉他小号萨克斯和长笛。在文献 中，作者采用频谱特征对来自种乐器所演奏的段音频信号进行了自动分类研究。实验结果表明二 次分类器所取得的效果最好，它要优于目前比较流行的分类器和传统的最近邻分类器。该分类器对 来自具体乐器所演奏的音符的平均分类率为，对乐器族的平均识别率仅为。 针对种西方管弦乐器的自动识别问题做了特征比较研究，他考虑的特征包括频率线性预测 倒谱系数和倒谱系数等。他所报道的对乐器族的最高识别正确率仅为。等同样在单音符 乐器识别问题中比较了不同特征和以及分类方法高斯混合模型和近邻法的作用，他 们所报道的针对种乐器的最高平均识别正确率为。 混合情况下的乐器识别 在实际演奏的情况下，尤其是在多乐器混响的情况下进行乐器自动识别是非常困难的，相关的研究报 道非常少。等人研究了模糊专家系统在混响情况下乐器识别问题中的有效性，并列举了几个应 用实例他们建议采用定量的物理分析与模糊专家系统相结合的方法对音色进行识别。其中专家系统的 知识库是这样建立的专家的知识从音乐信号中直接提取出的音质特性，如基频谐波泛音强度谐波相 位偏移量等。但是该文并没有详细给出系统的实现方法。研究了如何从二重奏音乐信号中识别乐器 并将其分割出来，他使用神经网络作为最后的决策系统。等则对四重奏音乐信号下的乐器识 别问题做了特征比较研究。 歌手自动识别如何让计算机分辨出首歌曲是哪位歌手所演唱的是个十分有趣的问题。由于人们在日常生活中所 欣赏的音乐大多都是歌曲，解决该问题会十分有助于歌曲类多媒体数据的自动管理和检索。这个问题与语 音识别领域中的说话人识别非常类似，解决的思路也基本类似。但是由于人在演唱时嗓音的动态范围比说 话时要大的多，再加上往往会有伴奏音乐，所以歌手识别问题要比说话人识别更加困难。 有关该问题的文献不多，它们可以分为以下两种情况 无伴奏情况下的歌手识别在文献中，作者对位美声唱法歌手的清唱歌声做了自动识别研究。 他们采用频谱包络的主成分作为特征，并用个二次分类器对来自不同歌手的歌声做自动识别。通过交叉 验证实验，对歌手的平均正确识别率为。则通过训练对来自名美声歌手所演唱的简单音 调做了识别，平均正确率可达左右引。 有伴奏情况下的歌手识别等提出了种方法用于在格式下做歌手识别引。他们首先通过 系列多项滤波器将训练集中的音乐信号进行分解得到系列音符或音素，然后从每个音符中提取 特征训练分类器对测试集中的歌曲进行歌手识别。基于说话人识别系统的般框架提出了种歌手 自动识别方法口。她为训练集中的每位歌手的嗓音特性训练了个统计模型。对于首待测试的歌曲，她 首先检测歌曲中演唱部分的起始点，然后从这个起始点开始截取出段定长的演唱片断，最后从这个演唱 片断中提取音频特征与训练集中的歌手嗓音模型进行匹配以完成歌手识别任务。在个不大的测试集上， 她的方法可以达到大约的平均识别正确率。此外，她还针对歌手之间的嗓音相似性做了些聚类分析。 等也提出了种歌手自动识别方法嘶，他们首先采用分类器来检测歌曲中的演唱片断，然 后通过高斯混合模型来对歌手的嗓音进行建模和识别。在个包含了首独唱歌曲的数据库中，他们的 方法可以达到的平均正确率。等则研究了如何在具有背景伴奏和其他歌手存在的情况下，如何检 测和跟踪个特定歌手的演唱以输入同段信息， 但希望得到的检索结果却可能大不相同。比如，对于同首输入的流行歌曲用户可能希望按照歌手去检索， 也可能希望按照配器旋律音乐风格甚至情感等其它信息进行检索。如何有效地为音乐类数据定义相似 性度量就显得更加困难，这其实也是个知识表达方面的难题。对于个实用的基于内容的音乐检索系统， 它可能面对的是海量的待检索数据大类别数甚至不特定类别数不同类别的数据量不平衡用户需求多 样性等困难。此外计算量也是个不可忽视的问题。总之，我们认为目前的基于内容音频及音乐检索算法 与系统尚处于实验研究阶段，其性能距离真正实用化还有很大差距。 基于内容的音乐分析 这里所说的音乐分析是指针对个完整的音乐作品所进行的分析和识别工作，有关这个领域的研究报 导在最近几年增长较快。根据研究目的的不同，我们分为以下几个小节分别进行介绍。 音乐作品结构分析 音乐是种十分复杂的有层次的声音信号，些学者致力于通过计算机来分析音乐本身的这种层次 结构书他们所定义的这种层次结构不定和音乐学本身相关，但是可能会更适合于音乐信号的自动处理。由于格式本身已经包含了大量音乐信息，所以基于格式的音乐分析工作相对较多。 等定义了音乐信号中的非平凡重复模式所谓重复模式是指在首音乐作品中重复出现的那些音符序 列，非平凡重复模式则要求重复出现的音符序列对于这首音乐来说具有特殊性和代表性，比如这首音乐 的主旋律或主旋律的部分。 通常非平凡重复模式应该是具有定长度的音符序列。他们同时提出了两种基于格式的非平凡 重复模式提取方法相关矩阵法和树法。等则进步提出了种关于非平凡重复模式的快速提 取算法口引。等通过小波分析和树状分类的方法对希腊传统音乐中预先定义的些孤立音乐模式 进行自动识别以辅助音乐学研究此外，等提出了三种方法用于度量音乐旋律的复杂性 等在对音乐结构进行分析的基础上提出了种针对音乐信号的自动分割方法引。 音乐自动摘要 所谓音乐自动摘要是指对段音乐信号生成个高度简约又能反映出该音乐特点的摘要信息，如何对 音乐数据进行摘要描述是个重要的问题。由于音乐所具有的高度复杂性结构化非语义性以及人们对 音乐理解的主观性，为音乐数据自动生成摘要已经成为项具有特殊挑战性的工作。另方面，随着娱乐 业的快速发展大量流行歌曲被不断创作出来。据统计，仅在西方国家每个月就新产出大约张音乐， 其中流行歌曲占据了很大的比例。 对于普通消费者来说，如何在浩如烟海的流行歌曲当中找到真正想听的歌曲对于商家来说，如何快速 有效地管理他们的海量音乐数据这些都已成为紧迫的问题。从总体上看有关音乐自动摘要的文献报导不算 很多，其中大部分都是有关流行音乐的。有迹象表明它正在成为个新的研究热点„在文献 中提出了些基于般音频格式的音乐自动摘要算法。在这些文献当中，音乐摘要通常被定万方数据期 张彬等基于内容的音频与音乐分析综述义为些定长如或的音频片段。这些音频片段主要是通过相似性分析或重复度计算的方法被分割出来的。所有这些方法的计算量都比较大，并且其 效果只在较小的测试集上通过些主观的评价方法如只对自动摘要结果直接评分得到验证。 在文献中，等首先利用分类器将音乐信号分为纯音乐和声乐两大类，然后分别针对这两 类音乐信号提取特征并进行聚类分析，在聚类分析的基础上再结合相关领域知识生成最终的音乐摘要。他 们的研究结果还表明在音乐分类问题中，分类器要优于传统的基于欧式距离的分类器和隐马尔可夫方 法。此外，和等人分别研究了如何对格式的音乐直接生成自动摘要„„川。在文献 中，作者首先采用多项滤波器从文件中直接提取特征，并在特征提取的基础上对音乐信号 进行分割然后对分割结果进行聚类分析，聚在类的音乐片段可以被当作个重复模式最后通过 算法从中找出非平凡重复模式并将其作为整首音乐的自动摘要。 音乐建模 对音乐进行建模分析是十分困难的，也是十分必要的。关于音乐建模的研究很少，但近两年来也可以 看到些报道。等提出了种音乐数据模型和相应的代数操作规则，并将其应用于数字音乐图书馆 中的数据检索和查询研究了如何将最小燃料神经网络用于 音乐信号的稀疏表示，该方法可以归结为组二阶微分方程，并且他认为可以通过先验知识来确定用 于优化该方法的最重要的参数离散化步长。等对通过小波变换实现音乐信号的稀疏表示时所遇 到的若于问题进行了研究，他们还比较了用于音乐信号稀疏表示的几种方法 乐谱自动识别与分析 乐谱自动识别是指将音乐演奏的声学信号所对应的乐谱信息自动翻译出来，它是音乐分析领域中的 项十分重要同时也是十分困难的工作。我们知道首音乐的乐谱记录着该音乐的全部信息，音乐家通过阅 读乐谱就可以了解音乐的全貌，并不需要将它实际演奏出来。现有的许多音乐分析方面的工作都是基于格式的，因为格式本身包含着大量的乐谱信息，所以基于格式的音乐分析工作可以做的比 较深入。但是它们个共同的缺点就是其对音乐文件格式的强烈依赖性，这制约了这些方法的应用价 值。而大量的音乐数据大多采用般音频格式存储，如果能将其所对应的乐谱自动识别出来，那么基于 格式的音乐分析算法的应用价值就可以得到极大的拓展。当然乐谱自动识别的应用价值还远不止于此，在 信号处理方面其本身所具有的研究价值也非常巨大。乐谱自动识别是计算机音乐分析与理解中的个传统 研究领域，相关文献报道比较多。从研究内容上看，乐谱自动识别可以分为以下几个方面 音高估计与音符识别 音高估计或音符识别是乐谱自动识别工作的基础。由于音高作为个重要的音频特征，在语音识别以 及般音频分类分析等工作中都有广泛应用，所以有关音高估计的文献比较多。，也存在些经 典的方法，如自相关法等。目前对于单乐器在实验室环境下所演奏的单个音符的音高估计是比较准确的， 但是对实际的音乐作品或复杂条件下做音高估计则相当困难。等提出了种基于循环神经网络的音 高估计方法，该方法减小了音高估计所需要的时间窗的长度因而可用于音高变化较快的信号，但是其