背景知识并可以直接用于 其它领域的聚类分析。等则提出了种基于的非监督音乐分类方法，为了获得更好的结果， 他们还对音乐信号的节奏进行分析并在此基础上提取特征。 基于内容的乐器音色自动分类与识别 如何从段给定的音乐信号中识别出参加演奏的乐器是个非常有趣的问题。这样的任务对于人类来 说也许是非常轻松的，但对于机器来说却十分困难。识别或区分种乐器主要依靠它特有的音色，从物理 学上看音色则是由物体的振动状态所决定的，不同物体的振动状态决定了它的泛音及波形的不同，个固 定音高的音由于其中所含各阶谐频成分的比例不同，其音色也不同。对于种具体的乐器来说，这种频谱 的变化又是十分复杂的，同种乐器由于演奏技法的不同其音色也会发生显着的变化。 因此，如何方便而准确地描述音色是个难题。有关乐器识别或音色识别方面的研究工作比较少，它 们可以分为以下两种情况 独立演奏情况下的乐器识别大多数关于乐器自动识别的工作都是在独立演奏的假设下完成的，这使得工作变得相对容易了些。 等人研究了如何对吉他键盘乐器和鼓这三种乐器进行自动识别，他们首先采用小波变换 对音频信号进行预处理以提取特征，然后通过个神经网络对测试数据进行分类。他们的方法也可以用来 对些语音数据进行自动分类，如些元音和字词。在文献中，作者采用种称为的神经网 络来区分五类乐器所演奏的单音符信号，这五类乐器分别为钢琴吉他小号萨克斯和长笛。在文献 中，作者采用频谱特征对来自种乐器所演奏的段音频信号进行了自动分类研究。实验结果表明二 次分类器所取得的效果最好，它要优于目前比较流行的分类器和传统的最近邻分类器。该分类器对 来自具体乐器所演奏的音符的平均分类率为，对乐器族的平均识别率仅为。 针对种西方管弦乐器的自动识别问题做了特征比较研究，他考虑的特征包括频率线性预测 倒谱系数和倒谱系数等。他所报道的对乐经过实验比较发现法效果最好。等也 提出了种和声识别方法该方法可分为两个阶段，在局部识别阶段给出可能的和声候选集，然后通过 些全局规则从中找出最合适的和声作为最后的结果。然而，如何从般的文件中寻找或表示主旋 律则是个难题。 复调音乐乐谱识别摘要机器听觉包括三大研究领域语音信号处理与识别般音频信号分析基于内容的音乐信号分析。 其中，语音信号处理与识别早已成为个传统的研究热点。随着信息科学与技术的迅速发展，基于内容的 音频与音乐信号分析也逐渐成为个新的研究热点，近几年来取得了大量研究成果。文章将对年以 后该领域上所取得的研究成果进行综述，包括基于内容的音频或音乐信号自动分类分割检索以及音乐 作品自动分析等内容。 关键词音乐分类识别分割检索音乐分析自动摘要音频信号处理模式识别 引言 听觉是个非常重要的信息来源，如何能让计算机具有人类的听觉能力是个十分有趣的问题，有着 广阔的应用前景。由于实际应用的需要，同时也为了研究方便，学者们将机器听觉分为三大领域语音信 号处理与识别般音频信号分析基于内容的音乐分析。在这三个研究领域当中，有关语音识别的研究 最为深入，每年都有大量的相关研究工作被报道。由于已经存在许多有关语音识别方面的综述性文章‟， 本文将不再对该领域的研究工作做进步的归纳和整理。 所谓般音频信号是指除了语音信号以外的各种音频信号，其中也包括音乐。而音乐也是般音频信 号中最重要的个类别。我们知道音乐是种复杂的非自然的声音现象，它是人类智慧与感性思维的体现。 许多无法用语言准确描述的思想感情可以通过音乐表达出来，优秀的音乐作品往往会使人产生情感上的共 鸣。因此，音乐被认为是全人类的共同语言，是人类几千年文化发展的成果，对它的研究无疑具有非常重 要的价值。由于音乐本身包含着大量不同层次的信息，对音乐信号进行自动分析是十分困难的。此外，人 类社会已经进入数字化时代，娱乐业与信息产业愈来愈紧密地结合在起。如何快速有效地搜索管理和 分析多媒体数据已经成为个非常重要的问题，而基于内容的音频和音乐信号分析则有助于这难题的解 决。和语音信号处理与识别相比，有关基于内容的音乐和般音中仅仅包含有两种不同的混合音乐类型的数据。由于应 用需求的不同，学者们所感兴趣的具体研究对象也是不同的。 如等人研究了如何利用最小消息长度准则对摇滚乐和古典音乐进行自动分类 在他们的工作中比较了种称为的非监督学习方法和三种监督分类方法决策树决策图和人 工神经网络，结果表明在这个问题中监督分类方法要明显优于非监督分类方法为了方便进行歌词自动识 别，等人研究了如何区分流行歌曲中的演唱部分和纯伴奏部分，他们利用个在说话人识别 领域中常用的分类器对类似语音的声音信号进行检测。由于具有背景伴奏音乐的歌手演唱信号与般的语 音信号有着很大的不同，对于那些无法直接通过说话人识别分类器来确定类别的声音片段，作者将进 步采用个基于框架的方法来最终判断其类别。 多类分类问题在针对不同音乐类型的自动分类问题中，多类分类问题是比较常见的由于研究 兴趣与具体应用需求的差异，学者们所关心的音乐类别往往不尽相同，但基本上都是采用基于样本训练的 分类方法。总的来说，研究所涉及的音乐类别越多则研究难度越大。等人设计了个以音乐类 数据为主的三层音频分类树见图，其内容覆盖了大部分西方现代音乐和部分古典音乐，其中在具有 十种音乐类别的分类层次上可以达到的平均分类正确率。在他们的工作中使用了三种分别代表音色纹 理旋律内容和音高内容的特征集，并对这些特征的性能做了比较性研究。等人利用万方数据计 算机学报小波系数作为特征，对摇滚乐爵士乐和钢琴曲这三类音乐信号进行自动分类，同时比较了不 同的小波构造方法和分类器对于这个三类问题的区分能力。文献将音乐信号的分形维数作为特征对类音乐信号进行了自动分类研究，实验结果表明音乐信号的分形维数可以作为种有效的特征用于音乐数 据的自动分类。 非监督分类聚类前面所讨论的两类与多类音乐分类问题都属于监督分类问题，也就是说分类问 题的类别是已知的，并且研究者可以获得类别已知的样本数据，这类情况比较常见。与此相对应的则被称 为非监督分类问题，此时研究者可能无法获得足够的类别已知的样本数据，有时甚至连类别数都无法知道。 非监督分类问题又称为聚类分析，关于针对频信号分析的研究工作相对较少。但进入 世纪年代以后，这个领域的研究工作取得了很大进展，国际上发表的有关论文数量大幅增长。而目 前有关该领域的比较全面的综述文章还是截止到年，因此我们认为非常有必要对近几年的研究工作 进行下总结。在本文中，我们将对年以来基于内容的音频和音乐分析领域的研究工作进行全面 完整的综述，其中主要介绍最近七八年的研究成果，之前的研究工作请参看文献 此外，具体的有关遗传算法在音乐分析领域中的应用综述请参看文献这个研究领域中比较重要的期 刊和会议包括 和 等。 本文将按照不同的研究工作所处理的具体问题组织全文，安排如下第节介绍基于内容的音频和音 乐分类与识别方面的研究工作第节介绍基于内容的音频流分割第节则介绍基于内容的音频或音乐检 索第节介绍音乐作品分析以及乐谱自动识别方面的工作第节介绍有关计算机音乐分析与理解方面的 些其他工作最后在第节中则是我们对该领域今后研究工作的些认识。 基于内容的音频和音乐分类与识别 基于内容的音频数据自动分类是个十分重要的研究方向，它可成为其他许多应用研究的基础，如基 于内容的分割检索等。依据研究对象的不同，我们可以将这个领域的研究工作分为以下三个部分。 针对音乐类数据的自动分类与识别由于音乐类数据具有高度的复杂性，根据研究对象的不同我们可以将这部分工作进步细分为如下几 个问题。 针对不同音乐类型的自动分类 两类分类问题两类分类问题是指，研究对象符序列。他们同时提出了两种基于格式的非平凡 重复模式提取方法相关矩阵法和树法。等则进步提出了种关于非平凡重复模式的快速提 取算法口引。等通过小波分析和树状分类的方法对希腊传统音乐中预先定义的些孤立音乐模式 进行自动识别以辅助音乐学研究此外，等提出了三种方法用于度量音乐旋律的复杂性 等在对音乐结构进行分析的基础上提出了种针对音乐信号的自动分割方法引。 音乐自动摘要 所谓音乐自动摘要是指对段音乐信号生成个高度简约又能反映出该音乐特点的摘要信息，如何对 音乐数据进行摘要描述是个重要的问题。由于音乐所具有的高度复杂性结构化非语义性以及人们对 音乐理解的主观性，为音乐数据自动生成摘要已经成为项具有特殊挑战性的工作。另方面，随着娱乐 业的快速发展大量流行歌曲被不断创作出来。据统计，仅在西方国家每个月就新产出大约张音乐， 其中流行歌曲占据了很大的比例。 对于普通消费者来说，如何在浩如烟海的流行歌曲当中找到真正想听的歌曲对于商家来说，如何快速 有效地管理他们的海量音乐数据这些都已成为紧迫的问题。从总体上看有关音乐自动摘要的文献报导不算 很多，其中大部分都是有关流行音乐的。有迹象表明它正在成为个新的研究热点„在文献 中提出了些基于般音频格式的音乐自动摘要算法。在这些文献当中，音乐摘要通常被定万方数据期 张彬等基于内容的音频与音乐分析综述义为些定长如或的音频片段。这些音频片段主要是通过相似性分析或重复度计算的方法被分割出来的。所有这些方法的计算量都比较大，并且其 效果只在较小的测试集上通过些主观的评价方法如只对自动摘要结果直接评分得到验证。 在文献中，等首先利用分类器将音乐信号分为纯音乐和声乐两大类，然后分别针对这两 类音乐信号