毕业论文：汉语股市公告信息抽取系统的设计与实现(论文).doc文档28页优秀范文

目的是改进文本处理的流行技术。

的体系结构使用组通用的文本处理模块已能满足不同的文本处理应用的需要。

这些应用主要是文本检测定位包含信息类型的文本和信息抽取定位文本中的特定信息。

信息抽取任务均与特定专业领域无关。

所抽取的信息包括合资企业的合资者合资公司的名称所有权和资本以及预期的活动，或者微电子芯片的制作活动的性质和状态等有关项。

涉及到多语言和多领域的文档，以便进行抽取信息的性能评价比较。

年的的信息抽取任务第次涉及到用语言所标记的文本中的名称项和指同项的处理。

除了场景模板任务以外，名称项指同项和模板元素信息抽取任务均与特定专的处理。

除了场景模板任务以外，名称项指同项和模板元素年的的信息抽取任务第涉及到多语言和多领域的文档，以便进行抽取信息的性能评价比较。

部分内容简介定义的模板中的属性槽中。

年的的文本主题是关于合资企业的商业新闻以及微电子芯片的制作方面的新闻，涉及英语和日语文档。

所抽取的信息包括合资企业的合资者合资公司的名称所有权和资本以及预期的活动，或者微电子芯片的制作活动的性质和状态等有关项。

涉及到多语言和多领域的文档，以便进行抽取信息的性能评价比较。

年的的信息抽取任务第次涉及到用语言所标记的文本中的名称项和指同项的处理。

除了场景模板任务以外，名称项指同项和模板元素信息抽取任务均与特定专业领域无关。

测试的语料采用华尔街杂志中的文本。

年的是最近的次信息理解会议。

它的信息抽取任务涉及抽取文档中的名称项人名组织名和地点名指同项确定模板元素之间的关系，如地点关系雇佣关系和生产关系等抽取文档中的事件。

文档包含多语种的新闻稿。

训练用的文档专业领域是关于飞机坠毁报道，而测试用的文档专业领域是关于发射事件报道。

系统系统是美国加里福尼亚斯坦福研究所人工智能中心从年开始开发的个基于多层非确定有限状态自动机模型的自然语言文本信息抽取系统。

它共有六层转换机制，即切分标记层预处理层名称项识别层简单短语识别层复杂短语识别层指同求解层。

分解的语言处理使此系统能够处理大量的与专业领域无关的句法结构，以致于与专业领域相关的语义和语用处理能被应用到相当大部分的语言结构上。

正因为系统具有这样的特点，它已被成功地运用于许多应用中。

计划由美国国防部和共同资助的计划包括至少个与工业和学术有关的项目。

目的是改进文本处理的流行技术。

的体系结构使用组通用的文本处理模块已能满足不同的文本处理应用的需要。

这些应用主要是文本检测定位包含信息类型的文本和信息抽取定位文本中的特定信息。

在研究的第阶段，参与者通过些活动如和对文本检测和信息抽取所建立算法进行改进以及提高对评价这些改进的技术。

在第二阶段的研究中，参与者为了使技术组成构件标准化，将注意力转向软件体系结构的开发上。

使各种所开发的工具具有即插即用的性能，增加软件的共享程度。

在目前进行的第三阶段的研究中，种称为的平台被开发，它支持评价扩展和探索进展中的体系结构。

将采用结构为研究者提供鲁棒及相配的组成构件。

它将支持体系结构的扩展，以便与机器翻译语音和光学字符识别图象观察用户界面构件以及大规模信息系统相适应。

系统由德国人工智能研究中心语言技术实验室在项目中所开发的系统是个联机的德语文挡信息抽取智能系统。

文档的专业领域包括通讯稿经济报告和技术说明书。

系统拥有大量的语言知识资源如电子词典包括万条词项以及可扩展性很强的专门语法以及极其快速和鲁棒的自然语言构件。

它还能利用机器学习机制使自身能为实现新功能得到训练和配置，并能适应所需的信息数量和各种文档长度。

它被集成了图形可视化技术服务器体系结构和英特网访问技术。

作为个有效的智能信息检索的核心系统已经成功地运用于科学和工业项目中。

国内对信息抽取的研究才刚刚起步。

年月在东北大学学报自然科学版发表了中文信息自动抽取文，介绍了中文信息抽取的概念和对些问题进行了初步的探索。

国内对涉及中文和其他语种的多语种信息抽取技术还未见报道。

信息抽取技术的特点信息抽取技术不同于传统的信息检索和自动摘要技术。

与信息检索，简称技术的区别与传统的信息检索技术比较，信息抽取技术有明显的优势信息检索只是通过单纯的匹配检索得到相关的文档，而并不真正理会文档的实际内容信息，文档被等同于无意义的词汇堆砌物而信息抽取则是通过文本分析语段分析模板生成等过程抽取出有效的信息内容。

与自动摘要技术的区别与传统的自动文摘技术比较，信息抽取技术的应用前景更好自动文摘产生的文摘往往质量较低，而且容易产生不全面不连贯和冗余多等等问题而信息抽取则针对有价值的相关领域的文本进行结构分析，其效率和质量显著提高，也更容易面向实际应用。

信息抽取技术具有其独有的优势。

利用浅层的自然语言处理技术，简称，可以实现高效率的自然语言处理将非结构化的信息改变为利于计算机存储处理的结构化形式，有利于，，，其中，终止条件，其中是预先设定的阈值要在我们的系统中，应用算法获取模型参数，需要对算法做适当的更改。

最主要的修改是上述算法中的终止条件。

与应用在语音识别中的隐马尔科夫模型不同，我们衡量模型质量时，并不是要求整个模型输出序列的总体概率最大为最优，而是输出该序列时所经历的隐路径中最佳路径的概率最大为最优。

所以，在第三步应该改为终止条件，为阈值。

实现与结果分析模块实现情况在本模块的实现中，使用到了如下些资源，在此做简单叙述。

由于考虑到本系统将能够方便地挂接在上，要求具有较好的跨平台能力，故决定采用做为开发工具。

目前使用的是的作为。

使用的数据库系统是的通用数据库系统。

在模块内部的中间数据表示，均采用的是规范，即以文档的形式在各个子系统之间传递。

为了使用方便地处理文档，使用了作为的语言分析器。

该分析器是源代码公开的自由软件，并通过了的内部测试。

此分析器目前支持标准，是公认的功能完善性能可靠的语言分析器。

由于以上工具在等多种操作系统上均可运行，所以可以很方便地实现移植。

开发调试操作系统平台是。

硬件平台是。

经过对人工分词标注的语料库的单词统计，共获得领域单词个。

在对公告分类后，主要集中研究两种类型的公告决议公告财务指标公告。

对语料做关键词统计后，得到的结果如下关键词出现次数平均单篇出现率决议决议公告董事会监事会董监事会公告董事董监事监事股东大会总共语料数量篇表四决议公告语料分析部分结果关键词出现次数平均单篇出现率财务指标每股净资产净资产收益率每股收益调整后每股净资产每股净资产每股收益单位基金收益单位基金资产净值期末基金资产净值基金资产净值收益率期末基金资产总值单位基金净收益单位基金净资产总共语料数量篇表五财务指数公告语料分析部分结果两种信息抽取方法的比较在本模块的设计和实现中，前后采用了基于规则的结构主义方法和基于语料库统计的功能主义方法。

两种方法的异同及优缺点比较如下基于规则的结构主义方法基于语料库统计的功能主义方法抽取规则是人为总结制定的，故抽取效果很大部分取决于规则的完善性与合理性。

抽取规则隐含于的模型参数中，通过语料库训练模型的而得，故抽取效果主要取决于语料库的文本容量和标注质量。

对于简单文本分析效率高准确率高。

对于简单文本分析效率和准确率都相对较低。

分析能力相当有限，且扩充性差，难以分析复杂文本，准确率也随文本复杂性增加而显著下降。

具有较强的可扩充性，只要训练获取合适的模型参数，即可对更复杂的文本类型进行抽取，而准确率仍有定的保障。

旦确定规则，即可采用自动语法分析器生成器如或自动构造分析器。

需要大量训练才能获取模型参数，且不能保证获取最佳值，必要时需要人工调整。

表六两种信息抽取方法的比较可见，两种方法在不同的应用环境下具有不同的优缺点。

所以应该根据需要选择合适的方法。

近期其它些研究中，已经考虑将两种方法有机地结合，使它们互补短长，发挥各自最佳的分析优势。

这也是计算语言学发展的必然趋势，结构主义和功能主义必将走向统。

结果总结在基于汉语信息抽取模型的股市公告信息抽取系统的设计与实现中，已获得的成果罗列如下提出了基于汉语信息抽取模型的股市公告信息抽取系统的框架结构和分布图。

分析了简化信息抽取模型的必要性，给出了简化后的信息抽取模型。

简单讨论了小领域分词子模块的设计原则。

对大量领域文本做了人工标注，初步够建了领域语料库。

尝试了采用基于规则的简单文本信息抽取算法。

提出了基于隐马尔科夫模型的信息抽取算法。

改进了选择模型参数的迭代算法。

分析了两种信息抽取方法的异同及优缺点遗留的问题目前为止，本信息抽取系统的设计与实现过程中，发现了以下些问题，有待解决多语种的问题。

本系统目前为止仍然是基于汉语信息抽取技术的。

但是根据信息抽取技术的特征，构建跨语种的信息抽取系统是可能的。

可以构建中间语汇，将抽取后的信息以于语种的方式表述。

具体研究仍有待于进步的讨论。

自动分词的完善。