





























主要界面第章以实例的方式,详细介绍工程管理具体步骤第章总结与展望。
概述定义,即热点数据,是上海生物信息技术研究中心根据附加数据的特点所提出的概念,它的含义为由生物医学期刊以电子格式在网站上发布,作为科技文献内容的补充说明,且访问时间具有定限制的附加数据。
着重强调了附加数据的访问时间限制性,因此需要尽快对其进行收集和整理。
意义以电子格式发布在期刊网站的文献归档中,主要包括数据内容和数据描述两部分。
其中,数据内容是对文献内容的补充如基因组转录组蛋白质组和代谢组等方面的实验图谱及数据,可作为统计分析实验设计以及构建生物医学数据库的重要数据源数据描述则是对数据内容的概括及解释,具有关键词且分类性强。
随着文本挖掘技术在生物信息学领域中的应用越来越广泛,研究人员利用自然语言处理技术,对大量生物医学文献的全文和摘要进行了分析,从而挖掘出隐含的生物学知识那么,如果将的描述与文献内容联系起来,作为文本挖掘的研究对象,可对隐含知识的挖掘提供有力的支持。
因此,收集并对数据信息进行规范化的数据库管理,是项很有意义的工作。
现状然而,目前在国际上尚未引起关注,对的相关研究也处于空白阶段,没有套成熟的发布收集管理和研究的标准。
因此,我对本国际知名生物医学期刊进行调查,初步总结了的发布规律,如表所示杂志标准名称层次性标记语言附加数据注册改版表规律分析主要有以下特点层次性多数期刊的文献归档具有层次性,依次访问归档入口年归档卷期归档和附加数据归档或全文,便可到达的链接,少数期刊不具有层次性标记语言期刊归档网页的标记语言为或关键词在卷期归档或全文页面中,可以找到链接到附加数据归档的关键词,但每种杂志的关键词不同分散性与文献对应,由所属期刊维护,造成网页排版和数据形式多样时间限制大多只能在段时间内访问,近几年发表的需要注册才能访问网页改版同期刊可能存在归档页面改版现象。
的分散性多样性以及时间限制等特点,向传统的自动抽取技术提出了挑战。
曾有专家指出,所有发布在期刊网站中的应遵循共同的标准如标准,只有提出套成熟的发布标准,才能结束这种形式混乱的局面。
不过,的层次性标记语言以及关键词等优势,可为编程人员所利用,开发出相应的抽取转换和加载软件,最终建立公共数据库,供研究人员访问。
模块的分析与设计需求分析由的现状可知,数据的收集是进行切研究的导出工程文件夹内包括数据存放目录,除根目录下的文件以及后缀名为的未完成下载的文件之外,所有文件都将存放于目录,三个用于导入数据库的文件,文件内容及文件中各字段表示的含义将在节中详细介绍。
导入数据库导出工程产生的文件,分别存放的是数据信息表提交作者信息表和数据文件信息表,是三个用于导入数据库的文件。
其中,三个文件中的字段信息以分隔,第个字段都为用户输入的起始的号,逐条递增。
数据信息表文件中各字段含义如表所示编号作者号文章标题文章摘要期刊名称刊号卷号期号出版日期起始页码结束页码文章原地址文章关键词表数据信息表提交作者信息表文件中各字段含义如表所示编号作者顺序作者称呼国家作者所在单位邮政编码传真联系电话是否取得联系表提交作者信息表数据文件信息表文件中各字段含义如表所示数据文件编号编号类型编号文件名文件大小文件内容文件描述数据下载地址推荐级别重要级别数据关键词数据原地址下载次数表数据文件信息表将以上三个表中的字段导入数据库中,选择作为主键,可进行规范化的管理,提供给主题数据库的用户。
分级策略在附加数据下载页面中,存在多种形式的,抽取程序可以将它们从源文件中解析出来,但无法判断哪些才是真正的。
因此,我们根据手动下载的经验,将分为个级别,辅助用户进行判断,如表所示级别特点举例简要说明以常见文件扩展名见节结尾的多数需要下载以结尾的多数需要下载篇文章提供附加数据下载链接的页面自身取决于是否有页面数据与数据描述与第级形式不同,且由本期刊网站维护的参考性页面由维护由维护仅少量需要下载与第级形式不同,由非本期刊网站维护的参考性页面由外的网站维护由外的网站维护,但需要下载极少量需要下载表分级说明对于分级策略,有以下几点需要注意在工程管理区的数据记录中,项表示级别第级的将自动显示在查询结果中,若此类页面存在用标记语言实现的数据或重要数据描述,则需添加至工程第级的多数需要添加至工程注意文献的全文属于第级,但不需要下载④第级的仅有少量需要下载,若本文数据确实由这些网页提供,则需要下载些期刊要经过多级链接才能获得真正的。
参数设置用户可通过以下两种方法打开参数设置面板打开菜单选择点击快捷工具栏中的图标。
用户可根据网络状态特定期刊与操作系统进行连接参数工程属性和环境参数的设置。
连接参数设置图连接参数面板如图所示,选择项,打开连接参数面板,设置连接请求参数代理服务器用户密码,各项含义如表所示两次连接之间的间隔时间毫秒连接异常后,进行下次连接请求的等待时间毫秒重新发送连接请求的次数连接线程数代理服务器代理用户代理用户密码表连接参数含义工程属性设置如图所示,选择项,打开工程属性面板,可以选择判断第级所需的常见文件扩展名。
扩展名包含和四类详细列表见节。
图工程属性面板环境参数设置图环境参数面板如图所示,选择项,打开环境参数面板,在中输入预览网页使用的浏览器中输入操作系统中资源管理器的路径。
第三部分相关资料附录文件扩展名列表类别扩展名表文件扩展名列表第章讨论与展望讨论课题发展方向参考文献攻读学位期间主持完成的相关项目可选攻读学位期间发表的相关论文可选致谢分类号密级编号武汉大学硕士学位论文论文题目与上行间隔为毫米以上二行用宋体标号字自动抽取模块的分析与设计研究生姓名指导教师姓名职称学科专业名称研究方向以上四项用宋体标号字此处间隔为毫米年月日年月日用黑体标号字地脚留出毫米空白边缘为了加强学风学术道德建设,规范学术行为,提高学位论文质量,确保学位授予的权威性严肃性,学校对学位论文撰写作如下补充规定凡申请学位人员须对自己的学位论文负责,在提交的学位论文的英文题目后页中文摘要前页增设页书面声明,内容如下郑重声明本人的学位论文是在导师指导下撰写并完成的,学位论文没有剽窃抄袭造假等违反学术道德学术规范和侵权行为,否则,本人愿意承担由此而产生的法律责任和法律后果,特此郑重声明。
学位论文作者签名年月日摘要目录引言随着生物医学研究技术的进步,高通量实验产生了大规模有意义的数据。
在学术期刊以文献形式公布研究成果时,需要通过不同的途径来公布这些数据,其中文献的附加数据,也称作补充材料,是最普遍的方式。
附加数据以电子格式发布在期刊网站的文献归档中,其数据内容和数据描述是进行统计分析和文本挖掘的重要数据源。
充分有效的利用这些资源,进行研究实验以促进生物学和生物信息学的发展,显得非常必要。
然而,附加数据在国际上尚未引起关注,相关研究也处于空白阶段。
为了对附加数据进行系统研究,上海生物信息技术研究中心根据其特点,提出了热点数据的概念,它的含义为由生物医学期刊以电子格式在网站上发布,作为科技文献内容的补充说明,且访问时间具有定限制的附加数据。
此概念着重强调了附加数据的访问时间限制性,因此数据的收集整理成为亟待解决的问题。
本文总结了的发布规律及数据形式,它的分散性多样性以及时间限制等特点,向传统的自动抽取技术提出了挑战。
不过,通过利用的层次性标记语言以及关键词等优势,能够将期刊之间的差异逐渐缩小,以套通用的方案解决自动抽取问题,最终采用为开发平台,技术为工具,开发出自动抽取模块,即软件。
是以抽取转换和加载为目的而设计开发的软件,它应用数据仓库技术中常用的工具成功解决了的收集整理问题,主要步骤包括数据抽取解决与信息的获取问题实现的解析文摘信息的获取和的下载等功能。
数据转换解决与信息形式混乱的问题实现工程目录结构化管理信息标准化分级管理以及用户筛选列表等功能,与抽取部分结合紧密。
数据加载为以后导入主题数据库提供桥梁实现当前工程导出的功能。
由于期刊网站具有形式多样改版修正和多层连接等特点,若仅依靠计算机程序的判断,则难以保证抽取的正确性。
因此,实现了半自动抽取,为用户提供交互式的操作界面,引入人工干预技术来辅助程序筛选列表,进行下载控制。
目前,已实现了对本国际知名期刊的半自动抽取,通过了个测试案例,软件性能稳定。
采用工程管理的方式将所有查询浏览筛选下载等操作以工程项目的形式串联在起,进行规范化管理。
软件支持查询文摘信息浏览数据页面预览数据筛选用户下载控制编辑以及当前工程导出等功能。
是工具在生物医学领域的成功应用。
然而,仅仅实现本期刊的下载是远远不够的,为期刊提供了通用接口,有着很强的发展潜力。
首先,可以扩增期刊的数目,为主题数据库提供更多的资源其次,数据内容和数据描述是进行统计分析和文本挖掘的重要资源,若能根据这两个方面的研究成果,扩充的功能,使其成为具有自动分类和文本挖掘功能的综合软件,就可以为其它基因蛋白质数据库内的数据进行注释。
最后,以上述技术为背景,可逐步实现包含分类系统类似于的分类系统的主题数据库。
关键词生物医药文献附加数据自动抽取正文文献综述实验研究或社会实践阐述理论分析结论第章绪论研究背景随着生物医学研究技术的进步,高通量实验产生了大规模有意义的数据。
在学术期刊以文献形式公布研究成果时,需要通过不同的途径来公布这些数据,其中文献的附加数据,也称作补充材料,是最普遍的方式。
附加数据以电子格式发布在期刊网站的文献归档中,其数据内容和数据描述是进行统计分析和文本挖掘的重要数据源。
充分有效的利用这些资源,进行研究实验以促进生物学和生物信息学的发展,显得非常必要。
然而,附加数据存在于半结构化的网页中,其分散性多样性以及访问时间限制性,使系统研究面临重重障碍。
如何将附加数据与其相关信息抽取出来,转换为统的格式,并最终加载到主题数据库供用户访问,成为亟待解决的问题。
研究目的拟解决的问题国内外研究进展目前,人们对生物医学文献的研究,还局限在题名摘要关键词和正文等几个传统的部分。
仅有极少数生物信息学家指出,应尽早对附加数据进行收集和整理,但是在国际上尚未引起关注,相关研究也处于空白阶段。
此外,生物学信息的抽取直是计算机领域的技术难点,除了各数据源网页自治和半结构化的原因,生物学信息的些特点
