••中文信息处理基于语料库的工作语法标注•••多种标注集•标注集的设计标注集的特征•,•中文信息处理基于语料库的工作标注集•••,•,••,••,••••,•中文信息处理基于语料库的工作标注集•,,•中文信息处理基于语料库的工作其它语言的标注集•中文信息处理基于语料库的工作标记化什么是个词•相同形式表示不同的“词语”工具的过去时中文信息处理基于语料库的工作标记化什么是个词•其它语言中的分词中文日文泰文•严守把手机关上严守把手机关上德语中大多数的词语有空格分割，但是复合名词写成单独的词•人身保险公司的雇员中文信息处理基于语料库的工作标记化什么是个词•非词语分界的空格,,如果和连字符起出现，问题就更加复杂了•习惯搭配形成的词•中文信息处理基于语料库的工作标记化什么是个词电话号码国家电话号码国家那么把假设边界转移到引号后面如果在句点之前是个不纵出现在句子末尾的众所周知的缩写形式，而且通常后面会跟个大写的名字，例如如果句点前面是个众所周知的缩写形式，但是句点后面没有大写词。这样即可正确地处理像这样的大多数缩写用法，这些缩写般出现在句子的中间或者末尾•如果下面的条件成立，则删除或者!的边界资格这些符号后面跟着个小写字母或者个已知的名字•认为其它假设边界就是句子的边界中文信息处理基于语料库的工作自适应的句子边界检测••,中文信息处理基于语料库的工作数据标注标注方案•我们可以在普通文本的语料库上做很多工作，在此之上，如果增加些信息，那么会得到更多的东西句子的边界，段落的边界，句法结构语义表达语义类别•不同的标注方案文本的头信息，例如作者时间日期题目等使用尖括号，第个字母表示个域的主要语义通用标记语言中文信息处理基于语料库的工作例子•,中文信息处理基于语料库的工作词法•词干化去除词缀只留词干的过程,•词干化的优点对词的各种变化形式进行归类，减少了词的数目意味着定水平上的词义消歧•,卧倒,欺骗中文信息处理基于语料库的工作词法•词干化中的问题词干化会浪费些信息••词法分析把词切分成词次，但是有的时候把密切相关的信息组合到起是有意义的•保卫祖国保卫祖国公民有保卫祖国,依法服兵役的义务保卫社会主义建设,战斗在祖国边疆及各个岗位上英语中只有很少的词态，所以对其进行词态处理不是很有必要。而其它语言中，进行词态处理可能会有很大的意义•芬兰语，每个动词有百万种变化形式中文信息处理基于语料库的工作句子•句子以个“。”“，”“！”或者结尾的内容。的情况都是这样句子可能会被其它的分隔符号切分开句子的顺序可能会被打乱•“,”,“!”引号可能在句子的最后个标点的后面识别句子的边界，可以采用些启发式的方法，也有些学者尝试自动的方法来识别句子的边界。中文信息处理基于语料库的工作启发式的方法•在!和可能的出现位置之后加个假设的句子边界•如果假设边界后面有引号型语料库就是指专门服务于个特定目的的语料库•单语种语料库多语种语料库中文信息处理基于语料库的工作语料库发展简史•第代年代•第二代年代•第三代年代中文信息处理基于语料库的工作第代语料库•语料库•语料库•语料库百万词级以语言研究为导向中文信息处理基于语料库的工作第二代语料库•语料库•语料库千万词级词典编纂应用导向中文信息处理基于语料库的工作第三代语料库•语料库•树库•超大规模上亿词级标准编码体系深度标注多语种应用中文信息处理基于语料库的工作语料库建设中处理的问题•文本生文本标注文本•语料库建设中处理的问题低级格式问题标记化什么是个词词法句子中文信息处理基于语料库的工作低级格式问题•垃圾格式由于语料库的来源复杂，语料库中可能存在无法处理的各种各样的格式或内容，他们是没有用处的，需要过滤掉。•文档页眉分隔符排版代码表和图表•如果数据来源于，会引入错误识别的问题中文信息处理基于语料库的工作低级格式问题•大小写•识别句子中人名的启式方法把每个句子开头的大写字母转换成小写字母把串连续大写的词当作标题和副标题这样，其余的大写字母就可以认为是名字中文信息处理基于语料库的工作标记化什么是个词•什么是词前后有空格的连续字母组成的字符串，可以包含连字符和省略号，但是不能包含其它的标点符号。中文信息处理基于语料库的工作标记化什么是个词•句点大多数句点的作用是表明句子结束，其它情况表示缩写，例如，。•保留句点的意义•出现在句子的末尾的时候，只保留个句点，这个句点同时表示两种意思。中文信息处理基于语料库的工作标记化什么是个词•单撇号，，•表示什么还是所有格形式•词末尾的单撇号如何处理通常代表对引号的结束，不是该词的部分如果它跟着个出现•中文信息处理基于语料库的工作标记化什么是个