，背景分析等。自然语言智能处理技术自动分词技术以词典为基础，规则与统计相结合分词技术，有效解决切分歧义。综合运用基于概率统计语言模型方法，分词准确性达到。自动关键词和自动摘要技术对采集到网络信息，自动摘取相关关键字，并生成摘要，并与快速浏览与检索。全文检索技术全文检索将传统全文检索技术与最新搜索技术相结合，大大提升检索引擎性能指标。还融合多种技术，提供丰富检索手段以及同义词等智能检索方式。第三章实施方案总体框架从整体结构上看，实现舆情分析预警至少应包括数据信息采集统计挖掘预测结果展示三个阶段。如图图舆情分析预警系统系统结构数安舆情监控系统系统特点自定义来源及采集频率可以设定采集栏目更新时间扫描间隔等，系统扫描间隔最小可以设置成分钟，即每隔分钟，系统将自动扫描目标信息源，以便及时发现目标信息源最新变化，并以最快速度采集到本地。支持多种网页格式可功能全网全天候采集网络舆情，保障信息全面采集。舆情源监控广泛对网络舆情主要来源进行监控，包括新闻类门户网站，如人民网新浪网雅虎„„政府机构门户网站，如首都之窗中国政府网„„信息资讯网站，各地信息港行业咨询网„„交互性质网站，如论坛百度贴吧„„个人式媒体，博客元数据搜索功能元搜索引擎集成了不同性能和不同风格搜索引擎，并发展了些新查询功能。查个元搜索引擎就相当于查多个独立搜索引擎。进行网络信息检索与收集时，元搜索可指定搜索条件，既提高信息采集针对性，又扩大采集范围广度，收到事半功倍功效。配置符合我公司需求监控源方案系统为提供舆情源监控方案，对背景行业特征及需求做深度调研，给出最适合舆情源监控方案。可监控各种语言，各种编码网站无需配置自动识别语言和网站编码，挖掘舆情信息。信息智能提取技术数安舆情监控系统有效提取网页中有效信息，区分标题出处作者正文等信息项，并对具有连续性内容多个网页内容进行自动合并，论坛帖子主题回帖点击量等自动提取。结构化采集技术数安舆情监控系统对网页数据进行结构化信息抽取和数据存储，以满足多维度信息挖掘和统计需要。全天候不间断监控数安舆情监控系统全天候监控互联网信息，也可设定采集时间实施中可以做到分钟级采集更新。采集信息预处理数安舆情监控系统系统对采集信息进行系列预处理操作超链分析编码识别去重锚文本处理垃圾信息过滤关键字抽取关键信息提取正文抽取自动摘要，达到系统舆情智能分析前状态。数安舆情监控系统舆情智能分析技术自动分类技术自动分类技术包括以下两中分类方式基于内容文本自动分类基于规则文本分类自动聚类技术基于相似性算法自动聚类技术，自动对海量无规则文档进行归类，把内容相近文档归为类，并自动为其生成主题词，为确定类目名称提供方便。相似性检索和查重技术基于文档指纹文本查重技术，支持海量数据信息查重。相似性检索是在文本集合中查找出与之内容相似其他文本技术。在实际应用中找出舆情重要，特别是互联网这把双刃剑，既提供了大量进步健康有益提倡性信息，也有不少反动迷信低级误导性言论，这样就更需要有舆情监测预警出现，防范误导性舆论社会危害于未然，把握和保障正确舆论前进导向，为构建和谐社会舆情保驾护航。我国网络舆情现状与国外相比，我国网络舆情还存在以下特殊情况是由于历史原因，我国曾长期处于封闭状态，容易受到外来思想文化冲击。二是目前我国正处于社会转型期，不可避免地存在诸多矛盾，容易使些人出现情绪化冲动，以致不能明辨是非。三是少数社会管理者对于舆论习惯于回避或堵塞。因此，网络这把锋利双刃剑在提供了下情上达便捷方式同时，也对我国政治安全和文化安全构成了严重威胁，具体表现在以下三个方面是西方国家利用网络对我国进行西化分化，网上思想舆论阵地争夺战日趋激烈。二是传统政治斗争手段，在网上将以更高效方式实现，利用网络串联造谣煽动将比在现实中容易得多，也隐蔽得多。三是通过网络，西方观念生活方式可以便捷地渗透进来。系统设计方针和原则本款数安舆情监控系统利用互联网信息采集智能信息处理技术文本挖掘技术和全文检索技术，对境内外网络中新闻网页论坛博客新闻评论，贴吧等网络资源进行精确采集定向采集和智能分析，提供舆情信息检索热点人出现情绪化冲动，以致不能明辨是非。三是少数社会管理者对于舆论习惯于回避或堵塞。因此，网络这把锋利双刃剑在提供了下情上达便捷方式同时，也对我国政治安全和文化安全构成了严重威胁，具体表现在以下三个