大数据文本分析NLPIR平台效果优势显著

大数据分析

　　文本分析是文本挖掘、信息检索的一个基本问题，它把从文本中抽取出的特征词进行量化来表示文本信息。

文本分析是在机器学习数据挖掘中经常要用到的一种方法，主要是指对文本处理，并对文本建模取得有用的信息。灵玖软件NLPIR平台文本分析主要由三步组成，解析数据，搜索检索，文本挖掘。

解析数据主要是为了将非格式化的数据处理成格式化的数据以方便以后的分析。非结构化的数据主要有文本，日志，网页，xml，json等。

搜索检索主要是指对结构化的数据识别关键字，主题，以及相关性等。文本挖掘主要是根据识别的关键字，主题等找出其中的我们感兴趣的东西，并展示出来。

　　文本挖掘技术主要有：文档聚类、文档分类、摘要抽取、语义正负面分析。

　　1、文档聚类

　　首先，文档聚类可以发现与某文档相似的一批文档，帮助知识工作者发现相关知识;其次，文档聚类可以将一个文档聚类成若干个类，提供一种组织文档集合的方法;再次，文档聚类还可以生成分类器以对文档进行分类。

　　文本挖掘中的聚类可用于：提供大规模文档集内容的总括;识别隐藏的文档间的相似度;减轻浏览相关、相似信息的过程。

　　2、文档分类

　　分类和聚类的区别在于：分类是基于已有的分类体系表的，而聚类则没有分类表，只是基于文档之间的相似度。

　　由于分类体系表一般比较准确、科学地反映了某一个领域的划分情况，所以在信息系统中使用分类的方法，能够让用户手工遍历一个等级分类体系来找到自己需要的信息，达到发现知识的目的，这对于用户刚开始接触一个领域想了解其中的情况，或者用户不能够准确地表达自己的信息需求时特别有用。传统搜索引擎中目录式搜索引擎属于分类的范畴，但是许多目录式搜索引擎都采用人工分类的方法，不仅工作量巨大，而且准确度不高，大大限制了起作用的发挥。

　　另外，用户在检索时往往能得到成千上万篇文档，这让他们在决定哪些是与自己需求相关时会遇到麻烦，如果系统能够将检索结果分门别类地呈现给用户，则显然会减少用户分析检索结果的工作量，这是自动分类的另一个重要应用。

　　3、 自动文摘

　　互联网上的文本信息、机构内部的文档及数据库的内容都在成指数级的速度增长，用户在检索信息的时候，可以得到成千上万篇的返回结果，其中许多是与其信息需求无关或关系不大的，如果要剔除这些文档，则必须阅读完全文，这要求用户付出很多劳动，而且效果不好。

　　自动文摘能够生成简短的关于文档内容的指示性信息，将文档的主要内容呈现给用户，以决定是否要阅读文档的原文，这样能够节省大量的浏览时间。简单地说自动文摘就是利用计算机自动地从原始文档中提取全面准确地反映该文档中心内容的简单连贯的短文。

　　自动文摘具有以下特点：(1)自动文摘应能将原文的主题思想或中心内容自动提取出来。(2)文摘应具有概况性、客观性、可理解性和可读性。(3)可适用于任意领域。

4、语义正负面分析

针对事先指定的分析对象和示例样本，系统自动从海量文档中筛选出正负面的得分和句子样例。