易建基于本体的行业知识图谱构建技术研究 在旅游、金融行业应用初具成效
知识图谱以其强大的语义处理能力和开放组织能力,为互联网时代的知识化组织和智能应用奠定了基础,其应用趋势也从通用领域走向行业领域。许多行业为了应对大数据应用的不同挑战,借助知识图谱,实现不同的业务需求,实现了通用和行业应用“百花齐放”的局面。 本期笔者采访了易建科技智慧城市事业部知识工程团队经理、知识图谱技术研究人员鲍立飞,详细阐述了易建如何深度开发基于本体的行业知识图谱构建技术及应用。 如何构建一个有效的知识图谱? 知识图谱构建主要有自顶向下(Top-Down)和自底向上(Bottom-Up)两种方法。所谓自顶向下的方法是指首先为知识图谱定义数据模式,在定义本体的过程中,首先从最顶层的概念开始,然后逐步进行细化,形成结构良好的分类学层次结构;在定义好数据模式后,再把实体一个个往概念中添加。自底向上的方法则刚好相反,首先从实体开始,对实体进行归纳组织,形成底层的概念,然后逐步往上抽象,形成上层的概念。 两种方法在具体的构建过程中通常都不是从零开始的,前者可以利用一些现有的结构化的知识库,而后者则可以从开放链接数据或在线百科中得到很多实体。在领域本体实际构建过程中,易建则采用了自顶向下和自底向上相结合的方法。 知识图谱的构建过程包括本体建模、知识抽取、知识融合、知识存储、知识推理这几个步骤。 本体建模 就鲍立飞而言,构建本体的目的是识别、描述和表示相关领域的知识,提供对该领域知识的共同理解,确定领域内共同认可的对象模型,并从不同层次的形式化模式上给出了这些对象和对象间相互关系的明确定义。本体描述了知识图谱的概念模式,同时知识图谱在本体的基础上进行了丰富和扩充,而知识图谱则是在本体的基础上,增加了更加丰富的关于实体的信息。 在行业知识图谱构建的过程中,需要先构建本体模型,本体模型是为了对整个行业特定的知识图谱所需的数据模型进行定义,因此需要保证可靠性。在本体模型中我们需要构建本体的概念,属性以及概念之间的关系。 在构建行业知识图谱的本体模型时,通常需要借助领域专家知识来引导构建本体模型,才能保证知识图谱的质量,之后的知识计算,知识推理才能更好的发挥作用。 知识抽取 知识抽取是从不同来源、不同结构的数据中进行信息提取,形成知识存入知识图谱中。知识抽取处理的对象按照结构化程度可以分为结构化、半结构化和非结构化信息。 结构化文档具有良好的布局结构,可以很容易地对其执行知识抽取。结构化文档主要存储在业务数据库,可以通过ETL从结构化信息中提取知识。 在处理半结构化数据方面,主要的工作是通过编写包装器,从半结构化数据中提取实体属性,适用在百科类站点、垂直网站中进行包装器归纳,从网页表格中提取属性信息。 非结构化文档是指由符合某种语言表达规范的自然语言语句组成的文档,这类文档表达方式灵活,可以用不同的形式和词汇表达相同的意思,因此对这类文档进行知识抽取是非常困难的,往往要借助自然语言处理技术对其进行语法和语义分析。 知识存储 知识图谱最适合处理关联密集型的数据,解决的是实体及实体之间的关系,即具有有向图结构的一个知识库,因此适合以图的数据结构存储,其存储方式主要有RDF 和图数据库两种方式。 在具体的知识图谱工程中,为了满足不同的业务需求,比如统计型、复杂关系型等,往往采用复合的存储模式,如下: 实践经验如下: 文本型数据:使用NoSQL数据库存储。 关系型数据:使用图形数据存储,包括实体、关系、属性。 关联型数据:作为记录型数据存入合适的存储中(尽量不入图存储),通过实体链接与图谱中实体关联。 时序型数据:一般作为事件来补充知识图谱,可存在图数据库或者文档数据库中,如果是海量数据并作为实时分析,采用特定时序数据库存储。 统计型数据:使用SQL数据库存储。 知识融合 知识融合指的是将多个数据源抽取的知识进行融合后集成到知识图谱中。在进行知识融合时,需要解决多种类型的数据冲突问题,包括一个短语对应多个实体、实体属性名不一致、实体属性缺失、实体属性值不一致、实体属性值一对多映射等情况。知识融合阶段主要对数据进行本体对齐和实体匹配。 本体对齐更强调概念层的融合,主要工作有概念的合并,概念上下位关系合并,概念的属性定义合并。而实体匹配更强调数据层的融合,主要工作又有实体链接,数据融合,冲突检测与解决。 由于我们在构建过程中采用的自顶向下和自底向上结合的方式,因此基本都经过人工的校验,保证了概念层的可靠性;因此,知识融合的关键任务在数据层的融合。 数据层融合即实体匹配也叫实体对齐,其目的在于发现具有不同标识却代表真实世界中同一对象的那些实体,并将这些实体归并为一个具有全局唯一标识的实体对象,然后添加到知识图谱中。 |
免责声明:
除非特别声明,文章均为投稿或网络转载,仅代表作者观点,与大数据中国网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。如果本文内容有侵犯你的权益,请发送信息至ab12-120@163.com,我们会及时删除
最新新闻
最新新闻
要闻推荐
要闻推荐
今日视点
今日视点