近些年，由于以社交网站、基于位置的服务LBS 等为代表的新型信息产生方式的涌现，以及 云计算、移动和物联网技术的迅猛发展，无处不在的移动、无线传感器等设备无时不刻都在产生数据，数以亿计用户的互联网服务时时刻刻都在产生着数据交互，大数据时代已经到来。在当下，大数据炙手可热，不管是企业还是个人都在谈论或者从事大数据相关的话题与业务，我们创造大数据同时也被大数据时代包围。在大量的数据中找到有意义的模式和规则。在大量数据面前，数据的获得不再是一个障碍，而是一个优势。对于数据量早已逾越TB、增长率惊人、实时性高的大数据，如何分析、管理、利用大数据等工作仍将面临若干的挑战。 大数据(Big data)通常用来形容大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大 数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。 大数据技术，从本质上讲是从类型各异、内容庞大的数据中快速获得有价值信息的技术。目前，随着大数据领域被广泛关注，大量新的技术已经开始涌现出来，而这些技术将成为大数据采集、存储、分析、表现的重要工具。 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 大数据处理的关键技术主要包括：数据采集、数据预处理(数据清理、数据集成、数据变换等)、大数据存储、数据分析和挖掘、数据的呈现与应用(数据可视化、 数据安全与隐私等)。 北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文 数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。 其中KGB(Knowledge Graph Builder)知识图谱引擎是我们自主研发的知识图谱构建与推理引擎，基于汉语词法分析的基础上，采用KGB语法实现了实时高效的知识生成，可以从非结构化文本中抽取各类知识，并实现了从表格中抽取指定的内容等。KGB同时可以定义不同的动作，如抽取动作，并能自定义各类后处理程序。利用KGB知识图谱引擎可以抽取到产品的详细报价信息，方便进行下一步的数据挖掘与图谱构建。 随着云计算、移动互联网以及物联网等技术的发展和完善，相信大数据在各个领域的应用会越来越广泛和深入，相关的研究也会越来越全面和深入，在信息管理领域，综合应用数据挖掘技术和人工智能技术，获取用户知识、文献知识等各类知识，将是实现知识检索和知识管理发展的必经之路。
| 
发表于 2018-12-13 11:46:08
