近些年,由于以社交网站、基于位置的服务LBS 等为代表的新型信息产生方式的涌现,以及云计算、移动和物联网技术的迅猛发展,无处不在的移动、无线传感器等设备无时不刻都在产生数据,数以亿计用户的互联网服务时时刻刻都在产生着数据交互,大数据时代已经到来。在当下,大数据炙手可热,不管是企业还是个人都在谈论或者从事大数据相关的话题与业务,我们创造大数据同时也被大数据时代包围。在大量的数据中找到有意义的模式和规则。在大量数据面前,数据的获得不再是一个障碍,而是一个优势。
知识图谱是以科学知识为对象,显示科学知识的发展进程与结构关系的一种图形。科学知识图谱研究,是以科学学为研究范式,以引文分析方法和信息可视化技术为基础,涉及数学、信息科学、认知科学和计算机科学诸学科交叉的 领域,是科学计量学和信息计量学的新发展。科学知识图谱具有“图”和“谱”的双重性质与特征:既是可视化的知识图形,又是序列化的知识谱系,显示了知识元或知识群之间网络、结构、互动、交叉、演化或衍生等诸多复杂的关系。借助科学知识图谱,人们可以查看庞大的人类知识体系中各个领域的结构,理顺当代知识大爆炸形成的复杂知识网络,预测科学技术知识前沿发展的新态势。
北京理工大学大数据搜索与挖掘实验室张华平主任研发的KGB知识图谱引擎,KGB知识图谱引擎(Knowledge Graph Builder)是基于自然语言理解、汉语词法分析,采用KGB语法从结构化数据与非结构化文档中抽取各类知识,大数据语义智能分析与知识推理,深度挖掘知识关联,实时构建知识图谱。
KGB知识图谱引擎核心技术与特色
1 、KGB知识抽取
KGB(Knowledge Graph Builder)知识图谱引擎是我们自主研发的知识图谱构建与推理引擎,基于汉语词法分析的基础上,采用KGB语法实现了实时的知识生成,可以从非结构化文本中抽取各类知识,并实现了从表格中抽取指定的内容等。
KGB知识图谱引擎可以定义不同的动作,增加、删除、修改、抽取等等。每一类动作还能自定义各类后处理程序。
2 、语义智能分析
NLPIR大数据语义智能分析针对大数据内容采编挖搜的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的新研究成果,先后历时十八年,服务了全球四十万家机构用户,是大数据时代语义智能分析的一大利器。
NLPIR大数据语义智能分析十三大功能:精准采集、文档抽取、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索与编码转换。
3 、语义精准搜索
JZSearch大数据语义精准搜索引擎:是灵玖软件联合中科院与北理工的信息检索专家,针对大数据垂直搜索需求的全文智能检索引擎,融合了自然语言理解、网络搜索和文本挖掘的技术,通过人机互动、深度机器学习后具有一定的语义推理能力,是结合了人工智能技术的新一代搜索引擎,具有专业精准、高扩展性和高通用性的特点。
大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间。互联网时代的数据正在迅速膨胀,它决定着组织的未来发展,随着时间的推移,人们将越来越意识到数据对组织的重要性。这将促使中文信息处理方面的中文搜索引擎、实时机器翻译、大规模中文文本处理、跨平台中西文自动识别转换、泛中文语义理解、中文电子商务等技术实现重大突破。中文信息处理已成为我国信息技术研究、发展、应用和产业的基础,在互联网日益成长的今天,中文信息处理技术将会更加成熟并创新。