大数据的根底——图核算的开展进程

大数据的根底——图核算的开展进程

发布日期:[2024-01-22] 来源:新闻动态

  跟着云核算、大数据和人工智能等信息技能的加快速度进行开展,各职业数字化水平慢慢地进步,企业事务环境和核算场景日益杂乱,数据间的相相联系也正在变得更交织。

  图结构数据凭仗对相相联系的强描写才能,敏捷锋芒毕露。图核算首要别离为图数据库和图核算体系,那它们别离的开展前史是怎么的呢?

  图数据库最早可追溯到 20 世纪 60 时代面向树状结构的数据库,如 IBM 的 IMS;20世纪 70-80 时代呈现面向特色图的模型和技能,如 LDM(逻辑数据模型),ERDiagram 等。

  数据库商场中仍以联系型数据库为主,但非联系型的 NoSQL 数据库已开端开展。2007 年,第一款商用图数据库 Neo4j 企业建立,开端选用原生图存储形式,为单机布置形式。

  大规划分布式架构、多模态支撑、图查询言语规划等图数据库研讨方向开端遭到重视;商场中以海外厂商及其产品为主,除了最早的 Neo4j 外,还呈现了 OrientDB、ArangoDB 等。

  职业入局者敏捷添加,海外传统数据库和公有云厂商开端切入图数据库商场,如Oracle、AWS 等。我国公有云厂商如蚂蚁、腾讯等开端步入,一起也呈现了如创邻科技、欧若数网等图数据库草创企业。

  这一阶段首要的解决方案包含 1)单机图算法库 , 如 Boost 的 BGL 、 StandfordGraphBase 等 ; 2 ) 通用分布式核算渠道 , 如MapReduce 等;3)并行图核算库,如 PBGL;4)针对具体问题定制架构等。但这些解决方案在数据规划、功能、易用性、容错性等方面尚有许多不足之处。

  Google 于 2010 年提出 Pregel,一个针对图算法特色规划的分布式图核算体系,遵从 BSP 运算模型;之后 CMU Select 实验室 GraphLab 项目组提出了GAS 运算模型。Pregel 和 GraphLab 对后续其他图核算体系的规划产生了深远的影响。这一阶段商场参与者以海外巨子及高校实验室等为主。

  跟着数据量级敏捷增加,使用商场逐步翻开,对图核算体系扩展性和功率需求逐步的提高。我国图核算范畴学术界和产业界研讨开端逐步发力,发布自己的 图 计 算 系 统 和 平 台 ,比方如 清 华 大 学 的 Gemini(OSDI 2016)、蚂蚁的 TuGraph、腾讯的 Plato、阿里的 GRAPE 等。

  跟着 5G 、物联网、人工智能等数字化技能的驱动,企业数据正在呈爆发式增加,数据间的相关杂乱度剧增。传统联系型数据库在处理这些杂乱相关数据时功率较低且很难取得实时的洞悉,企业很难进一步发掘海量联系数据背面的价值。