Graph database_neo4j 底层存储结构分析(1)

1       neo4j 中节点和关系的物理存储模型

1.1  neo4j存储模型

The node records contain only a pointer to their first property and their first relationship (in what is oftentermed the _relationship chain). From here, we can follow the (doubly) linked-list of relationships until we find the one we’re interested in, the  LIKES relationship from  Node 1 to  Node 2 in this case. Once we’ve found the relationship record of interest, we can simply read its properties if there are any via the same singly-linked list structure as node properties, or we can examine the node records that it relates via its start node and end node IDs. These IDs, multiplied by the node record size, of course give the immediate offset of both nodes in the node store file.

上面的英文摘自<Graph Databases>(作者：IanRobinson) 一书，描述了 neo4j 的存储模型。Node和Relationship 的 Property 是用一个 Key-Value 的双向列表来保存的； Node 的 Relatsionship 是用一个双向列表来保存的，通过关系，可以方便的找到关系的 from-to Node. Node 节点保存第1个属性和第1个关系ID。

通过上述存储模型，从一个Node-A开始，可以方便的遍历以该Node-A为起点的图。下面给个示例，来帮助理解上面的存储模型，存储文件的具体格式在第2章详细描述。

1.2  示例1

在这个例子中，A~E表示Node 的编号，R1~R7 表示 Relationship 编号，P1~P10 表示Property 的编号。

• Node 的存储示例图如下,每个Node 保存了第1个Property 和 第1个Relationship：

• 关系的存储示意图如下：

从示意图可以看出，从 Node-B 开始，可以通过关系的 next 指针，遍历Node-B 的所有关系，然后可以到达与其有关系的第1层Nodes,在通过遍历第1层Nodes的关系，可以达到第2层Nodes,…

2       neo4j graph db的存储文件介绍

当我们下载neo4j-community-2.1.0-M01 并安装，然后拿 neo4j embedded-example 的EmbeddedNeo4j 例子跑一下，可以看到在target/neo4j-hello-db下会生成如下neo4j graph db 的存储文件。

-rw-r–r–     11 04-11 13:28 active_tx_log

drwxr-xr-x   4096 04-11 13:28 index

-rw-r–r–  23740 04-11 13:28 messages.log

-rw-r–r–     78 04-11 13:28 neostore

-rw-r–r–      9 04-11 13:28 neostore.id

-rw-r–r–     22 04-11 13:28 neostore.labeltokenstore.db

-rw-r–r–      9 04-11 13:28 neostore.labeltokenstore.db.id

-rw-r–r–     64 04-11 13:28 neostore.labeltokenstore.db.names

-rw-r–r–      9 04-11 13:28 neostore.labeltokenstore.db.names.id

-rw-r–r–     61 04-11 13:28 neostore.nodestore.db

-rw-r–r–      9 04-11 13:28 neostore.nodestore.db.id

-rw-r–r–     93 04-11 13:28 neostore.nodestore.db.labels

-rw-r–r–      9 04-11 13:28 neostore.nodestore.db.labels.id

-rw-r–r–    307 04-11 13:28 neostore.propertystore.db

-rw-r–r–    153 04-11 13:28 neostore.propertystore.db.arrays

-rw-r–r–      9 04-11 13:28 neostore.propertystore.db.arrays.id

-rw-r–r–      9 04-11 13:28 neostore.propertystore.db.id

-rw-r–r–     61 04-11 13:28 neostore.propertystore.db.index

-rw-r–r–      9 04-11 13:28 neostore.propertystore.db.index.id

-rw-r–r–    216 04-11 13:28 neostore.propertystore.db.index.keys

-rw-r–r–      9 04-11 13:28 neostore.propertystore.db.index.keys.id

-rw-r–r–    410 04-11 13:28 neostore.propertystore.db.strings

-rw-r–r–      9 04-11 13:28 neostore.propertystore.db.strings.id

-rw-r–r–     69 04-11 13:28 neostore.relationshipgroupstore.db

-rw-r–r–      9 04-11 13:28 neostore.relationshipgroupstore.db.id

-rw-r–r–     92 04-11 13:28 neostore.relationshipstore.db

-rw-r–r–      9 04-11 13:28 neostore.relationshipstore.db.id

-rw-r–r–     38 04-11 13:28 neostore.relationshiptypestore.db

-rw-r–r–      9 04-11 13:28 neostore.relationshiptypestore.db.id

-rw-r–r–    140 04-11 13:28 neostore.relationshiptypestore.db.names

-rw-r–r–      9 04-11 13:28 neostore.relationshiptypestore.db.names.id

-rw-r–r–     82 04-11 13:28 neostore.schemastore.db

-rw-r–r–      9 04-11 13:28 neostore.schemastore.db.id

-rw-r–r–      4 04-11 13:28 nioneo_logical.log.active

-rw-r–r–   2249 04-11 13:28 nioneo_logical.log.v0

drwxr-xr-x   4096 04-11 13:28 schema

-rw-r–r–      0 04-11 13:28 store_lock

-rw-r–r–    800 04-11 13:28 tm_tx_log.1

2.1  存储 node 的文件

1)          存储节点数据及其序列Id

• neostore.nodestore.db:  存储节点数组，数组的下标即是该节点的ID
• neostore.nodestore.db.id  ：存储最大的ID 及已经free的ID

2)          存储节点label及其序列Id

• neostore.nodestore.db.labels  ：存储节点label数组数据，数组的下标即是该节点label的ID
• neostore.nodestore.db.labels.id

2.2  存储 relationship 的文件

1)          存储关系数据及其序列Id

• neostore.relationshipstore.db 存储关系 record 数组数据
• neostore.relationshipstore.db.id

2)          存储关系组数据及其序列Id

• neostore.relationshipgroupstore.db  存储关系 group数组数据
• neostore.relationshipgroupstore.db.id

3)          存储关系类型及其序列Id

• neostore.relationshiptypestore.db  存储关系类型数组数据
• neostore.relationshiptypestore.db.id

4)          存储关系类型的名称及其序列Id

• neostore.relationshiptypestore.db.names存储关系类型 token 数组数据
• neostore.relationshiptypestore.db.names.id

2.3  存储 label 的文件

1)          存储label token数据及其序列Id

• neostore.labeltokenstore.db  存储lable token 数组数据
• neostore.labeltokenstore.db.id

2)          存储label token名字数据及其序列Id

• neostore.labeltokenstore.db.names  存储 label token 的 names 数据
• neostore.labeltokenstore.db.names.id

2.4  存储 property 的文件

1)          存储属性数据及其序列Id

• neostore.propertystore.db  存储 property 数据
• neostore.propertystore.db.id

2)          存储属性数据中的数组类型数据及其序列Id

• neostore.propertystore.db.arrays  存储 property (key-value 结构)的Value值是数组的数据。
• neostore.propertystore.db.arrays.id

3)          属性数据为长字符串类型的存储文件及其序列Id

• neostore.propertystore.db.strings     存储 property (key-value 结构)的Value值是字符串的数据。
• neostore.propertystore.db.strings.id

4)          属性数据的索引数据文件及其序列Id

• neostore.propertystore.db.index       存储 property (key-value 结构)的key 的索引数据。
• neostore.propertystore.db.index.id

5)          属性数据的键值数据存储文件及其序列Id

• neostore.propertystore.db.index.keys     存储 property (key-value 结构)的key 的字符串值。
• neostore.propertystore.db.index.keys.id

2.5  其他的文件

1)          存储版本信息

• neostore
• neostore.id

2)          存储 schema 数据

• neostore.schemastore.db
• neostore.schemastore.db.id

3)          活动的逻辑日志

• nioneo_logical.log.active

4)          记录当前活动的日志文件名称

• active_tx_log