Neo4j图数据库使用

　　最近在处理一些图的数据，主要是有向图，如果图的节点不是特别大可以直接加载到内存里来处理，但是当图的节点个数特别大时，内存就放不下了；我 们牵涉到的图的节点数最大可以达到数亿个节点，已经超出的机器内存的大小，所以必须把这些图的数据放到外存上，所以我们就选择了图数据库。

　 　尝试了2种图数据库，IBM System G 和 neo4j， 这两个数据库都可以处理上亿个节点的图，起始使用的是System G，但是存在一些问题，当图的节点数在300多万个，边数为1000多万个时，在创建图时就特别麻烦，程序老是创建不成功。后来就选择了 neo4j，neo4j是一个开源的图数据库，使用起来也比较方便，在创建比较大的图时速度远远超过System G；接下来把neo4j入门的知识记录下来，主要介绍neo4j嵌入在java开发中。

1、创建图（把图的数据存入neo4j）

　　创建图由两种方法，一种是直接通过读取文件，在程序中显式的创建节点和边，另一种是通过加载CSV文件来创建。

1.1 程序中显示的创建图

　　存放图的文件的格式如下图，以'v'开图的是顶点，后面的数字是它的id，id用从0开始顺序存放，在后面是label； 以'e'开头的行是边，后面第一个数字是边的起始点的id，第二个数字是边的终点的id，后面的字符串是边的label。

　　

　　创建图的方法如下：

　　

 public static void create_graph(GraphDatabaseService graph, File f) throws FileNotFoundException{
         Scanner scanner = new Scanner(f);

         while (scanner.hasNextLine()){
             String line = scanner.nextLine().trim();

             if (line.equals("") | line.startsWith("t")){
                 continue;
             } else if (line.startsWith("v")) {
                 String nodeLabel = line.split(" ")[2];            //得到顶点的label
                 Label label = DynamicLabel.label(nodeLabel);      //通过顶点的label,创建一个neo4j的Label类型，作为顶点的label, 这样就不用把label作为属性
                 try (Transaction tx = graph.beginTx()){
                     graph.createNode(label);                    //创建顶点
                     tx.success();
                 }
             } else if (line.startsWith("e")) {
                 String[] lineSplit = line.split(" ");
                 int sourceId = Integer.parseInt(lineSplit[1]);        //得到变得起始顶点id和终止顶点id
                 int targetId = Integer.parseInt(lineSplit[2]);
                 String edgeLabel = lineSplit[3];                    //得到边的label
                 try (Transaction tx = graph.beginTx()){
                     Relationship edge = graph.getNodeById(sourceId).createRelationshipTo(graph.getNodeById(targetId), R.DIRECTED);  //创建边
                     edge.setProperty("label", edgeLabel);    //给边设置属性
                     tx.success();
                 }
             }
         }

         scanner.close();
     }

1.2 通过加载CSV文件来创建图

　　如果使用CSV文件的话，需要通过URL来访问文件，我们使用两个URL，一个是顶点的URL，一个是边的URL，它们的文件格式要符合csv文件的格式．

　　可以创建一个本地的apache服务器来存放这些文件，我们使用的顶点和边的url分别是：

　　顶点url: http://127.0.0.1/nodes

　　边url:  http://127.0.0.1/edges

然后存取顶点的代码如下：

 String create_node = "USING PERIODIC COMMIT "
         + "LOAD CSV WITH HEADERS FROM 'http://127.0.0.1/nodes' AS line "
     　　+ "CREATE (:node {label: line.label});";　　　　　　//这样创建时，不能像上一种方法那样通过变量来指定label, 所以把label作为了顶点的属性了,第一个冒号前面可以指定顶点的名字，也可以不指定，冒号后面是该顶点的label.
 graph.execute(create_node);　　　　//执行cypher语言来创建结点

其中"USING PERIODIC COMMIT"的作用是分段式的创建顶点，可以认为指定读取多少行后就写入数据库，默认是读取1000行后写入数据库，例如"USING PERIODIC COMMIT 500",就是读取500行后就存入数据库．

存放边的代码如下：

 String create_edge = "USING PERIODIC COMMIT "
         + "LOAD CSV WITH HEADERS FROM 'http://127.0.0.1/edges' AS line "
         + "MATCH (p1), (p2) "　　　　//找到边的两个顶点
         + "WHERE id(p1)=toInt(line.source) and id(p2)=toInt(line.target) "
         + "CREATE (p1)-[:DIRECTED {label: line.label}]->(p2);";   //创建边
 graph.execute(create_edge);

其中，需要注意的是带有"USING PERIODIC COMMIT "的语句不能放在Transaction中执行，否则会出现如下的错误

“org.neo4j.cypher.PeriodicCommitInOpenTransactionException: Executing queries that use periodic commit in an open transaction is not possible.”

完整的创建顶点和边的方法如下：

 public static void create_nodes(GraphDatabaseService graph, String node_url) {　　　　　　　　//创建顶点
         String create_node = "USING PERIODIC COMMIT "
                 + "LOAD CSV WITH HEADERS FROM " + node_url + "AS line "
                 + "CREATE (:node {label: line.label});";
         graph.execute(create_node);
         System.out.println("nodes create successfully!");
     }
 //创建边
 public static void create_edges(GraphDatabaseService graph, String edge_url){

               String create_edge = "USING PERIODIC COMMIT "
             + "LOAD CSV WITH HEADERS FROM " + edge_url + " AS line "
             + "MATCH (p1), (p2) "
             + "WHERE id(p1)=toInt(line.source) and id(p2)=toInt(line.target) "
             + "CREATE (p1)-[:DIRECTED {label: line.label}]->(p2);";
         graph.execute(create_edge);

         System.out.println("edges create successfully!");
     } 

２.得到一个顶点的所有出边的终点的id

 public static ArrayList<Long> get_out_nodes(GraphDatabaseService graph, Node node){
         ArrayList<Long> out = new ArrayList<Long>();
         try (Transaction tx = graph.beginTx()){
             Traverser tr;
             TraversalDescription td = graph.traversalDescription()
                     .breadthFirst()
                     .relationships(R.DIRECTED, Direction.OUTGOING)
                     .evaluator(Evaluators.excludeStartPosition());
             tr = td.traverse(node);
             for (Path path : tr){
                 if (path.length() == 1){
                     out.add(path.endNode().getId());
                 }
             }
             tx.success();
         }
         return out;
     }

3.得到一个顶点的所有入边的起始点的id

　　

  public static ArrayList<Long> get_in_nodes(GraphDatabaseService graph, Node node){
         ArrayList<Long> in = new ArrayList<Long>();
         try (Transaction tx = graph.beginTx()){
             Traverser tr;
             TraversalDescription td = graph.traversalDescription()
                     .breadthFirst()
                     .relationships(R.DIRECTED, Direction.INCOMING)
                     .evaluator(Evaluators.excludeStartPosition());
             tr = td.traverse(node);
             for (Path path : tr){
                 if (path.length() == 1){
                     in.add(path.endNode().getId());
                 }
             }
             tx.success();
         }
         return in;
     }

４.得到图中所有顶点的个数

 public static int getSize(GraphDatabaseService graph){
         int size = 0;
         try (Transaction tx = graph.beginTx()){
             Iterator<Node> it = graph.getAllNodes().iterator();
             while(it.hasNext()){
                 size++;
                 it.next();
             }
             tx.success();
         }
         return size;
     }

５.根据顶点的属性label的值，得到具有相同label值的顶点的个数

  public static int getSizeByLabel(GraphDatabaseService graph, String label){
         try(Transaction tx = graph.beginTx()){
             Label node = DynamicLabel.label("node");         //在创建顶点时，指定了顶点的label为"node",注意这个label是Label类型的，与顶点属性的label不一样
             ResourceIterator<Node> result = graph.findNodes(node, "label", label);
             ArrayList<Node> nodes = new ArrayList<>();
             while (result.hasNext()){
                 nodes.add(result.next());
             }
             tx.success();
             return nodes.size();
         }
     }

６. 给出顶点的id，得到该顶点某个属性的值，如label属性的值

 public static String getNodeLabel(GraphDatabaseService graph, int id){
         try(Transaction tx = graph.beginTx()){
             String nodeLabel = graph.getNodeById(id).getProperties("label").toString();　　　　//返回的值的样式如下：｛label=AND2X1}
             String label = nodeLabel.substring(7, nodeLabel.length()-1);　　　　　　//对上一步的返回值进行取子串
             tx.success();
             return label;
         }
     }

就先介绍这些基本的操作吧，以后用到新的操作了在做补充！

参考链接入下：

neo4j官方教程