java往MongDB导入大量数据

好几月没写博客了~~~

---------------------

在公司最近在搞用java往MongDB导入数据 现在是我刚导入2000W条数据了 所以就先写上吧，废话也不多说了

MongDB 我本机上没有  我往服务器里面的MongDB导入的 只有URL链接

首先是导入 我是不是用的批量导入   用的是单条导入    比较快

  void testPost(String urlStr) {
         try {
             URL url = new URL(urlStr);
             URLConnection con = url.openConnection();
             con.setDoOutput(true);
             con.setRequestProperty("Pragma:", "no-cache");
             con.setRequestProperty("Cache-Control", "no-cache");
             con.setRequestProperty("Content-Type", "text/xml");
           //实例化Mongo对象，连接27017端口
             Mongo mongo = new Mongo("这里写IP地址你需要从哪个IP里读取数据的IP地址", 27017);
             //连接名为yourdb的数据库，假如数据库不存在的话，mongodb会自动建立
             DB db = mongo.getDB("yourdb");

             // Get collection from MongoDB, database named "yourDB"
             //从Mongodb中获得名为yourColleection的数据集合，如果该数据集合不存在，Mongodb会为其新建立
             DBCollection collection = db.getCollection("dl_hotelimage");
             OutputStreamWriter out = new OutputStreamWriter(con
                     .getOutputStream());
             String xmlInfo = getXmlInfo();
             out.write(new String(xmlInfo.getBytes("UTF-8")));
             out.flush();
             out.close();
             BufferedReader br = new BufferedReader(new InputStreamReader(con
                     .getInputStream()));
             String line = "";
             int i =1;
             BasicDBObject document=new BasicDBObject();
             for (line = br.readLine(); line != null; line = br.readLine()) {
                     String[] str=line.split("\\|",-1);
                     document = new BasicDBObject();
                         if(str.length!=0){
                             document.put("id", str[0]);
                         }
                         if(str.length!=1){
                             document.put("ImageCaption", str[1]);
                         }
                         if(str.length!=2){
                             document.put("ImageUrl", str[2]);
                         }
                         if(str.length!=3){
                             document.put("ImageOrder", str[3]);
                         }
                     collection.save(document);
                     //BasicDBObject searchQuery = new BasicDBObject();
                     //searchQuery.put("id", str[0]);
                     // 使用collection的find方法查找document
                     //DBCursor cursor = collection.find(searchQuery);
                     //循环输出结果
                     System.out.println(i+++"条-----"+collection.count());
                 }
         } catch (MalformedURLException e) {
             e.printStackTrace();
         } catch (IOException e) {
             e.printStackTrace();
         }
     }
   //XML文件的配置 其实不用XML文件的
     private String getXmlInfo() {
         StringBuilder sb = new StringBuilder();
         sb.append("<GetStaticInformationRQ>");
         sb.append("<Header>");
         sb.append("<ClientID>BJMAIGESHI_API</ClientID>");
         sb.append("<LicenseKey>BJMAIGESHI_API</LicenseKey>");
         sb.append("</Header>");
         sb.append("<StaticType>这里需要你写你要导入哪些数据的型号英文</StaticType>");
         sb.append("</GetStaticInformationRQ>");
         return sb.toString();
     }  

     public static void main(String[] args) {
         String url = "这里就是你的URL链接地址了需要从这个URL里读取数据";
         new HttpPostTest().testPost(url);
     }

导入

这个是我已经导入的数据 目前还在导入

附赠你们一个查询

  void testPost(String urlStr) {
         try {
             URL url = new URL(urlStr);
             URLConnection con = url.openConnection();
             con.setDoOutput(true);
             con.setRequestProperty("Pragma:", "no-cache");
             con.setRequestProperty("Cache-Control", "no-cache");
             con.setRequestProperty("Content-Type", "text/xml");  

             OutputStreamWriter out = new OutputStreamWriter(con
                     .getOutputStream());
             String xmlInfo = getXmlInfo();
             out.write(new String(xmlInfo.getBytes("ISO-8859-1")));
             out.flush();
             out.close();
             BufferedReader br = new BufferedReader(new InputStreamReader(con
                     .getInputStream()));
             String line = "";
             int i=0;
             for (line = br.readLine(); line != null; line = br.readLine()) {
                 String str[]=line.split("\\|+");
                 System.out.println(i+++"条----"+line);
             }
         } catch (MalformedURLException e) {
             e.printStackTrace();
         } catch (IOException e) {
             e.printStackTrace();
         }
     }  

     private String getXmlInfo() {
         StringBuilder sb = new StringBuilder();
         sb.append("<GetStaticInformationRQ>");
         sb.append("<Header>");
         sb.append("<ClientID>BJMAIGESHI_API</ClientID>");
         sb.append("<LicenseKey>BJMAIGESHI_API</LicenseKey>");
         sb.append("</Header>");
         sb.append("<StaticType>HotelImage</StaticType>");
         sb.append("</GetStaticInformationRQ>");
         return sb.toString();
     }  

     public static void main(String[] args) {
         String url = "URL链接地址  你查询的";
         new HttpPostTest().testPost(url);
     }  

查询

在附赠一个查询数据库

 public static void main(String[] args) {
         try {
             //实例化Mongo对象，连接27017端口
             Mongo mongo = new Mongo("导入的IP地址", 27017);
             //连接名为yourdb的数据库，假如数据库不存在的话，mongodb会自动建立
             DB db = mongo.getDB("yourdb");

             // Get collection from MongoDB, database named "yourDB"
             //从Mongodb中获得名为yourColleection的数据集合，如果该数据集合不存在，Mongodb会为其新建立
             DBCollection collection = db.getCollection("dl_hotelimage");
             // 使用BasicDBObject对象创建一个mongodb的document,并给予赋值。

             // 创建要查询的document
             BasicDBObject searchQuery = new BasicDBObject();
             // 使用collection的find方法查找document
             DBCursor cursor = collection.find(searchQuery);
             //循环输出结果
             int i=0;
             while (cursor.hasNext()) {
                 System.out.println(i+++","+cursor.next());
             }
                 System.out.println("Done");
             } catch (MongoException e) {
                 e.printStackTrace();
             }    

         }

查询数据库

好了  我本机上没有安装MongDB数据库用的IP地址和URL链接呢