java+反射+多线程+生产者消费者模式+读取xml(SAX)入数据库mysql-【费元星Q9715234】

java+反射+多线程+生产者消费者模式+读取xml(SAX)入数据库mysql-【费元星Q9715234】

说明如下，不懂的问题直接我【费元星Q9715234】

1.反射的意义在于不将xml tag写死在sax 的代码中，直接配置到一个bean就可以了。

2.多线程分工明确，线程各做各的任务，生产者只用了一个线程，使用多线程没有意义，瓶颈在IO

3.SAX读取超大文件的性能较好，dom等均不佳。

4.总的瓶颈在DB的入库，可以使用insert ，好一点使用spring 预编译，保证全数据的入库。我采用的是mysql 的load，性能提升8倍左右，缺点是没有对数据中的阿拉伯文等语种做处理，

 /**
  * <a> 读xml的管 理类 </a>
  *
  * @author: feiyuanxing@baidu.com
  * @time 2016/12/27
  */
 public class ReadXmlManger {
     private static final Logger logger = LoggerFactory.getLogger(ReadXmlManger.class);

     public static String insertTempFile;
     public static String updateTempFile;

     /**
      * 各种字符型的入库 还没有做
      *
      * @param args
      */
     public static void main(String[] args) {
         Long starTime = System.currentTimeMillis();
         String needAnalysisFileDir = "D:\\creditcode\\xml\\";
         insertTempFile = "D:\\creditcode\\tmp\\tmpInsert.sql";
         updateTempFile = "D:\\\\creditcode\\\\tmp\\\\tmpDelete.sql";

         if (args.length == 3) {
             needAnalysisFileDir = args[0];
             insertTempFile = args[1];
             updateTempFile = args[2];
             System.out.println("argument is right:" + args.length + Arrays.toString(args));
         }
         // else {
         //            System.out.println("argument is not right:" + args.length + Arrays.toString(args) + " ，over...");
         //            System.exit(1);
         //            return;
         //
         //        }
         // 对各种连接做初始化
         ImportDataUtil.getConnet();
         // 加载文件路径到队列中
         ImportDataUtil.getXmlDirToQueue(needAnalysisFileDir);
         // 执行将数据中的md5 列加载得到内存中
         ImportDataUtil.getSourecXmlList();

         // 创建初始化流
         ImportDataUtil.createWriter(insertTempFile, updateTempFile);
         logger.info("begin compare...");
         // 读xml到队列中
         XmlData.pool.execute(new ReadXmlThread(CreditCode.class));
         // 从队列中取值比较完后写到txt中
         XmlData.pool.execute(new CompareThread(CreditCode.class));
         // 等待所有子线程执行完
         while (true) {
             if (XmlData.pool.isShutdown()) {
                 // 将txt中的数据load到数据库中
                 loadData();
                 Long endTime = System.currentTimeMillis();
                 logger.info("compare over ,all read " + XmlData.atomicIntegerSC.get() + " ;");
                 logger.info("Import the data complete, takes " + (endTime - starTime) / 1000 + " seconds;");
                 return;
             }
         }
     }

     // 都执行完执行
     public static void loadData() {
         // 将最后的新增加数据load到source文件中
         ImportDataUtil.dumpInsertBuilder2File();

         // 将txt文件load到数据中  false未启用
         CreditCode creditCode = null;
         logger.info("Start the load data for the last time....");
         logger.info("The mission were increased： " + XmlData.currentAddNum.get() + " tiao data");
         ImportDataUtil.loadFile(insertTempFile, CreditCode.class);

         // 清空md5表
         ImportDataUtil.clearTmpTable();
         // 将集合中剩余的md5写到文件中
         logger.info("Began to set in the rest of the md5 written to a file ");
         ImportDataUtil.dumpUpdateBuilder2File();
         // load进数据 and 级联删除数据
         logger.info("Delete data load and start cascading delete data...");
         ImportDataUtil.sourceFile(updateTempFile);
         XmlData.context.close();

     }

 }

类列表

 BeanListHandler
 CompareThread
 ImportDataUtil
 ReadXmlThread
 WriteFileUtil
 XmlColumn
 XmlData
 XmlSAXParse