nodejs简单数据迁移demo
近期做数据迁移,采用nodejs框架,数据库为mysql。作为一枚菜鸟,在编码过程中,遇到众多奇葩问题,感谢民少给予的支持。
由于旧数据库中的数据,在之前设计中存在众多不合理的情况,因此在数据迁移中,需要对旧数据库中的相关数据做众多的规范性处理:
根据新系统的数据结构要求,存在如下问题:
1、进行无效数据筛选过滤,并进行记录。
2、同时存在外键关系也需要进行相应迁移。
3、实现数据库的自动化转移处理
4、记录无效及验证不通过数据,以及相关的原因。
5、旧数据中Id为不规范的ID,需要进行。
完成分析后,绝对按下面流程进行数据迁移:
1、在经历了对新旧数据库结构的分析后,进行相应的旧数据库中数据的导出。
2、根据具体新数据关系,先进行不存在外键关系的基础数据导入
3、完成基础数据的导入后,再进行相应的存在关联关系的数据进行导入处理。
在导入过程中,需要对基础数据进行导入成功后,方可进行关联数据的导入,满足外键关系的关联。
预先设计2套,具体方案如下:
一、先将所有数据导出为具体的data.js文件,存储在本地的文件中,读取这些数据文件进行迁移处理。
二、根据数据关系,通过将导出的数据进行缓存,读取缓存进行数据直接迁移处理。
采用nodegrass+mysql+underscore+eventproxy等相应组建进行整个数据导入的处理。
nodegrass进行数据模拟请求操作,
mysql进行数据库数据的读取处理,
underscore为集合处理工具类,
eventproxy进行嵌套回调函数工具。
1、主体程序代码如下:
function execExport(i) {
var fileName = modules[i];
var filePath = path.join(dir, fileName);
require(filePath).export(connection, exportComplete(i, new Date().getTime()), ' limit 10;');
} function exportComplete(i, start) {
return function () {
var fileName = modules[i];
var filePath = path.join(dir, fileName);
console.log('%s导出完成,行数: %s, 耗时: %s 秒', filePath, $.size(require(filePath).rows), parseInt((new Date().getTime() - start) / 1000, 10));
if ((i + 1) < modules.length)
return execExport(i + 1);
console.log('______________完成所有导出____________');
execImportBase(); };
} execExport(0);
通过调用execExport(0);,以递归的方式,进行旧数据库数据的导出,记录数据记录以及导出耗时情况。
在导出数据结束后,通过execImportBase()方法,进行数据的导入操作,由于外键关联的原因,所以先进行基础数据导入。
2、具体代码如下:
nodegrass模拟请求代码:
function execImportBase() {
ajax.post('/user/login', {
name: '××××××',
pwd: '××××××',
rememberPwd: true
}, function (resp, headers) {
if (resp.success) {
console.log("登录成功,开始数据导入。");
require('./server/dict').import();
}
else {
console.log("登录失败。");
}
});
}
2、新旧数据库Id标识字段的关联处理代码:
exports.import = function () {
var ep = new EP();
ep.after('importAccount', $.size(exports.rows), function () {
console.log("end Import Account");
write.writeFile(fails, 'Account');
require('./shop').import();
});
$.each(exports.rows, function (d) {
ajax.post('/user/register', d, function (resp) {
if (!resp.success) {
d.resp = resp;
fails.push(d);
} else {
d.newId = resp.data;
}
ep.emit('importAccount');
});
});
};
数据中保存成功后,将新数据的Id字段返回,让引用的外键关联表对应的引用字段,使用newId进行绑定。 由此完成数据外键关系的迁移。
3、mysql多语句执行的代码:
var connection = mysql.createConnection({
host: '192.168.1.110',
user: 'root',
password: '123456',
database: 'data',
multipleStatements: true
});
multipleStatements: true:为对应的多语句同时执行开关。
4、eventproxy嵌套回调处理代码:
ep.after('importAccount', $.size(exports.rows), function () {
console.log("end Import Account");
write.writeFile(fails, 'Account');
require('./shop').import();
});
$.each(exports.rows, function (d) {
ajax.post('/user/register', d, function (resp) {
if (!resp.success) {
d.resp = resp;
fails.push(d);
} else {
d.newId = resp.data;
}
ep.emit('importAccount');
});
});
使用eventproxy进行循环的请求发送,为外键表关联进行相应数据的处理准备。
在请求完成的同时,根据返回结果,通过fails.push()进行错误数据的记录,以及newId的处理。
将错误数据及结果进行保存,方便数据的筛选过滤,避免数据的非正常丢失。
5、输出相应错误数据代码:
var fs = require('fs');
var path = require('path');
var $ = require('underscore'); var dir = path.join(__dirname, 'failds'); //打印错误数据
exports.writeFile = function (data, name) {
fs.writeFile(path.join(dir, name + '.js'), JSON.stringify(data), function (err) {
if (err)
return console.log(err);
if ($.size(data) > 0)
console.log('导入' + name + '出现 %s 条错误数据!', $.size(data));
});
};
简单的小例子,本人菜鸟一枚,如果有不足之处,还请指正。
关于本例子的性能及bug情况,暂时未进行实际测试。待后期再相应的整理。
nodejs简单数据迁移demo的更多相关文章
- 用sql从一张表更新数据到另外一张表(多表数据迁移)
update TBL_1 A, TBL_2 B, TBL_3 Cset a.email=c.email_addrwhere a.user_id=b.user_id and b.un_id=c.un_i ...
- 一次PostgreSql数据迁移,使用nodejs来完成
2014-02-08 XX开放平台不允许使用站外的服务器了,可是我们的app都在站外,数据库也在站外,全都要求迁移到其云主机上(坑爹啊).我们在其云主机上仅有有限的资源,而且也有在运行中的数据库,要做 ...
- 从MySQL到Hive,数据迁移就这么简单
使用Sqoop能够极大简化MySQL数据迁移至Hive之流程,并降低Hadoop处理分析任务时的难度. 先决条件:安装并运行有Sqoop与Hive的Hadoop环境.为了加快处理速度,我们还将使用Cl ...
- 记一次简单的Oracle离线数据迁移至TiDB过程
背景 最近在支持一个从Oracle转TiDB的项目,为方便应用端兼容性测试需要把Oracle测试环境的库表结构和数据同步到TiDB中,由于数据量并不大,所以怎么方便怎么来,这里使用CSV导出导入的方式 ...
- 【SQLServer】记一次数据迁移-标识重复的简单处理
汇总篇:http://www.cnblogs.com/dunitian/p/4822808.html#tsql 今天在数据迁移的时候因为手贱遇到一个坑爹问题,发来大家乐乐,也传授新手点经验 迁移惯用就 ...
- EF Code First:实体映射,数据迁移,重构(1)
一.前言 经过EF的<第一篇>,我们已经把数据访问层基本搭建起来了,但并没有涉及实体关系.实体关系对于一个数据库系统来说至关重要,而且EF的各个实体之间的联系,实体之间的协作,联合查询等也 ...
- Kettle进行数据迁移(ETL)
由于开发新的系统,需要将之前一个老的C/S应用的数据按照新的数据设计导入到新库中.此过程可能涉及到表结构不一致.大数据量(千万级,甚至上亿)等情况,包括异构数据的抽取.清洗等等工作.部分复杂的工作需要 ...
- [转载] 使用Kettle进行数据迁移(ETL)
由于开发新的系统,需要将之前一个老的C/S应用的数据按照新的数据设计导入到新库中.此过程可能涉及到表结构不一致.大数据量(千万级,甚至上亿)等情况,包括异构数据的抽取.清洗等等工作.部分复杂的工作需要 ...
- 数据迁移实战:基于Kettle的Mysql到DB2的数据迁移
From:https://my.oschina.net/simpleton/blog/525675 一.什么是ETL ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数 ...
随机推荐
- 运行web项目端口占用问题
---恢复内容开始--- 有时候运行web项目会提示8080端口已经被占用这一类问题(Error running Tomcat8: Address localhost:1099 is already ...
- Caffe可视化之VisualDL
Visual DL是由 PaddlePaddle 和 ECharts 合作推出的一款深度学习可视化工具,其能够可视化scalar.参数分布.模型结构.图像等.底层采用C++编写,上层SDK以pytho ...
- NLP+语篇分析(五)︱中文语篇分析研究现状(CIPS2016)
摘录自:CIPS2016 中文信息处理报告<第三章 语篇分析研究进展.现状及趋势>P21 CIPS2016 中文信息处理报告下载链接:http://cips-upload.bj.bcebo ...
- 用开源的 ffmpeg 实现屏幕录像机
在我看来,FFmpeg 绝对是一个很酷的应用.那么,它究竟有什么用呢?简单地讲,FFmpeg 相当于一个屏幕录像机.你可以使用它将屏幕上的操作过程录制下来,然后再将其播放给别人看.我们可以利用它制作教 ...
- 一句Python,一句R︱数据的合并、分组、排序、翻转
先学了R,最近刚刚上手python,所以想着将python和R结合起来互相对比来更好理解python.最好就是一句python,对应写一句R. python中的numpy模块相当于R中的matirx矩 ...
- mysql常用基础操作语法(七)--统计函数和分组查询【命令行模式】
注:文中所有的...代表多个. 1.使用count统计条数:select count(字段名...) from tablename; 2.使用avg计算字段的平均值:select avg(字段名) f ...
- Vue项目搭建及原理三
我每次写博客都要先在本地写一遍草稿,所以之前有些发布顺序可能会有一丢丢凌乱 哈哈哈,以后绝对改正,那下面我们就说一下创建及项目目录结构吧 三.创建项目 1.初始化Webpack p.p1 { marg ...
- Intel_CS_WebRTC 验证性测试
机器: Centos 7.2 一.配置阿里云源 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.163.com/.help/Cen ...
- tomcat原理(三)结合公司tomcat的用法的在理解
一,server.xml文件 <?xml version="1.0" encoding="UTF-8"?> <Server port=&quo ...
- java中outputStream与inputStream的相互转换
package com.boco.test; import java.io.ByteArrayInputStream; import java.io.ByteArrayOutputStream; im ...