sqlite内存数据库和文件数据库的同步[转]
由于sqlite对多进程操作支持效果不太理想,在项目中,为了避免频繁读写 文件数据库带来的性能损耗,我们可以采用操作sqlite内存数据库,并将内存数据库定时同步到文件数据库中的方法。
实现思路如下:
1、创建文件数据库;
2、创建内存数据库(文件数据库、内存数据库的内幕表结构需要一致);
3、在内存数据库中attach文件数据库,这样可以保证文件数据库中的内容在内存数据库中可见;
4、对于insert、select操作,在内存数据库中完成,对于delete、update操作,需要同时访问内存、文件数据库;
5、定时将内存数据库中的内容flush到文件数据库。
通过sqlite的cAPI实现代码如下:
- const char* file_database_path = "/home/tom/test/database/filedb"; //文件数据库存放路径
- const char* sql_create_data = "CREATE TABLE testinfo (id TEXT PRIMARY KEY, message TEXT, offset INTEGER, timestamp INTEGER);";
- const char* sql_insert_data = "INSERT OR REPLACE INTO MAIN.testinfo VALUES('%s', '%s', %d, %d);";
- const char* sql_delete_data = "DELETE FROM MAIN.testinfo WHERE id = '%s'; DELETE FROM filedb.testinfo WHERE id = '%s';"; //删除数据库,需同时删除内存、文件数据库中的内容
- const char* sql_update_data = "UPDATE MAIN.testinfo SET message = '%s', offset = %d, timestamp = %d where id = '%s'; UPDATE filedb.testinfo SET message = '%s', offset = %d, timestamp = %d where id = '%s';";//更新数据库,需同时更新内存、文件数据库中的内容
- const char* sql_search_data = "SELECT * FROM MAIN.testinfo WHERE timestamp BETWEEN %d AND %d union SELECT * FROM testdb.testinfo WHERE timestamp BETWEEN %d AND %d;"; //查找数据库,将内存、文件数据库中查找出的内容合并
- const char* sql_transfer_data = "INSERT OR REPLACE INTO filedb.testinfo SELECT * FROM testinfo;"; //将内存数据库中的信息同步到文件数据库中
- const char* sql_delete_memory_table = "DELETE FROM testinfo;"; //内存数据库中的内容同步结束后,清空
- int InsertRecord(DATA_TYPE type, const char* id, const char* message, int offset, int timestamp)
- {
- int rc = 0;
- char* errMsg = NULL;
- char sqlcmd[512] = {0};
- time_t insertTimestamp = 0;
- snprintf(sqlcmd, sizeof(sqlcmd), sql_insert_data, id, message, offset, timestamp);
- rc = sqlite3_exec(memdb, sqlcmd, NULL, NULL, &errMsg);
- if (SQLITE_OK != rc) {
- fprintf(stderr, "cat't add record to memory database %s, sqlcmd=%s, err:%s\n", map_data_table[type].data_table_name, sqlcmd, errMsg);
- return -1;
- }
- return 0;
- }
- int UpdateRecord(DATA_TYPE type, const char* id, const char* message, int offset, int timestamp)
- {
- int rc = 0;
- char* errMsg = NULL;
- char sqlCmd[512] = {0};
- snprintf(sqlCmd, sizeof(sqlCmd), sql_update_data, message, offset, timestamp, id, message, offset, timestamp, id);
- rc = sqlite3_exec(memdb, sqlCmd, NULL, NULL, &errMsg);
- if (SQLITE_OK != rc) {
- fprintf(stderr, "cat't update record %s:%s\n", map_data_table[type].data_table_name, errMsg);
- return -1;
- }
- return 0;
- }
- int DeleteRecord(DATA_TYPE type, const char* id)
- {
- int rc = 0;
- char* errMsg = NULL;
- char sqlcmd[512] = {0};
- snprintf(sqlcmd, sizeof(sqlcmd), sql_delete_data, id, id);
- rc = sqlite3_exec(memdb, sqlcmd, NULL, NULL, &errMsg);
- if (SQLITE_OK != rc) {
- fprintf(stderr, "cat't delete record %s:%s\n", map_data_table[type].data_table_name, errMsg);
- return -1;
- }
- return 0;
- }
- int QueryMessage(DATA_TYPE type, int startTime, int endTime)
- {
- int rc = 0;
- char *errMsg = NULL;
- sqlite3 *filedb = NULL;
- char** pRecord = NULL;
- int row = 0;
- int column = 0;
- char sqlcmd[512] = {0};
- if (type > VEP_NELEMS(map_data_table) || type < 0) {
- return -1;
- }
- rc = sqlite3_open(file_database_path, &filedb);
- if (SQLITE_OK != rc) {
- fprintf(stderr, "cat't open database:%s\n", sqlite3_errmsg(filedb));
- sqlite3_close(filedb);
- return -1;
- }
- snprintf(sqlcmd, sizeof(sqlcmd), sql_search_data, startTime, endTime, startTime, endTime);
- rc = sqlite3_get_table(filedb, sqlcmd, &pRecord, &row, &column, &errMsg);
- if (SQLITE_OK != rc) {
- fprintf(stderr, "cat't get table from%s:%s\n", map_data_table[type].data_table_name, errMsg);
- return -1;
- }
- int i;
- printf("row = %d, column = %d\n", row, column);
- for(i = 0; i < 2*column; i++)
- {
- printf("%s ", pRecord[i]);
- }
- printf("\n");
- return 0;
- }
- //定时调用此函数将内存数据中的内容同步到文件数据库
- int Flush(){
- int i = 0;
- int rc = 0;
- char* errMsg = NULL;
- char sqlcmd[512] = {0};
- snprintf(sqlcmd, sizeof(sqlcmd), sql_transfer_data);
- rc = sqlite3_exec(memdb, sqlcmd, NULL, NULL, &errMsg);
- if (SQLITE_OK != rc) {
- fprintf(stderr, "cat't transfer memory database %s to file databasede:%s\n", map_data_table[i].data_table_name, sqlite3_errmsg(memdb));
- sqlite3_close(memdb);
- return -1;
- }
- snprintf(sqlcmd, sizeof(sqlcmd), sql_delete_memory_table);
- rc = sqlite3_exec(memdb, sqlcmd, NULL, NULL, &errMsg);
- return 0;
- }
- //创建文件数据库
- int CreateDbOnFile()
- {
- sqlite3 *db = NULL;
- int rc = 0;
- char* errMsg = NULL;
- char sqlcmd[512] = {0};
- int i = 0;
- rc = sqlite3_open(file_database_path, &db);
- if (SQLITE_OK != rc) {
- fprintf(stderr, "cat't open database:%s\n", sqlite3_errmsg(db));
- sqlite3_close(db);
- return -1;
- }
- snprintf(sqlcmd, sizeof(sqlcmd), sql_create_data);
- rc = sqlite3_exec(db, sqlcmd, NULL, NULL, &errMsg);
- if (SQLITE_OK != rc) {
- fprintf(stderr, "cat't create file database testinfo:%s\n", errMsg);
- sqlite3_close(db);
- return -1;
- }
- sqlite3_close(db);
- return 0;
- }
- //创建内存数据库
- int CreateDbOnMemery()
- {
- int rc = 0;
- char* errMsg = NULL;
- char sqlcmd[512] = {0};
- int i = 0;
- rc = sqlite3_open(":memory:", &memdb);
- if (SQLITE_OK != rc) {
- fprintf(stderr, "cat't open database:%s\n", sqlite3_errmsg(memdb));
- sqlite3_close(memdb);
- return -1;
- }
- snprintf(sqlcmd, sizeof(sqlcmd), sql_create_data);
- rc = sqlite3_exec(memdb, sqlcmd, NULL, NULL, &errMsg);
- if (SQLITE_OK != rc) {
- fprintf(stderr, "cat't create memory database %s\n", errMsg);
- sqlite3_close(memdb);
- return -1;
- }
- return 0;
- }
- //解绑数据库
- int DetachDb()
- {
- int rc = 0;
- char* errMsg = NULL;
- char sqlcmd[512] = {0};
- snprintf(sqlcmd, sizeof(sqlcmd), "DETACH '%s'", "filedb");
- rc = sqlite3_exec(memdb, sqlcmd, NULL, NULL, &errMsg);
- if (SQLITE_OK != rc) {
- fprintf(stderr, "detach file database failed:%s:%s\n", file_database_path, errMsg);
- sqlite3_close(memdb);
- return -1;
- }
- return 0;
- }
- //将文件数据库作为内存数据库的附加数据库
- int AttachDb()
- {
- int rc = 0;
- char* errMsg = NULL;
- char sqlcmd[512] = {0};
- snprintf(sqlcmd, sizeof(sqlcmd), "ATTACH '%s' AS %s", file_database_path, "filedb");
- rc = sqlite3_exec(memdb, sqlcmd, NULL, NULL, &errMsg);
- if (SQLITE_OK != rc) {
- fprintf(stderr, "cat't attach database %s:%s\n", file_database_path, errMsg);
- sqlite3_close(memdb);
- return -1;
- }
- return 0;
- }
- //初始化数据库,分别创建文件数据库、内存数据库并把文件数据库attach到内存数据库上
- int InitSqliteDb()
- {
- int retval = 0;
- retval = CreateDbOnFile();
- if (retval != 0) {
- return retval;
- }
- retval = CreateDbOnMemery();
- if (retval != 0) {
- return retval;
- }
- retval = AttachDb();
- if (retval != 0) {
- return retval;
- }
- return 0;
- }
sqlite内存数据库和文件数据库的同步[转]的更多相关文章
- FIREDAC操作SQLITE内存数据库
SQLite不仅可以把数据库放在硬盘上,还可以放在内存中,经测试,同样条件下数据库放在内存中比放在硬盘上插入记录速度快差不多3倍. 但数据库放在内存中时有如下缺陷: 1.断电或程序崩溃后数据库就会消失 ...
- DBImport v3.5 中文版发布:数据库定时同步及文档生成工具(IT人员必备)
前言: 趁着最近的休息时间,只能多勤快些:多写代码,多更新文章. 因为一旦投入新的工作,估计博客又会恢复到一年才产几篇的状态. 对于DBImport,因为用户的意见,增加了一个亮点功能,让软件B格升为 ...
- SymmetricDS 数据库双向同步开源软件入门
一句话概括该软件:SymmetricDS是一个文件和数据库同步软件,开源的,支持多主复制,同步时过滤和在异构的网络环境中进行数据转换传输.它支持单向和双向上的多个订阅者,异步的数据复制. 以下是从CS ...
- SQLite内存数据库
[转]SQLite内存数据库 http://www.cnblogs.com/liuyong/archive/2010/09/14/1826152.html SQLite 介绍 一. SQLite 是实 ...
- 【原创】System.Data.SQLite内存数据库模式
对于很多嵌入式数据库来说都有对于的内存数据库模式,SQLite也不例外.内存数据库常常用于极速.实时的场景,一个很好的应用的场景是富客户端的缓存数据,一般富客户端的缓存常常需要分为落地和非落地两种,而 ...
- mysql数据库主从同步
环境: Mater: CentOS7.1 5.5.52-MariaDB 192.168.108.133 Slave: CentOS7.1 5.5.52-MariaDB 192.168. ...
- .NET平台开源项目速览(3)小巧轻量级NoSQL文件数据库LiteDB
今天给大家介绍一个不错的小巧轻量级的NoSQL文件数据库LiteDB.本博客在2013年也介绍过2款.NET平台的开源数据库: 1.[原创]开源.NET下的XML数据库介绍及入门 2.[原创]C#开源 ...
- mysql主从数据库不同步的2种解决方法(转)
今天发现Mysql的主从数据库没有同步 先上Master库: mysql>show processlist; 查看下进程是否Sleep太多.发现很正常. show master status; ...
- Mysql的主从数据库没有同步的解决办法
Mysql的主从数据库没有同步的解决办法 今天发现Mysql的主从数据库没有同步 先上Master库: mysql>show processlist; 查看下进程是否Sleep太多.发现很正常. ...
随机推荐
- microkernel architecture - Proxy
The microkernel architecture pattern allows you to add additional application features as plug-ins t ...
- 03_Redis数据类型(List)
[List类型] Redis采用的是LinkedList. ArrayList: 数组存储.查询快,增删慢. LinkedList:链表存储.增删快,查询慢,查询两端快. Redis的list内部采用 ...
- 编译时提示软件包 javax.servlet.http 不存在 import javax.servlet.http.HttpServletRequest;
编译时错误:软件包 javax.servlet.http 不存在import javax.servlet.http.HttpServletRequest; 解决办法:把servlet-api.jar加 ...
- IFrame安全问题解决办法(跨框架脚本(XFS)漏洞)
最近项目要交付了,对方安全测试的时候检测出高危险漏洞,由于刚参加工作不久,经验不足,未涉及过此方面的东西.经过一番查询和探索,最终解决了这个问题,记录一下. 发现的漏洞为缺少跨框架脚本保护.跨框架脚本 ...
- windows网络命令汇总
分类: 网络技术2011-10-26 09:43 2557人阅读 评论(0) 收藏 举报 windows网络路由器dns服务器internetinterface Ping命令: ping命令通过发送I ...
- ul自适应li问题
内容提要: li浮动时ul高度为0,解决ul自适应高度的几种方法 在网页设计中,常常需要对li标签做浮动效果,但是在不同浏览器中会遇到兼容性问题,比如IE中会出现ul高度为0的情况,是效果不能达到预期 ...
- 用unoreder_map实现词频统计
博客写在CSDN了,google了一下移植真的巨麻烦.... 这里贴个网址算了.... https://blog.csdn.net/z1991998920/article/details/796891 ...
- 【翻译】苹果官网的命名规范之 Naming Properties and Data Types
苹果官方原文:Naming Properties and Data Types 前言:纯属练习英语和学习.翻译错误和不通顺的地方敬请谅解和指正.O(∩_∩)O 属性和数据类型的命名 本节讲述了属性定义 ...
- labelme也可以标注polygan
https://blog.csdn.net/wc781708249/article/details/79595174 按照这个安装就可以了 sudo apt-get install python-qt ...
- js 中获取 日期
运行结果